わからない言葉を自ら調べません。声かけした方が良いですか？

基本的には見守ってあげてください。

言葉を調べることを強制されることで、読書自体の楽しさを感じられないようになってしまっては本末転倒です。
お子さんが内容をおおむね理解し、楽しんでいるご様子であれば温かく見守ってあげましょう。

一方で、お子さんが内容をよく分かっていないご様子であれば、読んでいる本が難しすぎる可能性があります。その場合は、もう少し読みやすい本からチャレンジすることをおすすめします。