先行詞が時や場所を表す語だからといって、必ずしも関係副詞(whenやwhere)を使うわけではありません。
ポイントは、「先行詞が名詞として使われるのか、副詞句として使われるのか」を見分けることです。
名詞として使われる場合は関係代名詞which、副詞句の場合は関係副詞when・whereになります。
画像の文の先行詞と後ろの節の動詞との関係を考えてみると、
①左の画像
My grandfather visited the museum
→the museumはvisitedの目的語であり、名詞として用いられている
→which
②右の画像
My grandfather lived in the house
→in the houseはlivedの目的語でなく、あくまで副詞句として用いられている
→where
先行詞と、後ろの節との関係を考えることが重要です。