✨ Best Answer ✨
これは、関係詞のまとまりだけ注目すると
I spoke [to the man] the other day
の[ ]の部分が先行詞として前に出ているんですよね。
そんでthe manの部分が関係代名詞に変わるわけですが、前置詞+関係代名詞、前置詞ごと前に出てきている場合は関係代名詞にthatは使えません。
〜the man that I spoke to the other day
というような形で、前置詞を後ろに残す場合はthatを使うことができます。