We mustn't wear contact lenses.
mustに過去形はありませんので、「〜かった」と答えるときにも現在形を使います。主語は、状況によって I や You に変えてください。
回答
You didn't have to attach a contact だと思います！
これはあなたがしてはいけなかったのではなく、私がコンタクトをしてはいけなかったという事ではないのでしょうか…?
YouじゃなくIですね
疑問は解決しましたか？
この質問を見ている人は
こちらの質問も見ています😉
おすすめノート
【英単】たった14語で14000語を理解できるようになる語
14293
19
総合英語be まとめ（１）
14289
162
【総合英語フォレスト】まとめ（４）分詞／比較
9673
155
最強の英単語覚え方！
7689
62
didn't have to~では、「~する必要なかった」といった意味になりますので不適です。