回答

①The story of Anne's terrible accident was painful to listen to
この文は

②It was painful to listen to the story of Anne's terrible accident

という文と対応しています

②ではto不定詞以下を丸ごと形式主語itで受けていて、そこに過去形の動詞wasがきています。
ですから
the story of Anne's terrible accidentは
過去形のwasで書かれる時点で聞いた話のはずだし
to listen toという動作もこのwasで表される過去形の時間帯の動作のはずです。

①は
the story of Anne's terrible accidentだけが主語にまわっていて、動詞はwasですね
to listen to自体は不定詞なので時制はありませんが、
②で説明したとおり、to listen toという動作もwasで表される時間帯に起こっていると認識しているはずです。
だから
the story of Anne's terrible accident was
の部分と
to listen to
の部分に時制の差はないはずなので
to have listened toにする必要はありません。

この回答にコメントする
疑問は解決しましたか?