①The story of Anne's terrible accident was painful to listen to
この文は
②It was painful to listen to the story of Anne's terrible accident
という文と対応しています
②ではto不定詞以下を丸ごと形式主語itで受けていて、そこに過去形の動詞wasがきています。
ですから
the story of Anne's terrible accidentは
過去形のwasで書かれる時点で聞いた話のはずだし
to listen toという動作もこのwasで表される過去形の時間帯の動作のはずです。
①は
the story of Anne's terrible accidentだけが主語にまわっていて、動詞はwasですね
to listen to自体は不定詞なので時制はありませんが、
②で説明したとおり、to listen toという動作もwasで表される時間帯に起こっていると認識しているはずです。
だから
the story of Anne's terrible accident was
の部分と
to listen to
の部分に時制の差はないはずなので
to have listened toにする必要はありません。