Question

ひかり

『古今著聞集』「刑部卿敦兼と北の方」で
「かたはらいたきほどなり」の主語を答える問題で
答えは　周囲の人々（女房たち）
なのですが、
「（周りが）見るに忍びないと思うほどの様子である」のは
北の方なので私は北の方が正解だと思いました。
何故これではいけないのでしょうか。