あんまりキレイな解き方じゃないかもしれませんが、解けました.よろしければ模範解答などコメントで教えてください.
与えられた3式に上から①②③と名付ける
①にa-b、②にb-c、③にc-a をかけて3式の辺々の和をとると
2a-3b+c=0
が得られる.
c=-2a+3bとして②③に代入してcを消去、さらに①からab=1-(a^2+b^2)であるからこれも代入してabを消去すると
②③はどちらとも
2a^2+3b^2=2 これを④とする
①のa^2+b^2=1-abを2倍して④との差をとると
b^2=2ab
ゆえb=0またはb=2a
(あ)b=0のとき①からa=±1. c=-2a+3b=∓2
(い)b=2aのとき④からa=±1/√7. b=2a=±2/√7. c=-2a+3b=±4/√7
以上の4組である.
