化学反応の計算をする時は、特別な条件が無い限り量的関係を見て過不足が無いか見る事を心掛けましょう。
まず、Mgは0.2mol、O2は0.075molあります。
ここで化学反応式を書いてみると、
2Mg+O2=2MgO
です。Mgが全て反応する為には、O2は0.1mol必要ですが、O2の物質量が足りていないのが分かりますか？よって今回は、O2が全て反応し、Mgは反応せず余る分がある事になります。
O2が0.075mol反応した時のMgOの物質量は0.15molなので、MgOの分子量と掛け合わせて
0.15×40=6.0g
が発生したMgOの質量となります。
なるほどです！！ありがとうございます！