回答

すみません。最初の式
BQ^2=cos^2(θ)-cosθy+y^2
をどうやって出したのかが分かりません。

図示をしてみたのですが……

あと、cosθy
という表記は
cos(θy)なのかycosθなのか分かりづらいので
あまり好ましくありません。

式があっているのであれば、微分して最大を求められると思いますよ。

この回答にコメントする
疑問は解決しましたか?