回答

ポイントは(e^x)'=e^xと微分によって不変であること, (sinx)''=-(sinx), (cosx)''=-(cosx)と2階微分によって元の関数が表れることです.
この事実は部分積分絡みの問題でよく使うので, 頭の中に入れておいてください.
積の微分法を使うわけですが, 不変部分とそうではない部分を分けて計算することで, 問題全体の見通しがよくなります.
***
(1)積の微分法により, f'(x)=(Ae^xcosx+Be^xsinx)+Ae^x(-sinx)+Be^xcosx=(A+B)e^xcosx-(A-B)e^xsinx
[A, Bが定数なのでこのように整理するのが自然でしょう]
***
(2)(1)からf'(x)=f(x)-Ae^xsinx+Be^xcosx⇔f(x)-f'(x)=Ae^xsinx-Be^xcosx[これは(3)でも使います]である.
さらに微分すると, f''(x)=f'(x)-(f(x)-f'(x))-Ae^xcosx+Be^x(-sinx)=f'(x)-(f(x)-f'(x))-f(x)=2(f'(x)-f(x))を得る.
***
(3)(2)の関係式をf(x)について整理すると, f(x)=f'(x)-(1/2)f''(x)で, xについて積分すると
∫f(x)dx=∫f'(x)dx-(1/2)∫f''(x)dx+C'=f(x)-(1/2)f'(x)+C=(1/2)f(x)+(1/2)(f(x)-f'(x))+C
={(A+B)/2}e^xsinx+{(A-B)/2}e^xcosx+Cを得る. 但しC', Cは積分定数である.

この回答にコメントする

(1)積の微分。ごりごり。
(2)「あ、この形さっき見たな…」からの置き換え。
(3)誘導にのる。のりのり。

もりもり

sinxを微分したらcosxなので、2行目って-BeX乗cosxになりませんか?

少し省略しすぎました💦
ちょっと解説足しときます。

積の微分法
{f(x)g(x)}' = f'(x)g(x) + f(x)g'(x)

部分積分
∫f'(x)g(x)dx = f(x)g(x) - ∫f(x)g'(x)dx

積の微分のときは、足し算(+)です。
{B(e^x)sinx}'=(Be^x)'sinx+B(e^x)∙(sinx)'
=Be^xsinx+B(e^x)cosx
{A(e^x)cosx}'=(Ae^x)'cosx+Ae^x(cosx)'
=A(e^x)cosx+A(e^x)∙(-sinx)
=A(e^x)cosx-A(e^x)sinx

整理の仕方については下の回答者さんのほうがいい書き方です…。負けましたorz

追加。

この回答にコメントする
疑問は解決しましたか?