与えられた式の2行目の因数を左からP,Q,R,S,Tとする。
P,Q,R,S,Tの5つの因数から選択するxの指数の和が5となる場合の数が求めるx^5の係数と一致する。
また、P,Q,R,S,Tから選んだxの係数をそれぞれp,q,r,s,tとするとp+q+r+s+t=5かつ0≦p,q≦3、0≦r≦2、0≦s,t≦1である。
条件をみたすp,q,r,s,tの組は以下の通り。
(p,q,r,s,t)
(3,2,0,0,0)→2・1・1=2通り
(3,1,1,0,0)→2・3=6通り
(3,0,2,0,0)→2・1・1=2通り
(3,0,1,1,0)→2・3=6通り
(2,2,1,0,0)→1・3=3通り
(2,1,2,0,0)→2・1・1=2通り
(2,1,1,1,0)→2・3=6通り
(2,0,2,1,0)→2・1・2=4通り
(2,0,1,1,1)→2・1=2通り
(1,1,2,1,0)→1・1・2=2通り
(1,1,1,1,1)→1通り
(1,0,2,1,1)→2・1・1=2通り
計38通り。
(1+x+x^2+x^3)^2(1+x+x^2)(1+x)^2
=(1+x)^4(1+x^2)^2(1+x+x^2)
=(1+x)^5(1+x^2)^2+x^2(1+x)^4(1+x^2)^2
(1+x)^5の展開のx^kの係数5Ck
(1+x^2)^2の展開のx^2k'の係数2Ck'
k=5&k'=0→1×1=1
k=3&k'=1→10×2=20
k=1&k'=2→5×1=5
よって(1+x)^5(1+x^2)^2によるx^5の係数は26。
次に(1+x)^4(1+x^2)^2によるx^3の係数を調べる。
(1+x)^4の展開のx^iの係数4Ci
(1+x^2)^2の展開のx^2i'の係数2Ci'
i=1または3のときx^5が現れる。
i=1&i'=1→4×2=8
i=3&i'=0→4×1=4
よってx^2(1+x)^4(1+x^2)^2によるx^5の係数は12。
以上よりx^5の係数は、26+12=38。