最後に不等号の向きを揃えるためにおそらく-1倍してるのですが、x^2の係数を勝手にa=-1としている。
さらにxの係数比較がなされていない。
もしそれが正しいなら、2a+1=-3よりa=-2ですから、あなたが勝手に決めたa=-1と異なります。
(x-a)(x-a-1)<0ですが、与式左辺のx^2の係数はaですから
aをかけて調節したいのですが、aの符号によって不等号の向きが変化します。
二次不等式と書いてあるのでa≠0です。
aをかけても不等号の向きが変わらないのであればa>0ですが、下に凸の場合条件に合いません。
したがってa<0なので、aを両辺にかけて
a(x-a)(x-a-1)>0
ax^2-a(2a+1)x+a^2(a+1)>0
よって
a(2a+1)=3、b=a^2(a+1)
2a^2+a-3=0
(2a+3)(a-1)=0 ∴a=-3/2、b=-9/8