3次式で割ったあまりは、2次式以下になるので
P(x) = (x³-1)R(x) + ax²+bx+c と置くと
P(x) = (x²+x+1){(x-1)R(x)+a} + (b-a)x + (c-a)①
P(x) = (x-1){(x²+x+1)R(x)+ax+(a+b)} + (a+b+c)②
となるので ① のことを説明しているのだと思います。
①から P(x)を(x²+x+1)で割ったあまりが、x+1なので b-a=1,c-a=1。
②から P(x)を(x-1)で割ったあまりが、11なので a+b+c=11。