直線ABの方程式は 3x - y + 4 = 0
三角形APBの面積の最大値は、直線ABと点P(x,x²)の距離が最大のときなので。
距離d の方程式
ax + by + c = 0 と 点(p,q) の距離 d = |ap + bq + c|/√(a²+b²)
d = |3*(x) - (x²) + 4|/√{(3)²+(1)²} より
|-x²+3x+4| の最大値 (-1≦x≦4) を求めればよい。
|-x²+3x+4| = |x²-3x-4| = |(x-4)(x+1)|
-1≦x≦4 より (x-4)≦0 , (x+1)≧0 となるので (x-4)(x+1) ≦ 0
|x²-3x-4| = -(x²-3x-4) = -x²+3x+4 = -(x - 3/2)²+ 25/4
より 距離dの最大値は x=3/2 のとき
d = (25/4)/√10 = 25/(4√10)
直線ABの長さは
√{(4+1)²+(16-1)²} = √250 = 5√10
よって 三角形の面積 S = 5√10 * 25/(4√10) * 1/2 = 125/8

助かりました!
ありがとうございましたm(。-ω-。)m