Câu hỏi:

Phương trình hoành độ giao điểm của $(P)$ và $(d)$ là:
$x^2 - 2x - 2 = x + m \Leftrightarrow x^2 - 3x - 2 - m = 0$ (*)
Để $(d)$ cắt $(P)$ tại hai điểm phân biệt $A, B$ thì phương trình (*) phải có hai nghiệm phân biệt, tức là:
$\Delta = (-3)^2 - 4(1)(-2 - m) > 0 \Leftrightarrow 9 + 8 + 4m > 0 \Leftrightarrow 4m > -17 \Leftrightarrow m > -\frac{17}{4}$
Gọi $x_1, x_2$ là hai nghiệm của phương trình (*), theo định lý Viète ta có:
$\begin{cases} x_1 + x_2 = 3 \\ x_1x_2 = -2 - m \end{cases}$
$y_1 = x_1 + m$, $y_2 = x_2 + m$
$OA^2 + OB^2 = x_1^2 + y_1^2 + x_2^2 + y_2^2 = x_1^2 + (x_1 + m)^2 + x_2^2 + (x_2 + m)^2$
$= x_1^2 + x_1^2 + 2mx_1 + m^2 + x_2^2 + x_2^2 + 2mx_2 + m^2$
$= 2(x_1^2 + x_2^2) + 2m(x_1 + x_2) + 2m^2$
$= 2[(x_1 + x_2)^2 - 2x_1x_2] + 2m(3) + 2m^2$
$= 2[3^2 - 2(-2 - m)] + 6m + 2m^2$
$= 2[9 + 4 + 2m] + 6m + 2m^2 = 2(13 + 2m) + 6m + 2m^2$
$= 26 + 4m + 6m + 2m^2 = 2m^2 + 10m + 26 = 2(m^2 + 5m) + 26$
$= 2\left(m^2 + 5m + \frac{25}{4}\right) + 26 - \frac{25}{2} = 2\left(m + \frac{5}{2}\right)^2 + \frac{27}{2}$
Để $OA^2 + OB^2$ đạt giá trị nhỏ nhất thì $2\left(m + \frac{5}{2}\right)^2$ phải nhỏ nhất, tức là $m + \frac{5}{2} = 0 \Leftrightarrow m = -\frac{5}{2}$.