正规方程的另一种推导方式

---

1.损失表示方式

总损失定义为：

image-20230711161022621

• yi为第i个训练样本的真实值
• h(xi)为第i个训练样本特征值组合预测函数
• 又称最小二乘法

2.另一种推导方式

把损失函数分开书写： $$

(Xw-y)^2=(Xw-y)T(Xw-y) $$ 对展开上式进行求导：

image-20230711161033718

需要求得求导函数的极小值，即上式求导结果为0，经过化解，得结果为： $$

X^TXw=XTy $$ 经过化解为： $$

w=(X^TX){-1}X^Ty $$

补充：需要用到的矩阵求导公式：

$$

\frac{dx^TA}{dx}=A $$

$$

\frac{dAx}{dx}=A^T $$

image-20230711161042899