常用回归模型

线性回归

${\bf x}=[x_1,x_2,...,x_p]\\ y=w_1x_1+w_2x_2+...+w_px_p+b=<{\bf w},{\bf x}>+b$

目标函数

• 均方损失 $$ \begin{split} {\bf w^},{\bf b^}&=argmin_{{\bf w},b}l({\bf X},{\bf y},{\bf w},b)\\ &=argmin_{{\bf w},b}{1\over n}\sum_{i=1}^n||y_i-<{\bf x_i},{\bf w}>-b||^2 \end{split} $$

分类

• 输出向量 $o_i=<{\bf x},{\bf w_i}>+b_i\\ argmax_i{o_i}_{i=1}^m$

Softmax Regression

• 线性回归要预测出每一个类别的概率，实际上非该类别概率并不重要
  • 但梯度下降还是要把他的概率降为0
  • 所以浪费了算力

${\bf \hat y}=softmax({\bf o})\\ \hat y_i={\exp(o_i)\over \sum_{k=1}^m(o_k)}$

• 交叉熵损失

$H({\bf y},{\bf \hat y})=\sum_i-y_i\log(\hat y_i)=-\log\hat y_y$

• 非标号类都是 $0$
• 所以只用优化真实类别预测的权重