GPTDAOCN-e/acc on Nostr: 深入解读：机器学习中的10大常用损失函数 ...

深入解读：机器学习中的10大常用损失函数

这张图表列出了机器学习中最常用的10种损失函数，并分为回归和分类两类：

回归损失函数

1. Mean Bias Error (MBE)
- 描述：捕捉预测中的平均偏差，但很少用于训练。
- 公式：\[ L_{MBE} = \frac{1}{N} \sum_{i=1}^{N} (y_i - f(x_i)) \]

2. Mean Absolute Error (MAE)
- 描述：测量预测中的绝对平均偏差，也称为L1损失。
- 公式：\[ L_{MAE} = \frac{1}{N} \sum_{i=1}^{N} |y_i - f(x_i)| \]

3. Mean Squared Error (MSE)
- 描述：实际值与预测值之间的平均平方距离，也称为L2损失。
- 公式：\[ L_{MSE} = \frac{1}{N} \sum_{i=1}^{N} (y_i - f(x_i))^2 \]

4. Root Mean Squared Error (RMSE)
- 描述：MSE的平方根，损失和因变量具有相同单位。
- 公式：\[ L_{RMSE} = \sqrt{\frac{1}{N} \sum_{i=1}^{N} (y_i - f(x_i))^2} \]

5. Huber Loss
- 描述：结合了MSE和MAE，是一种参数化的损失函数。
- 公式：
\[
L_{Huber\ loss} =
\begin{cases}
\frac{1}{2}(y_i-f(x_i))^2, & |y_i-f(x_i)| \leq \delta\\
\delta(|y_i-f(x_i)|-\frac{1}{2}\delta), & \text{otherwise}
\end{cases}
\]

6. Log Cosh Loss
- 描述：类似于Huber Loss，但非参数化，计算上较昂贵。
- 公式：\[ L_{Log\ Cosh} = \frac{1}{N} \sum_{i=1}^{N} log(cosh(f(x_i) - y_i)) \]

分类损失函数（包含二分类和多分类）

1. Binary Cross Entropy (BCE)
- 描述：用于二分类任务的损失函数。
- 公式：\[ L_{BCE} = -\frac{1}{N}\sum_{i=1}^{N}[y_i\cdot log(p(x_i)) + (1-y_i)\cdot log(1-p(x_i))] \]

2. Hinge Loss
- 描述：惩罚错误和不自信的预测，常用于支持向量机（SVM）。
- 公式：\[ L_{Hinge} = max(0, 1-(f(x) \cdot y)) \]

3. Cross Entropy Loss
- 描述：BCE损失在多分类上的扩展。
- 公式：
\[
L_{CE} = -\frac{1}{N}\sum_{i=1}^{N}\sum_{j=1}^{M}(y_{ij}\log(f(x_j)))
\]
（其中 \( N: 样本数, M: 类别数 \)）

4. KL Divergence
- 描述：最小化预测概率与真实概率分布之间的差异。
- 公式：
\[
L_{KC} = N\sum y_i\cdot log(\frac{y_i}{f(x(i))})
\]

这些损失函数在不同任务中帮助优化模型性能，选择合适的损失函数对模型训练至关重要。