机器学习中的数学¶
1. 最小二乘法¶
一、概念¶
最小二乘法是一种数学优化技术，通过最小化误差的平方和来寻找数据的最佳函数匹配。
二、原理¶
- 假设模型：设数据满足线性关系 \(y = ax + b\)，其中 \(a\) 和 \(b\) 为待求参数。
- 残差平方和：定义残差平方和 \(S(a,b) = \sum_{i=1}^n (y_i - (ax_i + b))^2\)。
- 最小化目标：寻找使 \(S(a,b)\) 最小的 \(a\) 和 \(b\)。
三、推导过程¶
- 求偏导数：对 \(a\) 和 \(b\) 求偏导数并令其等于零。
- \(\frac{\partial S}{\partial a} = -2 \sum_{i=1}^n x_i(y_i - (ax_i + b)) = 0\)
- \(\frac{\partial S}{\partial b} = -2 \sum_{i=1}^n (y_i - (ax_i + b)) = 0\)
- 解方程组：得到关于 \(a\) 和 \(b\) 的方程组。
- \(a = \frac{n\sum x_i y_i - \sum x_i \sum y_i}{n\sum x_i^2 - (\sum x_i)^2}\)
- \(b = \frac{\sum y_i - a\sum x_i}{n}\)
四、步骤¶
- 收集数据：获取观测数据点 \((x_i, y_i)\)。
- 计算参数：利用上述公式计算 \(a\) 和 \(b\)。
- 拟合直线：绘制直线 \(y = ax + b\)，观察拟合效果。
五、示例¶
- 数据集：
- $x = $
- $y = $
- 计算参数：
- \(\sum x_i = 15\)，\(\sum y_i = 20\)
- \(\sum x_i y_i = 66\)，\(\sum x_i^2 = 55\)
- \(a = \frac{5 \times 66 - 15 \times 20}{5 \times 55 - 15^2} = 0.6\)
- \(b = \frac{20 - 0.6 \times 15}{5} = 1.4\)
- 拟合直线：\(y = 0.6x + 1.4\)
2. 全概率公式¶
全概率公式是概率论中用于计算复杂事件概率的重要工具。它通过将复杂事件分解为若干互斥且完备的简单事件，分别计算各简单事件的概率及其对复杂事件的影响，再求和得到最终结果。
公式表达¶
设事件\(B_1, B_2, \ldots, B_n\)构成样本空间的一个划分（即互斥且并集为全集），且\(P(B_i) > 0\)，则对任意事件\(A\)，有：
\[
P(A) = \sum_{i=1}^{n} P(B_i) \cdot P(A|B_i)
\]
其中：
- \(P(B_i)\)：事件\(B_i\)发生的概率。
- \(P(A|B_i)\)：在\(B_i\)发生的条件下，事件\(A\)发生的概率。
关键概念¶
- 样本空间的划分：将样本空间划分为互斥且完备的事件组，确保所有可能性都被覆盖。
- 先验概率：\(P(B_i)\)表示在考虑条件前的初始概率。
- 条件概率：\(P(A|B_i)\)表示在特定条件下事件\(A\)的概率。
应用步骤¶
- 确定划分：找出导致事件\(A\)发生的所有互斥且完备的原因（\(B_1, B_2, \ldots, B_n\)）。
- 计算先验概率：计算每个原因\(B_i\)发生的概率\(P(B_i)\)。
- 计算条件概率：确定在每个原因\(B_i\)下，事件\(A\)发生的概率\(P(A|B_i)\)。
- 应用公式：将各\(P(B_i)\)与\(P(A|B_i)\)相乘并求和，得到\(P(A)\)。
示例¶
问题：某工厂的零件由甲、乙两车间生产，甲车间生产60%，合格率95%；乙车间生产40%，合格率90%。求随机抽取一件零件为合格品的概率。
解答：
- 设\(B_1\)为“甲车间生产”，\(B_2\)为“乙车间生产”，\(A\)为“合格品”。
- \(P(B_1) = 0.6\)，\(P(B_2) = 0.4\)。
- \(P(A|B_1) = 0.95\)，\(P(A|B_2) = 0.90\)。
- 应用全概率公式：
\[
P(A) = 0.6 \times 0.95 + 0.4 \times 0.90 = 0.57 + 0.36 = 0.93
\]
结论：随机抽取零件为合格品的概率为93%。