2.2_最小风险贝叶斯决策

背景

在最小错误率的情况, 我们考虑的是要最小化错误率$p(e|\mathbf{x})$，从而最大化后验概率$P({\omega }_i|\mathbf{x})$, 但是如果分类错误，对应造成的风险是不一样的。
就是将样本$\mathbf{x}$分错成${\omega }_1$和分错成${\omega }_2$所造成的损失不同，比如将病人有病判断成无病比无病判断为有病造成的风险损失更大（因为病人将失去进一步检查而错失治疗）。

接下来，我们对问题做一个表述：
（1） 状态空间 $\Omega$ 由 c 个可能的状态（类）组成： Ω = { ω 1 , ω 2 , … , ω c } \Omega = \{\omega_1, \omega_2, \dots, \omega_c\} Ω={ω1​,ω2​,…,ωc​}
（2） 对于样本$\mathbf{x}$，采取的决策组成决策空间$\mathcal{A}$，由k个决策组成， A = { α 1 , α 2 , … , α k } \mathscr{A} = \{\alpha_1, \alpha_2, \dots, \alpha_k\} A={α1​,α2​,…,αk​}, 其中${\alpha }_i$代表对样本$\mathbf{x}$做出的第i种决策；同时注意这里的决策数k并不一定等于类别的个数c，即不是每一个决策都会将样本分到属于某一类，这其中还包括认为样本不属于任何一类的决策（表示拒绝决策）。
（3） 设对属于${\omega }_j$类的样本$\mathbf{x}$，采取决策${\alpha }_i$所带来的损失为：
$$\lambda ({\alpha }_i,{\omega }_j),i=1,\dots ,k,j=1,\dots ,c\text{\hspace{1em}(1)}$$
式(1)被称作损失函数，代表采取决策${\alpha }_i$, 将样本划分为${\omega }_j$所造成的损失。

有了上述的表述，我们知道给定一个样本$\mathbf{x}$, 同时给定一个决策比如${\alpha }_1$, 这时对于决策${\alpha }_1$所确定的不同类别造成了对应不同的损失，即$\lambda ({\alpha }_1,{\omega }_1),\lambda ({\alpha }_1,{\omega }_2),...,\lambda ({\alpha }_1,{\omega }_c)$, 对这些损失进行加权平均，这时我们就得到了所谓的条件期望损失，给定的条件是样本$\mathbf{x}$和决策${\alpha }_i$, 变量是${\omega }_j$, 则：
$$R({\alpha }_i|\mathbf{x})=E[\lambda ({\alpha }_i,{\omega }_j)|\mathbf{x},{\alpha }_i]=\sum _{j=1}^c\lambda ({\alpha }_i,{\omega }_j)P({\omega }_j|\mathbf{x})i=1,2,\dots ,k\text{\hspace{1em}(2)}$$
式（2）代表了给定样本$\mathbf{x}$和决策${\alpha }_i$, 对$\mathbf{x}$实际所属不同类别造成的损失的各种可能的平均。这个式子得到了一个样本不同决策下的条件期望损失，即
$$R({\alpha }_1|\mathbf{x}),R({\alpha }_2|\mathbf{x}),\dots ,R({\alpha }_k|\mathbf{x})\text{\hspace{1em}(3)}$$
如果设$\alpha (\mathbf{x})={\alpha }_i$,那么上式（3）可以写成：
$$R(\alpha (\mathbf{x})|\mathbf{x})\text{\hspace{1em}(4)}$$
这就是一个样本的期望损失了，那么对于所有样本呢？综合的期望损失如下：
$$R(\alpha )=E[R(\alpha (\mathbf{x})|\mathbf{x})]=\int R(\alpha (\mathbf{x})|\mathbf{x})p(\mathbf{x})d\mathbf{x}\text{\hspace{1em}(5)}$$
这就是对所有样本$\mathbf{x}$, 采取决策规则$\alpha (\mathbf{x})$,造成的平均损失，即期望风险。

目标：最小化这一期望风险：
$$\min R(\alpha )=\min \int R(\alpha (\mathbf{x})|\mathbf{x})p(\mathbf{x})d\mathbf{x}\text{\hspace{1em}(6)}$$
上式中，$p(\mathbf{x})$和决策无关，故
$$\min R(\alpha (\mathbf{x})|\mathbf{x})\text{\hspace{1em}(7)}$$

由$\alpha (\mathbf{x})={\alpha }_i$, 所以最小化贝叶斯决策就是：
$$若R({\alpha }_i|\mathbf{x})=\underset{j=1,...,k}{\min }R({\alpha }_j|\mathbf{x}),则\alpha ={\alpha }_i\text{\hspace{1em}(8)}$$

求上式最小条件期望风险的步骤为：
（1） 利用贝叶斯定理计算后验概率：$P({\omega }_j|\mathbf{x})=\frac{P(\mathbf{x}|{\omega }_j)P({\omega }_j)}{P(\mathbf{x})}$
（2） 利用决策表：求$\lambda ({\alpha }_i,{\omega }_j)P({\omega }_j|\mathbf{x})$
$$\begin{gathered} =>求R({\alpha }_i|\mathbf{x})=\sum _{j=1}^c\lambda ({\alpha }_i,{\omega }_j)P({\omega }_j|\mathbf{x}),i=1,2,...,k \\ 算出每个{\alpha }_i下的风险 \end{gathered}$$
（3） 比较$R({\alpha }_i|\mathbf{x}),i=1,2,...,k$
$$=>a=\underset{i=1,\dots ,k}{\mathrm{argmin}}R({\alpha }_i|\mathbf{x})$$

在两类情况下，且没有拒绝，则
$$R({\alpha }_i|\mathbf{x})=\sum _{j=1}^2\lambda ({\alpha }_i,{\omega }_j)P({\omega }_j|\mathbf{x})$$
$$=>\lambda ({\alpha }_i,{\omega }_1)P({\omega }_1|\mathbf{x})+\lambda ({\alpha }_i,{\omega }_2)P({\omega }_2|\mathbf{x}),i=1,2\text{\hspace{1em}(9)}$$
由此我们可以得到$R({\alpha }_1|\mathbf{x})$和$R({\alpha }_2|\mathbf{x})$，两者选最小。得如下决策规则：
$$R({\alpha }_1|\mathbf{x})\gtrless R({\alpha }_2|\mathbf{x}),\mathbf{x}\in \{\begin{array}{l}{\omega }_1\\ {\omega }_2\end{array}\text{\hspace{1em}(10)}$$
使用${\lambda }_{11}$表示$\lambda ({\alpha }_1,{\omega }_1)$, 则有：
$$=>{\lambda }_{11}P({\omega }_1|\mathbf{x})+{\lambda }_{12}P({\omega }_2|\mathbf{x})\gtrless {\lambda }_{21}P({\omega }_1|\mathbf{x})+{\lambda }_{22}P({\omega }_2|\mathbf{x}),\mathbf{x}\in \{\begin{array}{l}{\omega }_1\\ {\omega }_2\end{array}$$
$$=>({\lambda }_{11}-{\lambda }_{21})P({\omega }_1|\mathbf{x})\gtrless ({\lambda }_{22}-{\lambda }_{12})P({\omega }_2|\mathbf{x})$$
假设${\lambda }_{11}<{\lambda }_{21},{\lambda }_{22}<{\lambda }_{12}$,即决策对的风险总是小于决策错的，
$$=>\frac{P({\omega }_1|\mathbf{x})}{P({\omega }_2|\mathbf{x})}=\frac{P(\mathbf{x}|{\omega }_1)P({\omega }_1)}{P(\mathbf{x}|{\omega }_2)P({\omega }_2)}\gtrless \frac{{\lambda }_{22}-{\lambda }_{12}}{{\lambda }_{11}-{\lambda }_{21}}$$
$$=>\frac{P(\mathbf{x}|{\omega }_1)}{P(\mathbf{x}|{\omega }_2)}\gtrless \frac{({\lambda }_{22}-{\lambda }_{12})P({\omega }_2)}{({\lambda }_{11}-{\lambda }_{21})P({\omega }_1)}=c,\mathbf{x}\in \{\begin{array}{l}{\omega }_1\\ {\omega }_2\end{array}\text{\hspace{1em}(11)}$$

令$l(\mathbf{x})=\frac{P(\mathbf{x}|{\omega }_1)}{P(\mathbf{x}|{\omega }_2)}$，这是似然比函数，可以看到，当${\lambda }_{11}={\lambda }_{22}=0$时，这是决策对了没有损失，且当${\lambda }_{12}={\lambda }_{21}=c$, 两种决策错了损失相同，那么这时就相当于不用考虑不同决策造成的风险问题，因为此时风险都一致，这就和最小错误率的情况一致了，依然是最大化后验概率。

本节考虑了在有风险的情况下，该选择什么样的决策，同时我们也发现，在风险一致的情况下，最小风险贝叶斯决策就是最小错误率贝叶斯决策。