-
【专栏】平凡而又神奇的贝叶斯方法（12）
怎么根据接收到的信息来推测说话者想表达的意思呢？我们可以利用叫做“隐含马尔可夫模型”（Hidden Markov Model）来解决这些问题。以语音识别为例，当我们观测到语音信号o1,o2,o3时，我们要根据这组信号推测出发送的句子s1,s2,s3。 -
【专栏】平凡而又神奇的贝叶斯方法（11）
有些独立假设在各个分类之间的分布都是均匀的所以对于似然的相对大小不产生影响；即便不是如此，也有很大的可能性各个独立假设所产生的消极影响或积极影响互相抵消，最终导致结果受到的影响不大。 -
【专栏】平凡而又神奇的贝叶斯方法（10）
虽然句子和文章的数目是无限的，然而就拿邮件来说，如果我们只关心邮件中句子的语义，在这个层面上可能性便大大缩减了，我们关心的抽象层面越高，可能性越小。单词集合和句子的对应是多对一的，句子和语义的对应又是多对一的，语义和意图的对应还是多对一的，这是个层级体系。 -
【专栏】平凡而又神奇的贝叶斯方法（9）
假设直线对于坐标Xi给出的预测f(Xi)是最靠谱的预测，所有纵坐标偏离f(Xi)的那些数据点都含有噪音，是噪音使得它们偏离了完美的一条直线，一个合理的假设就是偏离路线越远的概率越小，具体小多少，可以用一个正态分布曲线来模拟，这个分布曲线以直线对Xi给出的预测f(Xi)为中心，实际纵坐标为Yi的点(Xi,Yi)发生的概率就正比于EXP[-(ΔYi)^2]。 -
【专栏】平凡而又神奇的贝叶斯方法（8）
贝叶斯方法是一个非常general的推理框架。其核心理念可以描述成：Analysis by Synthesis（通过合成来分析）。 -
【专栏】平凡而又神奇的贝叶斯方法（7）
根据认知神经科学的认识，很可能我们是先从句子到语义（一个逐层往上（bottom-up）抽象的folding过程），然后从语义根据另一门语言的语法展开为另一门语言（一个逐层往下（top-down）的具体化unfolding过程）。 -
【专栏】平凡而又神奇的贝叶斯方法（6）
统计机器学习方法所统计的东西往往处于相当表层（shallow）的层面，在这个层面机器学习只能看到一些非常表面的现象，有一点科学研究的理念的人都知道：越是往表层去，世界就越是繁复多变。从机器学习的角度来说，特征（feature）就越多，成百上千维度都是可能的。 -
【专栏】平凡而又神奇的贝叶斯方法（5）
所谓的推理，分为两个过程，第一步是对观测数据建立一个模型。第二步则是使用这个模型来推测未知现象发生的概率。 -
【专栏】平凡而又神奇的贝叶斯方法（4）
猜测h不成立，因为P(D|h)太小（太巧合）了。我们的直觉是：巧合（小概率）事件不会发生。所以当一个猜测（假设）使得我们的观测结果成为小概率事件的时候，我们就说“才怪呢，哪能那么巧呢？！” -
【专栏】平凡而又神奇的贝叶斯方法（3）
观测数据总是会有各种各样的误差，比如观测误差，所以如果过分去寻求能够完美解释观测数据的模型，就会落入所谓的数据过配的境地，一个过配的模型试图连误差（噪音）都去解释（而实际上噪音又是不需要解释的），显然就过犹不及了。