贝叶斯分析方法研究
摘 要 机器学习作为一门人工智能的科学自20世纪50年代被提出以来，经过人们的不断研究，已形成了一套科学系统的理论。机器学习中一个很重要的步骤是特征的选择与提取，原始特征的数量可能很大，或者说样本处在一个高维空间中，我们需要找到一个合理的方法，降低特征数量的同时，尽量减少原特征中包含信息的损失，因子分析法就是这样一种降维的方法。然而由于因子分析模型中存在不可观测的隐变量，普通的极大似然法很难得到其参数的估计。贝叶斯理论提供了一种计算各变量后验概率的方法，这种方法基于假设的先验概率和观测到的数据，可以得到模型各变量的后验概率。本文的工作正是在这种研究背景下展开的。在前人工作的基础上，本文着重研究了如何运用变分贝叶斯算法推导出因子分析法的贝叶斯后验分布公式。归纳起来，本文的主要内容包括以下四个方面： *简要介绍贝叶斯机器学习的基础知识，包括贝叶斯定理，贝叶斯估计和几种先验分布。 *简要介绍因子分析模型，分析其降维的机理。 *为估计因子分析模型中的参数，引入EM算法和变分贝叶斯算法，以解决模型中存在隐变量的问题。 *推导因子分析法的贝叶斯后验分布公式，并用Matlab编程实现，通过合成数据检验理论的正确性 最后，我们对全文工作进行了总结，并指出今后需要进一步研究的一些问题。 关键词：因子分析法 贝叶斯理论 后验分布 EM算法 变分贝叶斯算法 ABSTRACT As a kind of artificial intelligence science, machine learning was proposed in the 1950’s and has formed a scientific and systematic theory. A very important step in machine learning is feature extraction and selection. The number of original features may be huge, or we can say that the sample is in a high dimensional space. So we need to find a reasonable approach which can not only reduce the number of observed variables, but also minimize the loss of the information contained in the original features. Factor analysis is such a dimension reduction method. However, because of the existence of unobserved hidden variables in the factor analysis model, the estimation of parameters using maximum likelihood solution becomes intractable. The Bayesian theory provides a solution to compute the posterior probabilistic of variables. Based on the assumption of prior probabilistic and the observed data, it can find the posterior probabilistic of all variables in the model. Based on previous work, this paper focuses on the derivation of the Bayesian posterior distribution of the parameters in factor analysis model via the Variational Bayesian algorithm. The main content of this paper is summarized as follows:完成 实现implementation * Briefly introduce the basic knowledge of Bayesian machine learning, including the Bayesian method, Bayesian inference and the choice of prior. * Briefly introduce the factor analysis model. * Introduce EM algorithm and Variational Bayesian algorithm for the estimation of parameters, in order to solve the problem of hidden variable. * Derive the Bayesian posterior distribution of the parameters, and code the algorithm with Matlab, which is validated by experiments using synthetic data. Finally, we conclude the paper with a summary and advance some suggestions for further research in factor analysis. Keywords: Factor analysis Bayesian theory Posterior probabilistic EM algorithm Variational Bayesian algorithm 目 录 第一章 绪论 2 第二章 贝叶斯理论基础知识 2 2.1 贝叶斯公式 2 2.2 贝叶斯推断 2 2.3 先验分布的选择 2 2.3.1 客观先验分布 2 2.3.2 主观先验分布 2 2.3.3 分层先验分布 2 2.4 小结 2 第三章 因子分析法 2 3.1 引言 2 3.2 因子分析法 2 3.1.1 因子分析模型 2 3.1.2 因子分析模型的性质 2 3.3 因子分析与主成分分析的比较 2 3.4 小结 2 第四章 变分贝叶斯理论 2 4.1 EM算法 2 4.1.1 EM算法基本理论 2 4.1.2 对EM算法的理解 2 4.1.3 EM算法收敛性分析 2 4.2 变分贝叶斯 2 4.2.1 VBEM算法 2 4.2.2 后验分布的求解 2 4.3 小结 2 第五章 变分贝叶斯因子分析 2 5.1 模型假设 2 5.2 参数求解 2 5.3 实验分析 2 5.4 小结 2 第六章 结束语 2 致 谢 2 参考文献 2 第一章 绪论 生活中，我们每时每刻都在对周围的事物进行着认知与识别，然而对于人脑中这种认知与识别的机理，人们尚未得到准确的解释。机器学习是研究如何使用计算机模拟人类认知学习过程的一门科学，它对于理解人类大脑的学习过程有很大帮助。计算机在对周围的事物进行认知的时候，是对现实中的事物建立数学模型，将观测到的信息进行取样和量化，以向量的形式存储在计算机中。计算机从一个物体中提取的信息可以是多种多样的，比如，对于一个苹果，可以提取它的颜色和形状，然而对于一个复杂的事物，可以提取的特征数量可能是巨大的，它们在计算机中以高维的矩阵形式储存，处理这样的高维矩阵是令人头疼的一件事。幸运的是，我们发现这些数量庞大的特征之间存在着某些相关性，因而通过对这些信息进行一定的数学处理，可以简化所需要的特征数量，实现所谓的降维。因子分析法就是这样的降维方法。 因子分析法是多元统计学中的一种降维方法，它通过研究观测变量相关阵或协差阵的内部依赖关系，将多个变量综合为少数几个因子，以再现原变量与因子之间的相关关系。因子分析的主要应用有两个方面：一是寻求基本结构，简化观测系统，将具有错综复杂关系的变量综合为少数几个不可观测但相互独立的随机变量，即因子，再现因子与原变量之间的内在联系；二是针对分类问题，将因子分析法用于特征提取，使用降维的特征实现对原变量的分类。通常情况下，我们手头只有一组观测样本，因而首先要做的就是利用样本对模型中的参数进行估计。然而由于因子分析模型中存在无法观测的隐变量，造成在对其模型进行参数估计时，应用最大似然估计法会导致计算过于复杂，这时我们想到运用期望最大（EM）算法进行参数估计。EM算法是一种高效的迭代算法，通过不断优化似然函数的下界来近似最大化似然函数，进而求得参数的估计值。其最大的特点是能够处理含有隐变量的模型。在求解的过程中还用到了一个重要的理论，贝叶斯理论。 贝叶斯理论是由托马斯•贝叶斯提出的逆概率这一概念发展而来的一种普遍的推理方法，在贝叶斯模型中，参数不再是一个未知的常数，而是具有某一分布形式的随机变量。它通过假设参数的先验分布，再结合已有的观测数据，计算出参数的后验分布。用后验分布的期望作为参数的估计值。然而在一些复杂的模型中，参数的后验分布具有极其复杂的形式，期望的计算通常包含复杂的高维积分。这时我们需要引入一种高效的优化算法，变分贝叶斯（VB）算法。变分贝叶斯算法通过优化似然函数的积分项，以求得参数后验分布的估计形式。 本文在简要介绍了贝叶斯机器学习理论的基础上，重点推导了因子分析法的后验分布形式，具体内容安排如下： 第二章介绍了贝叶斯推断的基础知识，包括贝叶斯公式，贝叶斯估计，先验分布的选择问题。 第三章介绍了因子分析法。 第四章介绍了期望最大（EM）算法和变分贝叶斯（VB）算法。 第五章推导了因子分析模型中参数和隐变量的贝叶斯后验分布形式。 第六章对全文的工作进行了总结。 第二章 贝叶斯理论基础知识 2.1 贝叶斯公式 贝叶斯公式源于贝叶斯在他生前为解决一个逆概率问题而写的文章，那时的人们已经能够计算正向概率，那么什么是逆概率呢？这在生活中其实很常见。比如一所学校里面有60%的男生，40%的女生。男生总是穿长裤，女生则是一半穿长裤一半穿裙子。有了这些信息之后我们就可以容易地计算“随机选取一个学生，他（她）穿长裤的概率和穿裙子的概率”，这个就是前面说的“正向概率”的计算。然而，假设你走在校园中，迎面走来一个穿长裤的学生（很不幸你是高度近视，你只看得见他（她）穿的是否是长裤，而无法确定他（她）的性别），你能够推断出他（她）是女生的概率是多大吗？逆概率问题由此产生。接下来就来计算一下这个概率。 假设学校里面人的总数是 。60%是男生，而且他们都穿长裤，于是我们得到了穿长裤的男生的人数： ，（其中 是男生的概率，即60%， 是男生穿长裤的概率，被称为条件概率，这里是100% ，因为所有男生都穿长裤）。40%的女生里面又有一半是穿长裤的，于是我们又得到了穿长裤的女生的人数： ， 是女生的概率， 是女生穿长裤的概率，即50%。现在就可以来计算碰到一个穿长裤的学生是女生的概率了，即 （2-1） 注意到， ，我们称其为完备事件组。 式（2-1）即常说的贝叶斯定理，用规范化的数学语言描述为：设事件 构成一系列互不相容的完备事件组，则对任意事件 有 （2-2） 式（2-2）被称为贝叶斯公式，其中 ， 被称为先验概率， 被称为后验概率。贝叶斯公式反映了先验概率向后验概率的转化。 为了引入贝叶斯统计模型，将式（2-2）改写为随机变量的形式：假定观测的样本 ，是来自带参数的总体 ，参数 可以是向量，总体的概率密度是 ，贝叶斯学派把 看成是与 一样的具有某种概率分布的随机变量，因此，应把经典统计中的 看成是条件概率密度 ，即已知参数 时总体 的密度。这样，只要知道 的先验概率 ，就可以通过抽取样本观测值来得到对 的新的`认识，求出后验概率 ，即 （2-3） 在贝叶斯统计模型中，对于参数 的一切推断都是从其后验分布出发的。 2.2 贝叶斯推断 假设观测变量 服从概率密度为 的分布形式， 为待估参数。现在有 组观测样本 ，它们之间相互独立，则 的联合概率密度为 （2-4） 这一概率随 的取值而变化，所以它是 的函数。 被称为样本的似然函数。最大似然估计法是一种在已知模型的一些样本数据的情况下求参数最可能取值的方法。通过对似然函数求关于 的偏导数，可以得到 的估计值 。又因为 与 在同一 处取到极值，所以通常将似然函数写成对数形式 。 贝叶斯理论的观点是这样的参数 服从某一概率密度函数 ，用来表示在取得数据之前，对 取值的猜测，即通常所说的先验分布。利用贝叶斯定理，将数据和参数的分布联合起来，则有 （2-5） 式（2-5）中的分母项被称为归一化常数，该常数经常被忽略，因为我们关心的是不同参数之间的比较，所以 （2-6） 可以看到，后验分布其实就是由似然函数和先验分布的乘积决定的。这个后验分布 是进行参数 的点估计的出发点。贝叶斯点估计有以下三种方法[7]： 1．最大后验估计 使后验分布 达到最大值的点 被称为 的最大后验估计。即 （2-7） 2. 后验均值估计 后验分布 的均值 被称为 的后验均值估计，即 （2-8） 3. 后验中位数估计 后验分布 的中位数 被称为 的后验中位数估计。 先验分布概括了实验前对 的认识，而在得到样本观测值 后，认识起了变化，这反映在贝叶斯公式中，后验分布综合了 的先验信息与样本观测值提供的有关 的信息，是贝叶斯统计推断的基础，所以贝叶斯推断的原则是对参数 所做任何推断必须基于且只能基于 的后验分布。 2.3 先验分布的选择 由上一节可知，参数 的后验分布由两部分组成：似然函数和先验分布。其中似然函数是模型给定的，而先验分布则是人为设定的，这里人的意愿起主导作用，可见，给出一个合理的先验分布，对参数的求解十分重要。下面介绍几种常用的先验分布： 2.3.1 客观先验分布（Objective Prior） 客观先验分布是指在无先验知识可用的情况下，对参数的先验分布做出的一种假设。由于我们对 是无知的，所以认为在其取值范围内的每一点都是等概率的，服从一种“均匀分布”。即假设 （2-9） 当 为无界区域时， 不是通常意义下的概率分布，为此需要引进广义先验分布的概念。称满足下面两式的分布为广义先验分布[7]： （1） （2-10） （2） （2-11） 需要注意，按式（2-10）的定义， 并不是通常意义下的概率分布，但由于式（2-11）的成立，因此类似于式（2-5）所确定的后验分布 是存在的。当 满足式（2-9）且为广义先验分布时， 称为广义均匀分布。由于 （2-12） 从而，当 为广义均匀分布时，有 （2-13） 即似然函数是后验分布的核心。式（2-13）可以看做是贝叶斯假设下的后验分布形式。通常也称满足贝叶斯假设的先验分布为“无信息先验分布”（non-informative prior）。 2.3.2 主观先验分布（Subjective Prior） 主观先验分布是将先验信息尽可能多的压缩进先验分布中。先验信息可能是由以往的经验和专业知识获得的。下面介绍一种重要的主观先验分布——共轭先验分布（Conjugate prior）。 一个先验分布如果是共轭先验分布，则它的由似然函数 和先验分布 相乘得到的后验分布 和先验分布具有同样的形式。 比如，变量 服从二项分布 ， 的先验分布选为 分布，即 （2-14） 又参数的似然函数为 （2-15） 所以， 的后验分布为 （2-16） 上式右端是 分布的核，故 （2-17） 可见 的先验分布与后验分布具有相同的分布形式，只是后验分布对参数进行了更新。共轭先验分布要求 提供的信息与样本分布 提供的信息综合以后，不改变 的分布规律。这实质上是认为在推断 的分布时由先验分布提供的信息是主要的。 共轭先验分布只存在于指数族模型中，常见的高斯分布，二项分布，伽马分布等都是指数族模型。 2.3.3 分层先验分布（Hierarchical Prior） 在进行贝叶斯推断的时候，首先假设一个参数的先验分布，例如，假设 服从伽马分布，即 ，这时又引入了两个新的参数 和 。如果将这两个参数也看作随机变量，给它们加上某种分布形式， 和 ，这样就可以通过 和 来控制 的分布，这就是一个分层先验分布的模型。其中参数 和 被称为超参数（Hyperparameter）。类似的，还可以引入新的参数 来控制 和 ，这个过程可以不断地重复，直到某一个参数的先验分布不再依赖其他的参数为止。 2.4 小结 这一节介绍了贝叶斯统计推断的一些基础知识，包括贝叶斯定理，参数的估计和几种常用先验分布的选取。贝叶斯定理是贝叶斯统计推断的核心，而参数的先验分布的正确选择是参数估计合理性的关键。 第三章 因子分析法 3.1 引言 在各个领域的科学研究中，往往需要对反映事物的多个变量进行大量的观测，收集大量数据以便进行分析寻找规律。多变量大样本无疑会为科学研究提供丰富的信息，但也在一定程度上增加了数据采集的工作量，更重要的是在大多数情况下，许多变量之间可能存在相关性而增加了问题分析的复杂性，同时对分析带来不便。如果分别分析每个指标，分析又可能是孤立的，而不是综合的。盲目减少指标会损失很多信息，容易产生错误的结论。因此需要找到一个合理的方法，减少分析指标的同时，尽量减少原指标包含信息的损失，对所收集的资料作全面的分析。由于各变量间存在一定的相关关系，因此有可能用较少的综合指标分别综合存在于各变量中的各类信息。因子分析就是这样一种降维的方法。 3.2 因子分析法 因子分析（Factor Analysis, FA）是多元统计分析中的一种重要方法, 最早由英国心理学家C.E.斯皮尔曼提出，其主要目的是用来描述隐藏在一组观测到的变量中的一些更基本的，但又无法直接测量到的隐性变量（Hidden Variable）。因子分析利用降维的思想，从研究原始变量相关矩阵内部结构出发, 把一些错综复杂的变量归结为少数几个综合因子。其基本思路是根据相关性大小将变量分组，使得同组内的变量之间的相关性较高，不同组内的变量间的相关性较低。每组变量代表一个基本结构，用一个不可观测的综合变量表示，这个基本结构称为公共因子。对于所研究的问题就可以用最少个数的不可观测的公共因子的线性函数与特殊因子之和来描述观测到的每个分量。比如，某公司老板对应聘者进行面试，并给出他们在15个方面所得的分数，这15个方面是：申请书的形式（ ），外貌（ ），专业能力（ ），讨人喜欢（ ），自信心（ ），精明（ ），诚实（ ），推销能力（ ），经验（ ），积极性（ ），抱负（ ），理解能力（ ），潜力（ ），交际能力（ ），适应性（ ）。通过因子分析，这15个方面可以归结为应聘者的外露能力（ ）、经验（ ）、讨人喜欢的程度（ ）、专业能力（ ）和外貌（ ）这五个因子。 虽然因子分析最早由心理学家提出，但因为其具有降维的特性，现在已经广泛应用于人脸识别、 语音识别、 Web 文本特征提取、 社会调查、 心理分析和教育评估等诸多领域。 3.1.1 因子分析模型[8] 设 是 维可观测的随机变量，其均值为 ，协方差为 ； 是 维不可观测的随机变量，其均值为 ，协方差为 ；通常有 。 是与 互不相关的 维不可观测的随机变量，且有均值为 ，协方差为 ； 则因子分析的一般模型为 （3-1） 将上式写成矩阵形式为 （3-2） 其中 被称为 的公共因子， 被称为 的特殊因子；模型中的矩阵 是待估计的系数矩阵，被称为因子载荷阵。 这里有两个重要的假设： （1）特殊因子之间互不相关，且有 ； （2）特殊因子和公共因子之间互不相关，即 。 3.1.2 因子分析模型的性质[8] 1. 的协方差 的分解 （3-3） 2. 因子载荷阵 的统计意义 （1） 的元素 （3-4） 可见 中元素 刻画了变量 与 之间的相关性，称为 在 上的因子载荷。 越大，说明 对 的影响越大。 （2） 的行元素的平方和 因为 的方差为 （3-5） 可以看到， 的方差由两部分组成： 是全部公共因子对变量 的总方差所做的贡献，它反映了公共因子对 的影响，称为共性方差； 是特殊因子 对 的方差贡献，称为特殊方差。 （3） 的列元素的平方和 因为 （3-6） 其中 ， 是公共因子 对 的总方差贡献，它反映了 对 的影响，是衡量公共因子 重要性的一个尺度。显然， 越大，表明 对 的贡献越大。 （4）因子旋转 因子载荷阵 是不唯一的，设 为任意 正交矩阵，令 ， ，则有 （3-7） （3-8） （3-9） 所以有 （3-10） 因此可以通过给因子载荷阵右乘一个正交矩阵 ，来旋转因子，使新的因子有更好的意义。 3.3 因子分析与主成分分析的比较 主成分分析是（Principal Component Analysis，PCA）一种与因子分析类似的降维方法，其基本理论是通过对原始观测变量进行线性组合从而得到主分量。 设 是 维随机变量，均值为 ，协方差为 。对 进行线性变换有 （3-11） 将上式写成矩阵形式为 （3-12） 我们希望寻找一组新的变量 ，这组新的变量要求充分地反映原变量的信息，而且相互独立。我们知道，当一个变量只取一个数据时，这个变量（数据）提供的信息量是非常有限的，当这个变量取一系列不同数据时，可以从中读出最大值、最小值、平均数等信息。变量的变异性越大，说明它对各种场景的“遍历性”越强，提供的信息就更加充分，信息量就越大。主成分分析中的信息，就是指标的变异性，用标准差或方差表示它。 从线形代数的角度来看，PCA的目标就是使用另一组基去重新描述得到的数据空间。而新的基要能尽量揭示原有的数据间的关系。它是一个线性变换。这个变换把数据变换到一个新的坐标系统中，使得任何数据投影的第一大方差在第一个坐标轴（称为第一主成分）上，第二大方差在第二个坐标轴（第二主成分）上，依次类推，保持数据集的对方差贡献最大的特征，这是通过保留低阶主成分，忽略高阶主成分做到的。这样低阶成分往往能够保留住数据的最重要方面。PCA的重点在于最大限度的体现原数据所包含的信息，而FA模型的重点在于解释原始变量之间的内在关系。 主成分分析的一个显著特点是没有对观测数据建立概率模型，模型中的参数是固定的，需要计算数据的协方差矩阵，当观测量的维数很高时，计算量会很大。因此Bishop和Tipping在1999年提出了概率主成分分析模型[5]（Probabilistic Principal Component Analysis，PPCA）。 同样的，设 是 维随机变量，均值为 ，协方差为 。 是 维不可观测的隐变量，通常服从高斯分布 ，则有 （3-13） 其中 为原始变量在坐标空间的各个方向上所加的噪声，同样服从高斯分布 。于是可以通过最大似然估计得到模型中的参数和隐变量。 可以看到，概率PCA与FA模型在形式上十分相似，只是两者在噪声变量上限制不同。概率PCA模型要求所加噪声在各个方向上一致，而FA模型则舍去了这一限制。其次，PCA模型和PPCA模型都要求观测变量子空间的基是正交的，由于零均值高斯变量正交则独立，因此，这两种模型相应的隐变量各元素是相互独立的。但事实上，独立变量不一定都是正交的，独立的条件要比正交更弱，FA模型并不要求观测变量的子空间的基相互正交，通过似然函数最大保证隐变量各元素的独立统计性，同时还放宽对噪声的限制，并不要求噪声变量各元素的方差都相同。因此具有更普遍的适用性[4]。 3.4 小结 这一章介绍了因子分析法的基本知识和主要性质，并与主成分分析作了比较。要对观测数据进行因子分析，首先就要对因子分析模型中的参数进行估计，参数包括因子载荷阵 和特殊因子的方差 。在运用极大似然法估计时，由于模型中存在不可观测的隐变量，要找到使对数似然函数达到最大值的参数是十分困难的，在下面的一章中，将介绍一种参数估计的特别算法，EM算法。它在解决模型中存在隐变量的参数估计这一方面十分有效。 第六章 结束语 因子分析法作为一种有效的数据降维的方法，广泛的应用于人工智能，机器学习和模式识别领域。由于模型中存在不可观测的隐变量，使得参数的估计比较复杂。本文从贝叶斯理论出发，运用变分贝叶斯EM算法推导出因子分析模型中参数和隐变量的后验分布形式，并在一定程度上解决了隐变量维数的自动确定问题。现将本文的主要工作归纳如下： *介绍了贝叶斯理论的基础知识，包括贝叶斯定理，贝叶斯估计和先验分布的选择。 *介绍了因子分析模型，并与主成分分析作简要比较。 *运用变分贝叶斯算法推导出了因子分析法的贝叶斯后验分布公式，并用Matlab编程实现。 本文尚存在一些问题没有解决，比如算法只能解决隐变量维数较少的数据，且程序对于初始条件的设置过于敏感等，这些将在今后的研究工作中得到进一步的解决。 致 谢 毕业设计作为大学四年的最后一课，教会了我许多东西。在做毕设的这几个月里，我学到的不只是专业上的理论知识，更重要的是渐渐学会如何去做一项研究，如何独立解决遇到的问题，如何查阅资料等等，为将来研究生阶段的学习作了准备。当然，不能忘记的是那些一直在我身边帮助我的人，我的老师、同学和朋友，在此，向他们致以最诚挚的谢意﹗ 首先，我要衷心地感谢我的指导老师杜兰副教授。在整个的毕设过程中，杜老师对于我在工作上遇到的问题，始终给予耐心细致的讲解和帮助，尽职尽责，我能够顺利的完成毕业设计离不开她的帮助。 同时我还要感谢与我同在一个毕设小组的李志鹏，缑晓宇和阎昆同学，在毕设过程中我们互相学习，相互鼓励，共同进步。还有，感谢大学四年与我朝夕相处的我的舍友们，谢谢他们四年来带给我的快乐，他们是我一生的朋友。 最后，深深地感谢我的家人对我的关心和支持，我会更加努力的！ 参考文献 [1] M. J. Beal, Variational Algorithms for Approximate Bayesian Inference, Phd. Thesis, University College London (UCL), May 2003; [2] C. M. Bishop, Pattern Recognition and Machine Learning, Springer, 2006; [3] F. B. Nielsen, Variational Approach to Factor Analysis and Related Models, Master Thesis, Technical University of Denmark, May 2004; [4] 杜兰, 雷达高分辨距离像目标识别方法研究, 博士学位论文, 西安电子科技大学, 2007年4月. [5] C. M. Bishop, M. E. Tipping, Probabilistic Principle Component Analysis, September 27 1999; [6] M. J. Beal, Z. Ghahramani, The Variational Bayesian EM Algorithm for Incomplete Data: with Application to Scoring Graphical Model Structures, University College London (UCL), 2003; [7] 范金成, 梅长林, 数据分析, 北京: 科学出版社, 2002; [8] 高慧璇, 实用统计方法与SAS系统, 北京: 北京大学出版社, 2001,10; [9] 边肇祺, 张学工, 模式识别 (第二版). 北京: 清华大学出版社, 2000; [10] 李昌利, 沈玉利, 期望最大算法及其应用, 计算机工程与应用, 2008, 44(29). 61-63; [11] J. A. Bilmes, A Gentle Tutorial of the EM Algorithm and its Application to Parameter Estimation for Gaussian Mixture and Hidden Markov Models, International Computer Science Institute, 1998, 4; [12] 李昌利, 李司东, 基于EM算法的因子分析中隐变量的条件概率密度函数, 数学的实践与认识, 2009年7月, 39卷(14期). 132-135;【贝叶斯分析方法研究】相关文章：