企肥学统学赧(自然科学版) Journal of Hefei University(Natural Sciences) 2013年2月第23卷第1期 Feb.2013 Vo1.23 No.1 贝叶斯网络研究综述 胡春玲 (合肥学院网络与智能信息处理重点实验室,合肥230601) 摘要:贝叶斯网络将概率理论和图论相结合,为解决不确定性问题提供了一种自然而直观的方法.近年来,贝 叶斯网络已成为国内外智能数据处理的研究热点之一,被广泛应用于专家系统、决策支持、模式识别,机器学习 和数据挖掘等领域.综述了贝叶斯网络的典型推理和学习算法,并对其进一步的研究方向进行了展望. 关键词:贝叶斯网络;推理;学习 中图分类号:TP181 文献标识码:A 文章编号:1673—162X(2013)01—0033—08 Research Overview on Bayesian Network HU Chun—ling (Key Laboratory of Network and Intelligent Information Processing,Hefei University,Hefei 230601,China) Abstract:Bayesian network is developed by the integration of probability with graph theory.It provides a natural tool for dealing with problem of uncertainty.In recent years,Bayesian network has become a hot research topic in the field of intelligent data processing and has been widely used in expert systems, decision support,pattern recognition,machine learning and data mining.Based on the summary of the existing classic algorithms for inferring and learning Bayesian network,the paper gives perspective research direction of Bayesian network. Key words:Bayesian network;reasoning;learning 1概述 现实世界中存在着大量的不确定性现象,专家系统、决策支持、数据挖掘等领域都需要对不确定性信 息和知识进行有效地表示、推理和学习.概率模型是处理随机现象的有力工具,人们对如何使用概率理论 来有效处理不确定性信息和知识,进行了长期的、坚持不懈的研究,提出并实现了许多基于概率的智能信 息处理模型和方法,贝叶斯网络是其中最具有代表性的智能信息处理模型. 贝叶斯网络的奠基性工作是数学家Bayes撰写的一篇具有哲学性的论文:An Essay toward Solving a Problem in the Doctrine of Chances .Jeffreys的著作《概率论》标志着贝叶斯学派的形成,针对无信息先验 分布,Jeffreys提出了重要的杰弗莱准则 j.在对图的拓扑结构与变量之间条件性之间的关系深入研 究的基础上,美国加州大学的Pearl于1988年首次提出了贝叶斯网络模型 J. 贝叶斯网络一经提出,就引起了广泛的关注,该网络基于概率理论和图论,既有牢固的数学基础,又有 形象直观的语义,是目前不确定知识表示和推理领域中最有效的理论模型之一.贝叶斯网络不仅具有强大 的建模功能,而且具有完美的推理机制,贝叶斯网络能够通过有效融合先验知识和当前观察值来完成各种 查询.在过去的二十多年里,贝叶斯网络在很多领域证明了其价值,其中包括医疗诊断、治疗规划、机器故 收稿日期:2012—11—01 修回日期:2012—12—20 基金项目:安徽省教育厅自然科学基金项目(KJ2010B177)资助。 作者简介:胡春玲(1970~),女,安徽枞阳人,合肥学院网络与智能信息处理重点实验室讲师,博士;研究方向:贝叶斯网络 和数据挖掘. 34 合肥学院学报(自然科学版) 第23卷 障诊断、用户建模、自然语言理解、规划、计算机视觉、机器人、数据挖掘、欺诈侦察等一系列领域. 贝叶斯网络模型的研究可以大致分成3个阶段:(1)贝叶斯网络推理机制的研究;(2)贝叶斯网络学 习方法的研究;(3)贝叶斯网络在实际问题领域的应用研究.目前,贝叶斯网络模型在众多的问题领域得 到了广泛有效的应用,近些年的机器学习和数据挖掘的蓬勃发展为贝叶斯网络模型本身的发展及其在实 际问题领域的应用提供了更为广阔的空间. 2贝叶斯网络的研究 2.1 贝叶斯网络推理的研究 贝叶斯网络的知识表示于2O世纪80年代末到90年代初取得了重大突破.Geiger等通过深入研究同 模型的拓扑结构和随机变量的性之间的对应关系,首次提出了有向分隔的概念及其判断方法,形成了 一套关于条件的公理系统Hj,为贝叶斯网络知识表示提供了理论基础.随后,贝叶斯网络推理也得到 了较为全面的研究,贝叶斯网络推理是指在给定证据条件下查询贝叶斯网络中某些节点的后验信息,其推 理算法分为精确推理算法和近似推理算法两大类. 2.1.1 精确推理算法 精确推理算法主要有:消息传播算法、连接树算法、符号概率推理算法、弧删除算法和微分算法等.消 息传播算法是Pearl于1986年提出的, 该算法用于解决单连通网络的推理问题.Pearl算法中每个节点 根据相邻节点传递来的消息和分配该节点的条件概率计算每个节点的后验概率,其时间复杂度与证据传 播过程中的路径长度成正比,但不能用于多连通网络,为此,Pearl还提出了条件算法,l5 该算法通过寻找 合适的条件节点集,使多连通网络具有单连通网络的特性,然后采用消息传播算法进行推理.条件算法的 时间性能为条件节点集长度的指数级,而最小条件节点集的寻找本身又是一个NP问题.16 围绕最优或接 近最优条件变量集的寻找,提出了不同的条件算法.【卜 连接树推理算法是Lauritzen等人于1988年提出的.【 连接树推理算法首先将贝叶斯网络转换为一 棵连接树,然后通过消息传播算法来进行推理.Shenoy—Shafer算法 叫和Hugin算法 ¨是两种经典的连接 树推理算法,二者之间的区别在于消息传播方式的不同,这两种算法有各自的优点,Hugin算法能够避免 冗余计算,而Shenoy—Shafer算法在连接树处于一致状态下,能进行更为全面的贝叶斯分析.连接树算法 是具有较高推理效率的贝叶斯网络精确推理算法,因而得到了最广泛的应用,该类算法的计算复杂度为连 接树中最大子团节点数的指数级,但寻找最优连接树是NP问题¨ ,目前主要采用启发式算法寻找近似 最优的连接树. 消元推理算法是Shachter等于1990年基于组合优化的思想提出的推理算法,l1 该算法利用贝叶斯 网络知识表示的可分解性,通过选择消元顺序以改变求和与乘积运算的次序来减少运算量.消元推理算法 简单通用,其时间复杂度取决于所选择的消元顺序,而寻找最优消元次序是一个NP问题.根据消元次序 和消元方式的不同,Zhang等人提出的变量消元算法¨ 、Dechter提出的桶消元算法_1 和Kask等提出桶 树消元算法¨ 都是消元推理算法中的经典算法. 弧删除算法是Shachter于1990年提出的一种推理算法,l】 该算法根据贝叶斯原理通过弧反向改变 网络结构,修改网络中相应节点的条件概率分布表,并删除网络中不是证据节点的叶节点,重复这一操 作,直到网络的待查询节点和证据节点变成父子关系.Adrian等于1997年对弧删除算法进行改进,提出 了一种基于树结构的弧反向算法¨ .弧删除算法的时间性能取决于弧反向和节点缩减操作的运算量,而 弧反向操作的运算量是网络中需改变概率分布的节点数指数级,因此弧删除算法适用于稀疏网络. 微分算法是Darwiche于2000年提出的一种推理算法, 1 该算法首先将贝叶斯网络表示成对应变量 所有一致取值乘积项之和的代数多项式,通过计算该代数多项式关于网络节点变量或变量集的偏导数来 查询节点的后验概率.Darwiche还通过在代数多项式的算术电路和连接树之间建立起对应关系,给出了在 连接树中通过局部计算进行后验概率查询的方法;Boris也对微分算法进行改进,并将其用于动态贝叶斯 网络的推理 J.微分算法具有明确的概率语义,易于理解,并能通过局部计算进行广泛的贝叶斯分析问题 的求解. 第4期 胡春玲:贝叶斯网络研究综述 35 2.1.2近似推理算法 精确推理算法均只能用于规模较小的贝叶斯网络,而近似推理算法网络能适用于更大的网络规模并 具有较高的推理效率.贝叶斯网络的近似推理算法主要有:随机抽样算法和循环消息传播算法等.随机抽 样算法是最常用的贝叶斯网络近似推理算法 .该算法在其抽样过程收敛之后,通过一组来自于其平稳 后验概率分布的样本来完成后验概率的查询. 重要性抽样法和MCMC(Markov chain Monte Carlo)抽样方法是两大类重要的随机抽样算法.重要性 抽样法中的典型算法有:概率逻辑抽样法 、自适应重要性抽样和启发式重要性抽样Ⅲ2 等,其中概率逻 辑抽样法是由Dagum等于1995年最早提出的一种重要性抽样算法,该算法适用于没有证据节点的贝叶 斯网络的推理.典型MCMC的算法有:Gibbs抽样算法(Gibbs sampling) 和MHS抽样算法(Metropolis— Hasting Sampler) 等,这类抽样算法能保证抽样过程收敛于平稳分布,但收敛速度取决于初始值和转移 概率.随机抽样算法虽然简单通用,但该算法存在如何判断抽样过程是否收敛及收敛速度慢等问题. 循环消息传递算法是Mushy等于1999年提出的一种用于多连通网络推理的近似算法,I2 该算法是 消息传递算法的改进算法,能在多数情况下保证其收敛性,而且具有比较好计算精度,但当网络中出现极 端的先验概率时,该算法的计算结果会在两个值之间振动而无法达到收敛.Tatikonda等通过保证循环消 息传递算法计算树上的Gibbs度量的唯一性,使算法趋于收敛 . 2.2贝叶斯网络学习的研究 贝叶斯网络的学习包括结构学习和参数学习两个方面,参数学习比较简单规范,贝叶斯网络学习的研 究主要集中在对贝叶斯网络结构学习算法的研究.贝叶斯网络的结构学习过程是结合包含专家知识在内 的先验信息,寻找与样本数据集拟合得最好的网络结构.20世纪90年代以来,研究人员从不同的角度对 贝叶斯网络的学习问题进行了研究,提出了很多经典的贝叶斯网络学习算法,这些算法大致可以分成三大 类:基于评分搜索的方法、基于依赖分析的方法和混合学习方法. 2.2.1 基于评分搜索的方法 基于评分搜索的结构学习方法包括评分方法和搜索方法两部分.常用的评分方法主要有贝叶斯评分、 最小描述长度评分和最大互信息评分等;常用的搜索算法主要有:贪婪搜索法、爬山法、分支界定法和模拟 退火法等. Cooper等人于1992年基于贝叶斯评分和贪婪搜索策略提出了K2算法[28 J,该算法在预先给定节点序 的条件下,每个节点根据能否改善网络结构的评分函数值从其前驱节点集中贪婪搜索其父节点集,从而最 终达到寻找评分函数最优的网络拓扑结构的目的.1<2算法在其结构搜索过程中能有效地融入先验知识, 具有良好的时间性能,是一个具有实际意义的最具代表性评分搜索类学习算法.Suzuki于1993年基于 MDL评分函数和分支界定搜索法提出了K3算法 ,该算法通过分支和界定两种技术来减小搜索空间, 能够保证在节点序未知的情况下发现MDL评分最优的网络结构,该算法在标准数据集上实验结果显示其 在较小规模的数据集上的学习精度高于I(2算法,而在大规模数据集上的学习精度低于K2. Chickering等人在1995年提出了基于贝叶斯评分和模拟退火的启发式搜索策略的结构学习算法 . 模拟退火算法采用完全随机的搜索策略,当温度较高时,算法可以接受部分评分函数值低的解,避免陷入 局部最优,但随着温度的降低,接受评分函数值低的解的概率越来越小直至为零,而最优解的获得通常需 要经过一些评分函数值不高的解,因此模拟退火算法不能完全避免陷入局部最优. Larranaga于1996年基于贝叶斯评分和遗传算法提出了一种结构学习算法, 该算法采用遗传算法 不断优化贝叶斯评分,在迭代一定次数后或贝叶斯评分不能被进一步优化的情况下,结束迭代过程.Wong 等人于2002年对这类算法的遗传算子进行改进,提出了一种基于最小描述长度评分和演化算法的贝叶斯 网络结构学习算法MDLEP,l3 实验结果表明:算法MDLEP的时间性能明显优于基于遗传算法的贝叶斯 网络结构学习算法.基于演化计算的搜索方法存在收敛速度慢且不能有效描述收敛后的样本分布特征,该 类算法在迭代一定次数后容易发生基因漂移,不能保证种群的多样性,因而也不能完全避免此类算法陷人 局部最优. Madigan等人于1994年基于贝叶斯评分和MCMC方法提出了一种贝叶斯网络的结构学习算法,_3 该算法通过模拟一条收敛于网络结构后验分布的马尔可夫链来学习贝叶斯网络结构,具有良好的学习精 36 合肥学院学报(自然科学版) 第23卷 度,但其抽样过程存在融合性差和收敛速度慢等问题.MCMC方法能从理论上保证样本的遍历性和收敛 性,进而能保证学习精度,因此,近年来出现了许多着力于改善MCMC方法收敛速度的改进算法.Friedman 等人于2003年提出了一种采用MCMC抽样方法分别对节点序和满足节点序的网络结构进行抽样的贝叶 斯网络结构学习算法.¨3 ]Eaton等人于2008年基于动态规划和MCMC方法提出了一种贝叶斯网络结构学 习算法,_3 该算法是对Koivisto等人于2004年提出的一种基于动态规划方法精确计算贝叶斯网络中的边 和局部子结构后验概率算法 的改进和拓展. 2.2.2基于依赖分析的方法 基于依赖分析的方法又被称为基于性检验的方法,该类方法采用卡方检验或信息论中互信息判 断变量之间的性和条件性,并据此建立描述变量之间依赖关系和关系的贝叶斯网络.基于依 赖分析的方法的学习精度和学习效率取决于其学习过程中所进行条件性检验的阶数和次数,而学习 过程中需要进行的条件性检验的次数和阶数又取决于网络结构的复杂程度,因此该类算法适用于结 构稀疏的贝叶斯网络学习. Wermuth等人于1983年基于依赖分析的思想提出了一种建立有向图的理论性算法,_3 该算法根据 节点对之间的互信息来判断网络中是否存在对应的边,虽不具有实际意义,但却奠定了依赖分析方法研究 和发展的基础.此后Spirtes等人相继提出了基于依赖分析方法中的经典算法SGS算法 和Pc算法 , SGS算法在节点序未知的条件下,选择无向完全图为初始网络结构,然后通过条件性检验来去除网络 中冗余的边,但需要进行的条件性检验的次数为指数级.Pc算法是SGS算法的改进算法,该算法从 空图出发,通过条件性检验向网络结构中添加边,对于稀疏网络的结构学习具有较高的学习效率. Cheng等人于2002年基于互信息进行条件性检验建立了一种更有效的贝叶斯网络结构学习方 法TPDA ,该算法分成Drafting、Thickening和Thinning三个阶段来进行贝叶斯网络的结构学习.算法 TPDA的时间性能与是否提供节点序相关,若节点序已知,其时间复杂性为O(n ),若节点序未知,其时间 复杂性是0(n ),其中n为网络中节点个数.算法TPDA的学习精度与网络结构中的依赖关系是否满足单 调性相关,若依赖关系满足单调性,则该算法能够发现最小图. 2.2.3混合学习方法 混合方法大多采用基于依赖分析的方法获得节点序或缩减搜索空间,然后采用基于评分搜索的方法 进行贝叶斯网络的结构学习. Singh等人于1995年结合评分搜索和依赖分析提出了贝叶斯网络结构学习的一种混合算法,l4 该算 法根据条件性检验获得结点序,在此基础上,通过K2算法进行网络结构的学习,直到网络结构的评 分不能被进一步优化为止.Chen等人于2008年基于同一思想提出了一种效率更高的混合算法,该算法基 于互信息获得节点序,然后采用K2算法进行网络结构的学习._4 Wang等人于2004年基于条件性检验和演化计算的思想设计了一种混合型网络结构学习算法 HEA, 该算法采用MDL评分函数,通过可靠的低阶性检验来减少搜索空间,并在其演化计算的过 程中修改性检验的参数以避免丢失潜在的最优解,针对贝叶斯网络的结构学习,算法HEA在其演化 计算过程中遗传算子的设计具有针对性.实验结果表明算法HEA具有良好的学习精度. Tsamardinos等人于2006年基于依赖分析和爬山法提出了一种贝叶斯网络结构学习算法MMHC, 该算法首先采用Statnikov等人于2003提出的一种基于依赖分析的算法MMPC¨4 学习出贝叶斯网络中每 个节点邻居节点集,再通过爬山搜索法确定网络中每条边的方向.Pinto等人于2008年基于MMPC算法和 蚁群优化算法提出了一种贝叶斯网络结构学习的混合算法MMACO, 该算法采用MMPC算法学习贝叶 斯网络的框架,再通过蚁群算法确定贝叶斯网络中每条边的方向. 2.2.4 缺失数据集上的学习方法 针对缺失数据集的贝叶斯网络结构学习,Friedman提出了SEM算法, 卜 该算法采用参数EM算法 学习网络参数,通过结构搜索方法选择模型.每一次迭代过程中,SEM算法只对结构发生变化的局部网络 结构进行重新评分,并选择从当前最优的网络结构开始下一轮迭代,直至网络结构趋于收敛为止. Friedman证明了SEM可以在算法的每个循环内查找较好的得分网络,但SEM算法通常会收敛于局部最 优值. 第4期 胡春玲:贝叶斯网络研究综述 37 Myers等于1999年将遗传算法引入缺失数据集上贝叶斯网络的结构学习GA_4 ,该算法同时对网络 结构和数据缺失值进行演化,在网络结构不能被进一步优化的情况下或达到一定迭代次数后算法终止,实 验结果表明:GA算法的精度优于算法SEM.针对遗传算法迭代过程中可能出现的基因漂移和迭代终止后 样本分布无法描述等问题,Laskey等于2003年基于MCMC随机抽样提出了一种数据缺失条件下贝叶斯 网络的结构学习算法PopMCMC_5 ,该算法采用来自于样本总体的转移概率进行自适应的MCMC抽样,进 一步提高了学习精度. 贝叶斯网络模型学习和推理均已被证明为NP问题 5 ,因此贝叶斯网络在实际问题领域的应用曾经 2.3贝叶斯网络的应用研究 面临着巨大困难.近年来,许多专家和学者对贝叶斯网络的基础理论、学习和推理进行广泛深入的研究,提 出了许多经典有效的算法,使得贝叶斯网络在实际问题领域的应用成为可能. 贝叶斯网络首先在医疗诊断领域取得了广泛的应用,出现了许多基于贝叶斯网络的辅助医疗诊断系 统,如:PATHFINDE系统和CPCSBN远程医疗系统等_5 .贝叶斯网络同时还在生命科学领域得到了广 泛的应用,如:基于贝叶斯网络进行基因序列分析、基因网络的构建和蛋白值分析等 .在工业和 工程控制领域,贝叶斯网络在信号检测、无线传感器网络、制造控制系统和系统可靠性分析等方面都有非 常成功的应用 .总之,贝叶斯网络模型和贝叶斯方法已经在医疗诊断、生命信息学、图像和语音识别、 金融风险分析和软件系统测试等诸多领域得到了广泛而成功的应用,并正在被融人到人工智能和数据挖 掘领域处理不确定性问题的主流模型中. 国内在贝叶斯网络模型及应用方面的研究起步较晚,但近年来在分类、预测和故障诊断等方面出现了 许多积极的进展.宫秀军等人基于贝叶斯方法提出了一种增量式贝叶斯分类器,并基于贝叶斯网络潜在语 义对半监督Web挖掘问题进行了研究 ;李俭川和邓勇等人开展了贝叶斯网络在模型诊断和故障定位 等问题中应用研究 训;汪荣贵提出了基于贝叶斯网络的感知组织算法,并将其应用于航空摄影图像中 屋顶等目标的检测[6u;徐肖江、雷耀山等将贝叶斯网络用于基因网络的构建等 ∞ . 3结束语 近年来,贝叶斯网络模型及其应用一直是国内外的研究热点,这一模型正以其独特的综合先验知识的 增量学习特性和卓越的推理性能融人到人工智能和数据挖掘的主流中.贝叶斯网络模型本身及其在实际 问题领域的应用,都有待进一步的研究和扩展.进一步的研究方向主要有以下几点: (1)贝叶斯网络的学习和推理都已被证明是NP问题,今后针对具体的问题领域,综合多领域、多学科 的思想和方法,进一步探索贝叶斯网络学习和推理的高效稳定算法.如:针对生物信息领域高维小样本的 特点,基于演化计算的思想,将学习问题转化成一个并行搜索的问题,探索有效的基于贝叶斯网络的基因 网络构建方法和基因关联分析方法. (2)贝叶斯网络知识合成的研究.当来自于非常可靠的数据源的不确定性知识与当前网络结构不一 致时,则有可能是网络结构不再能完全反映问题模型.如何结合贝叶斯网结构学习的相关算法和其增量特 性,通过修改当前网络结构来实现不确定性知识的合成将是一个很有意义的研究方向. (3)对模型本身进行扩展研究.将层次化、模块化及时间因素引入贝叶斯网络,并突破模型本身的有 向无环,以适应大规模和复杂环境的要求. 参考文献: [1] Bayes T R.An Essay toward Solving a Problem in the Doctirne of Chances[J].Philosophical Transactions of the Royal Society,1763,53:370-418. [2]Jeffries H.An Invariant Form for the Prior Probability in Estimation ProMems[C].Proceedings fo Roy Soc Lond,1946,186: 453-461. [3]Pearl J.Probabilistic Reasoning in Intelligent Systems[M].Morgan Kaufinann:Network of Plausible Inference,1988:1-86 [4] Geiger D,Verma,T.D-Separation:From Theorems to Algorithms[C].Proceedings of the 5th Workshop on Uncertainty in Artiifcial Intelligence,Windsor,Ontario,1989:118・125. [5]Pearl J.Propagation and Structuring in Belief Networks[J].Artiifcial Intelligence,1986,29(3):241-288. 38 合肥学院学报(自然科学版) 第23卷 [6] Suermondt H J,Cooper G F.Probabilistic Inference in Multiply Connected Belief Networks Using Loop Cutsets l J]. International Journal of Approximate Reasoning,1990,4(4):283—306 [7]Diez F J.Local Conditioning in Bayesian Networks[J].Artiifcial Intelligence,1996,87(1-2):1・20. [8]Darwiche A.Recursive conditioning[J].Artiifcial Intelligence,2001,125(1—2):5-41. [9]Lauritzen S L,Spiegelhaher D J.Local Computations with Probabilities on Graphical Structures and Their Applications to Expert Systems[C].Proceedings ofthe Royal Statistical Society,1988,B(50):154-227. [10] Shenoy P,Sharer G.Axioms for Probability and Belief-function Propagation[J].Uncertainty in AI,1990,4:169・198. [1 1] Jensen F V,Lauritzen S,Olesen K.Bayesian Updating in Causal Pmbabilistic Networks by Local Computation[J]. Computational Statistics Quarterly,1990,4:269—282. [12] 田凤占,张宏伟,陆玉昌,等.多模块贝叶斯网络中推理的简化[J].计算机研究与发展,2003,40(8):1230—1237. [1 3] Shachter R D,Ambrosio D B,DelFavero B D.Symbolic Probabilistic Inference in Belief Networks[C].Proceedings of the Eighth National Conference on Artiifcial Intelligence,Boston:MIT,1990:126—13 1. [14] Zhang N L,Poole D.A Simple Approach to Bayesian network Computations[C].Proceedings of the lOth Canadian Conference on Artiifcial Intelligence,1994:171—178. [15]Dechter R.Bucket elimination:a Unifying Framework orf Probabilistic Inference[C].Proceedings of the 12th Conference on Uncertainty in Artiifcil Iantelligence.Portland,Oregon,1996:211—219. [16]Kask K,Dechter R,Larrosa J,et a1.Bucket—tree Elimination for Automated Reasoning[J].Artiifcial Intelligence,2001, 125:91—131. [17]Shachter R D.Evidence Absorption and Propagation through Evidence Revemals[J].Uncertainty in Artiifcial Intelligence, 1990(5):173—190. [18]Adrian Y W C,Boutilier C.Structured Arc Reversal and Simulation ofDynamic Probabilistic Networks[C].Proceedings of the 13th Conference on Uncertainty in Artiifcial Intelligenee,1 997:72-79. [19]Darwiehe A.A Differential Approach to Inference in Bayesian[J].Journal ofthe ACM(JACM),2003,50(3):280:305. [20] Boris B.An Extension of the Differential Approach for Bayesian Network Inference to Dynamic Bayesian Networks[J]. International Journal of Intelligent Systems,2004,19(8):727-748. [21]Dagum P,KarpR,Luby M,et a1.An Optimal Algorithm for Monte Carlo estimation[C].Proceedings of the 6th IEEE Symposium on Foundations of Computer Science,Portland,Oregon:1995:142—149. [22]Henrion M.Propagating Uncertainty in Bayesian Networks by Probabilistic Logic Sampling[J].Uncertainty in Artiifcial Intelligence,1988(2):149—163. [23]Shachter R D,Peot M A.Simulation Approaches to General Probabilistic Inference on Belief Networks[C].Proceedings of the Conference on Uncertainty in Artiicifal Intelligence,1990:1 10—1 17. [24] Geman S,Geman D.Stochastic Relaxation,Gibbs Distribution and the Bayesian Restoration of Images[J].1EEE Transactions on Pattern Analysis and Machine Intelligence,1984,6(6):721-741. [25] Chavez R M,Cooper G F.A Randomized Approximation Algorithm for Probabilistic Inference on Bayesian Belief Networks [J].Networks,1990:661-685. [26] Murphy K P,Weiss Y,Jordan M.Loopy Belief Propagation for Approximate Inference:an Empirical Study[C]. Proceedings of the 15th Conference Uncertainty in Artificial Intelligence,1999:467—475. [27]Tatikonda S,Jordan M.Loopy Belief Propagation and Gibbs Measures[J].Uncetrainty in Artiifcial Intelligence,2002:493— 500. [28]Cooper G F,Hemkovits E.A Bayesian Method orf the Induction of Probabilistic Networks from Data[J].Machine Learning, 1992,9:309—347. [29]Suzuki J.A Constuctrion of Bayesian Networks from Databases Based on an MDL Principle[C].Proceedings of the Ninth Annual Conference on Uncertainty in Artiicialf Intelligence,Morgan Kaufmann,Washington,DC,USA,1993:266—273. [30] Chickering D,Geiger D,Heekerman D.Learning Bayesian Networks:Search Methods and Experimental Results[C]. Proceedings ofthe 5th conference on Artiifcial Inte]ligence and Statistics,IEEE Press,1995:112—128. [3 1]Larranaga P.Structure Learning of Bayesian Networks by Genetic Algorithms:a Performance Analysis of Control Parameters [J].IEEE Transactions on Pattern Analysis and Machine Intelligence,1996,18b(9):912-926. [32] Wong M L,Lee S Y,Leung K S.A Hybrid Approach to Discover Bayesian Networks from Databases Using Evolutionmy Programming[C].Proceedings on the second International Conference Data Mining,2002:498-505. 第4期 胡春玲:贝叶斯网络研究综述 39 [33] Madigan D,Raftery A E,York J C,et a1.Strategies for Graphical Model Selection[M].Berlin:Selecting Models from Data:Artiifcial Intelligence and Statistics,Springer,1994:21-27. [34] Friedman N,Koller D.Being Bayesian about Network Structure:A Bayesian Approach to Structure Discovery in Bayesian Networks[J].Machine Learning,2003,50:95—126. [35] Chickering D M,Geiger D.[,earning Bayesian Networks:Search Methods and Experimentla Results[C].Proceedings of the 5th Conference on Artiifcial Intelligence and Statistics,1995:1 12—128. [36] Koivisto M,Sood K.Exact Bayesian Structure Discovery in Bayesian Networks[J].Machine Learning Research,20o4,5: 549.573. [37] Wermuth N,Lauritzen S.Graphical and Reeursive Models ofr Contingency tables[J].Biometrika,1983,70(1):537-552. [38] Spirtes C,Glymour P eSheines R.Causality from Probability[M].London:Piman,Evolving Knowledge in Natural Science and Artiifcial Intelligence,1990:181—199. [39] Spitres P,Glymour C,Scheines R.An Algorithm for Fast Recovery of Sparse Causal Graphs[J].Social Science Computer Review,1991,9(1):62-72. [40] Cheng J,Greiner R.Learning BayesianNetworks from Data:an Information Theory based Approach[J].Artiifcial Intelligence,2002,137(1-2):43-90. [41] Singh M,Valtorta M.Consturction of Bayesian Network Structures form Data:a Brief Survey and an Efifcient Algorithm [J].International Journal ofApproximate Reasoning,1995,12(2):111-131. [42] Chen X W,Anantha G,Lin X T.Improving Bayesian Network Sturcture Learning with Mutual Information—Based Node Order in the K2 Algorithm[J].IEEE Transactions on Knowledge and Data Engineeirng,2008,20(5):628-640. [43] Wong M L,Leung K S.An Efifcient Data Mining Method for Learning Bayesian Networks Using an Evolutionary Algorithm— based Hybrid Approach[J].IEEE Transactions on Evolutionary Computation,2004,8:378_404. [44] Tsamardinos I,Brown E,Aleferis C F.The Max—min Hill—climbing Bayesian Network Sturcture Learning algorithm[J]. Machine Learning,2006,65(1):31-78. [45] Statnikov A,Tsamardinos I,Aliferis C F.An Algorithm for Generation of Large Bayesian Networks[R].Anderbilt University,2003,TR-03-O1. [46] Pinto P C,Nagele A,Deiori M,et a1.Learning of Bayesian Networks by a Local Discovery Ant Colony Algorithm[C]. IEEE World Congress on Computational Intelligence.Hong Kong:China,2008:2741-2748. [47] Friedman N.Learning Belief Networks in the Presence of Missing Values and Hidden variables[C].Proceedings of the 14th International Conference on Machine Learning,Morgan Kaufinann,Nashville,Tennessee,USA,1997:125—133. [48] Friedman N.The BayesianStureturla EM Algoritbm[C].Proceedings of the 14th Conference on Uncertainty in Artiifcial Intelligence.Morgan Kaufinann,Madison,Wisconsin,USA.1998:129-138. [49] Myers J W,Laskey K B,Levitt T S.Learning Bayesian Networks from Incomplete Data with Stochastic Search Algorithms [C].Proeeedings of the 15th Cofnerence on Uncertainty in Artiifcila Intelligence,MorganKaufmann,StockhOlm,Sweden, 1999:476-485. [50] Laskey K B,Myers J W.Population Markov Chain Monte Carlo[J].Machine Learning,2003,50:175—196. [51] Chickering D,Heckerman D,Meek C.Large-sample learning of Bayesian Networks is NP—Hard[J].Machine Learning Research,2004,5:1287—1330. [52] Lucas P J F.Expert Knowledge and Its Role in eLanring Bayesian Networks in Medicine:An Appraisal[C].Proceedings of the 8th Conference on AI in Medicine in European.Springer,Caseais,Portugal,2001:156—166. [53] Onisko A,Lucas P J F,M J Druzdze1.Comparison of Rule—Based and Bayesina Network Approaches in Medical Diagnostic Systems[C].Proceedings of the 8th conference on AI in Medicine in European,Springer,Cascais,Portugal,2001:283— 292. [54] Friedman N.Inferring Cellular Networks Using Probabilistic Graphical Models[J].Science,2004,303:799'805. [55] Jaimovich A,Elidan Margalit G H,et a1.Towards an Integrated Protein—protein Interaction Network:a Relational Markov Network Approach[J].Journal of Computational Biology,2006,13(2):145 . 、 [56] KrauseA,Guestrin C.Near—optimal Nonmyopic Value of Ifnomration in Graphical Models[C].Proceedings of the 21th Conference in Uncertainty in Artiifcila Intelligence,AAAI Press,Edinburgh,Scotland,2005:324・331. [57] PhamT V,Wowing M,Smeulders A W M.Face Detection by Aggregated Bayesian Network Classiifers[J].Pattern Recongition eLtters,2002,23(4):451-461. 合肥学院学报(自然科学版) 第23卷 [58]宫秀军,史忠植.基于贝叶斯潜在语义分析的半监督Web挖掘[J].软件学报,2002,13(8):1508—1514. [59]李俭川,陶俊勇,胡莺庆,等.基于贝叶斯网络的智能故障诊断方法[J].中国惯性技术学报,2002,10(4):24-28. [60]邓勇,施文康,陈良州.基于模型诊断的贝叶斯解释及应用[J].上海交通大学学报:自然科学版,2003,37(1):5-8. [61] 汪荣贵.bayes网络理论及其在El标检测中应用研究[D].合肥工业大学计算机与信息学院,2004. [62]雷耀山,史定华,王翼飞.基因网络的生物信息学研究[J].自然杂志,2004,26(1):7-12. [63]徐肖江.从功能基因组数据重建基因网络[D].中国科学院上海生命科学研究院生物化学与细胞生物学研究 所,2005. [责任编校:张永军] (上接第19页) 参考文献: [1]HU Shuhe,ZHU Chunhua,CHEN Yebin.Fixed-design Regression for Linear Time Series[J].Acta Mathematica Scientia, 2002,22B(1):9—18. [2]LIANG Hanying,JING Bingyi.Asymptotic Properties ofr Estimates of Nonparametric Regression Models Based on Negatively Associated Sequences[J].Journal ofMultivairate Analysis,2005,95(2):227-245. [3] Chandra T K,Ghosla S.Extensions of The Strong Law of Large Numbers of Marcinkiewicz and Zygrnund for Dependent Variablesf J1.Acta Mathematical Hungarica,1996,71(4):327—336. [4] Chandra T K,Ghosal S.The Strong Law of Large Numbers for Weighted Averages under Dependence Assumptions[J]. Journal f oTheoretical Probability,1996,19(3):797—809. [5] YUAN Demei,AN Jun.Rosenthal Type Inequalities for Asymptotically Almost Negative Associated Random Vairables and Applications[J].Science in China,Series A:Mathematics,2009,52(9):1887-1904. [6] WANG Xuejun,HU Shuhe,YANG Wenzhi.Convergence Properties ofr Asymptotically Almost Negative Associated Sequence [J].Discrete Dynamics in Nature and Society,2010,Article ID 218380,15 pages. [7] YANG Wenzhi,WANG Xuejun,LING Nengxiang,et a1.On Complete Convergence of Moving Average Process for AANA Sequence[J].Discrete Dynamics in Nature and Society,2012,Article ID863931,24 pages. [8]胡舒合,胡晓鹏,松.二阶矩下的Hajek—Renyi型不等式及其应用[J].应用数学学报,2005,28(2):227535. [9] 魏永利,刘小涛,李旭.NA序列部分和的收敛性质[J].合肥学院学报:自然科学版,2010,20(4),4-12. [责任编校:张永军]