一种模拟电路的支持向量机故障诊断方法

第３２卷　第１５期　Ｉｉｏ１．３２　・计算机工程　２００６年８月　Ａｕｇｕｓｔ　２００６　№ｌ５　Ｃｏｍｐｕｔｅｒ　Ｅｎｇｉｎｅｅｒｉｎｇ　博士论文・　一文章■号ｌ　ｌｏｏｏ＿＿３４２８（２００６）ｌ５—０ｏ３４．＿　３　文献标识码ｌ　Ａ　中圈分类号ｌ　ＴＰ３９１　种模拟电路的支持向量机故障诊断方法　罗志勇，史虐科　（西北工业大学自动化学院，西安７１００７２）　摘要：系统地提出了模拟电路的最小二乘小波支持向量机故障诊断方法。从测试点得到各种故障状态下的输出电压信号，对输出电压信　号进行小波去噪，对信号进行小波分解获取多尺度的低频系数和高频系数，并对小波系数进行处理从而提取出故障特征量，以此作为学习　样本来训练最小二乘小波支持向量机，确定其模拟电路故障诊断的模型。雷达系统电路仿真结果表明了模拟电路的小波变换和最小二乘小　波支持向量机故障诊断方法取得了较好的效果。　关健词：最小二乘小波支持向量机；小波变换；故障诊断；模拟电路；雷达　Ａ　Ｆａｕｌｔ　Ｄｉａｇｎｏｓｉｓ　Ａｐｐｒｏａｃｈ　ｆｏｒ　Ａｎａｌｏｇ　Ｃｉｒｃｕｉｔｓ　ｗｉｔｈ　Ｓｕｐｐｏｒｔ　Ｖｅｃｔｏｒ　Ｍａｃｈｉｎｅｓ　ＬＵＯ　Ｚｈｉｙｏｎｇ，ＳＨＩ　Ｚｈｏｎｇｋｅ　（Ｃｏｌｌｅｇｅ　ｏｆＡｕｔｏｍａｔｉｏｎ，Ｎｏｒｔｈｗｅｓｔｅｒｎ　Ｐｏｌｙｔｅｃｈｎｉｃａｌ　Ｕｎｉｖｅｒｓｉｔｙ，Ｘｉ’ａｎ　７１００７２）　［Ａｂｓｔｒａｃｔ］Ｂａｓｅｄ　ｏｎ　ｌｅａｓｔ　ｓｑｕａｒｅｓ　ｗａｖｅｌｅｔ　ｓｕｐｐｏｒｔ　ｖｅｃｔｏｒ　ｍａｃｈｉｎｅｓ，ａ　ｓｙｓｔｅｍａｔｉｃ　ａｐｐｒｏａｃｈ　ｆｏｒ　ｆａｕｌｔ　ｄｉａｇｎｏｓｉｓ　ｏｆ　ａｎａｌｏｇ　ｃｉｒｃｕｉｔｓ　ｉｓ　ｐｒｅｓｅｎｔｅｄ．　Ｆｉｒｓｔｌｙ，ｏｕｔｐｕｔ　ｖｏｌｔａｇｅ　ｓｉｇｎａｌｓ　ｕｎｄｅｒ　ｆａｕｌｔｙ　ｃｏｎｄｉｔｉｏｎｓ　ａｒｅ　ｏｂｔａｉｎｅｄ　ｆｒｏｍ　ａｎａｌｏｇ　ｃｉｒｃｕｉｔ　ｔｅｓｔ　ｐｏｉｎｔｓ　ａｎｄ　ｎｏｉｓｅ　ｉｓ　ｒｅｍｏｖｅｄ　ｆｒｏｍ　ｓｉｇｎａｌｓ　ｗｉｔｈ　ｗａｖｅｌｅｔ　ｔｒａｎｓｆｏｒｍａｔｉｏｎ．Ｔｈｅｎ　ｗａｖｅｌｅｔ　ｃｏｅｆｉｃｉｆｅｎｔｓ　ｏｆ　ｏｕｔｐｕｔ　ｖｏｌｔａｇｅ　ｓｉｇｎａｌｓ　ａｌｅ　ｇａｉｎｅｄ　ｂｙ　ｗａｖｅｌｅｔ　ｄｅｃｏｍｐｏｓｉｔｉｏｎ，ａｎｄ　ｆａｕｌｔｙ　ｆｅａｔｕｒｅ　ｖｅｃｔｏｒｓ　ａｒｅ　ｅｘｔｒａｃｔｅｄ　ｆｒｏｍ　ｔｈｅ　ｃｏｅｆｉｃｉｆｅｎｔｓ．Ａｆｔｅｒ　ｔｒａｉｎｉｎｇ　ｔｈｅ　ｌｅａｓｔ　ｓｑｕａｒｅｓ　ｗａｖｅｌｅｔ　ｓｕｐｐｏｒｔ　ｖｅｃｔｏｒ　ｍａｃｈｉｎｅｓ　ｂｙ　ｆａｕｌｔｙ　ｆｅａｔｕｒｅ　ｖｅｃｔｏｒｓ，ｔｈｅ　ｌｅａｓｔ　ｓｑｕａｒｅｓ　ｗａｖｅｌｅｔ　ｓｕｐｐｏｒｔ　ｖｅｃｔｏｒ　ｍａｃｈｉｎｅｓ　ｍｏｄｅｌ　ｏｆ　ｔｈｅ　ａｎａｌｏｇ　ｃｉｒｃｕｉｔ　ｆａｕｌｔ　ｄｉａｇｎｏｓｉｓ　ｓｙｓｔｅｍ　ｉｓ　ｂｕｉｌｔ．Ｔｈｅ　ｓｉｍｕｌａｔｉｏｎ　ｒｅｓｕｌｔ　ｓｈｏｗｓ　ｔｈｅ　ｆａｕｌｔ　ｄｉａｇｎｏｓｉｓ　ｍｅｔｈｏｄ　ｏｆ　ｔｈｅ　ａｎａｌｏｇ　ｃｉｒｃｕｉｔｓ　ｗｉｔｈ　ｗａｖｅｌｅｔ　ｔｒａｎｓｆｏｒｍａｔｉｏｎ　ａｎｄ　ｌｅａｓｔ　ｓｑｕａｒｅｓ　ｗａｖｅｌｅｔ　ｓｕｐｐｏｒｔ　ｖｅｃｔｏｒ　ｍａｃｈｉｎｅｓ　ｉｓ　ｅｆｆｅｃｔｉｖｅ．　［Ｋｅｙ　ｗｏｒｄｓ］Ｌｅａｓｔ　ｓｑｕａｒｅｓ　ｗａｖｅｌｅｔ　ｓｕｐｐｏｒｔ　ｖｅｃｔｏｒ　ｍａｃｈｉｎｅｓ；Ｗａｖｅｌｅｔ　ｔｒａｎｓｆｏｒｍａｔｉｏｎ；Ｆａｕｌｔ　ｄｉａｇｎｏｓｉｓ；Ａｎａｌｏｇ　ｃｉｒｃｕｉｔｓ；Ｒａｄａｒ　模拟电路是电子设备中最易发生故障的薄弱环节，一旦　发生故障将严重影响其正常工作。建立其相应的模拟电路故　障诊断系统来在线检测和定位故障，可提高电子设备的维修　性。模拟电路是较复杂的非线性系统，采用常规方法对其建　立模型和分析比较困难。文献【１，２】提出了采用神经网络对模　个样本的输入模式，Ｙ　∈Ｒ是对应于第ｋ个样本的期望输　出，ｆ为训练样本数。ＬＳ－ＳＶＭ取如下形式：　＿厂（　）＝Ｗ　中（　）＋ｂ　（１）　式中，　（　）：Ｒ　＿÷Ｒ　，将输入数据映射到高维特征空间。　对于ＬＳ－ＳＶＭ，优化问题描述为　ｍ　ｉｎＪ（ｗ，Ｐ）　１　ｗ　ｗ＋　‘　）　拟电路故障进行分类的诊断方法，但神经网络的稳定训练收　敛速度比较慢，而且容易收敛到局部极小点。　Ｖａｐｎｉｋ［３Ｉ基－ｆ－ｄ，样本统计学习理论和结构风险最小化原　则提出了支持向量机（ｓｕｐｐｏｒｔ　ｖｅｃｔｏｒ　ｍａｃｈｉｎｅｓ，ＳＶＭ）机器学　习方法，该方法较好地解决了小样本、非线性、高维数、局　约束条件：Ｙ＾（Ｗ　（　）＋ｂ）＝１一ｅ　，ｋ＝１…．、ｌ　其中：权向量Ｗ∈ＲＭ（原始空间）；误差变量ｅ　∈Ｒ；　ｂ是　偏差量；　是可调超参数。根据式（１）可定义其拉格朗日函数　部极小点等实际问题，已在模式识别、信号处理、函数逼近　等　域得到了应用［４．５１。最小二乘支持向量机（１ｅａｓｔ　ｓｑｕａｒｅｓ　ｓｕｐｐｏｒｔ　ｖｅｃｔｏｒ　ｍａｃｈｉｎｅｓ，ＬＳ－ＳＶＭ）是标准支持向量机一种扩　展，采用二次损失函数，只求解线性方程，其求解速度较　快　。ＬＳ．ＳＶＭ采用小波核函数构成最小二乘小波支持向量　机（１ｅａｓｔ　ｓｑｕａｒｅｓ　ｗａｖｅｌｅｔ　ｓｕｐｐｏｒｔ　ｖｅｃｔｏｒ　ｍａｃｈｉｎｅｓ，ＬＳ－ＷＳＶＭ），　Ｌ（ｗ、ｂ、ｅ；Ｏ０＝Ｊ（ｗ，ｂ，Ｐ）一∑　＾（ｗ　中（　）＋６）一１＋　ｊ　＾　１　（３）　其中：拉格朗日乘子　∈Ｒ，（七＝１，…，ｆ）。对式（３）进行优化，　即求Ｌ对Ｗ，ｂ，ｅ　，　可得以下矩阵方程　的偏导数等于０，消除变量Ｗ，ｅ　，　在小波核函数张成的空间可搜索优化分类　Ｊ。本文提出　『ｌ　０　］一『０］　ｎ＋．Ｄｊｌ　ｊ一…　Ｄ＝ｄｉａｇ（ｙ，－　…，　），Ｚ＝　（４）　了一种模拟电路的最小二乘小波支持向量机故障诊断方法，　首先通过小波变换对故障信号进行去噪和提取故障特征矢　量，再由故障特征矢量来训练ＬＳ－ＷＳＶＭ，并通过雷达系统　模拟电路的故障诊断仿真，验证了模拟电路的最小二乘小波　支持向量机故障诊断方法的可行性和有效性。　其中：　Ｙ＝【ｙ　．Ｙ２…．．Ｙｔ］　，　１＝【１…．１　，　ａ：［ｏｑ…，　】　，　（　），…ｙ，中（－）】　，Ｑ＝ＺＺ　。根据　ｍｅｒｃｅｒ条件　，存在映射函数　和核函数　（・，・）使得　基金项目：国家自然科学基金资助项目（６０１３４０１０）　ｌ最小二乘小波支持向量机　设训练样本集Ｄ：｛（　，ｖ　）Ｉ　＝１，２，…，ｆｊ，Ｘ　∈Ｒ　是第ｌ　一作者筒介：罗志勇（１９６９一），男，博士生，主研方向：故障诊断，信　号处理，机器学习理论，系统工程等；史忠科，教授、博导　收稿日期：２００６　０２－１　２　Ｅ－ｍａｉｌ：ｌｕｏｚｈｙｏｎｇ＠１　６３．ｃｏｍ　３４一　维普资讯 http://www.cqvip.com

Ｋ（　，Ｘ　）＝Ｏ（ｘ　）　Ｏ（ｘ　），　，ｍ＝１…，ｆ　Ｌ。Ｊ　最小二乘支持向量机的分类决策函数为　，（　）＝ｓｇｎ　￣ｋＹｋＫ（ｘ，五）＋６）　（６）　其中：ｏｅ　，ｂ由式（４）求解出。不为零的　对应的样本为支　持向量。　应用核函数　（・，・）的目的是从原始空间中抽取特征，将　原始空间中的样本映射为高维特征空间中的一个向量，以解　决原始空间中线性不可分的问题。基于连续小波变换的可允　许的支持向量核函数可按以下引理构造：　引理１　】一个平移不变核Ｋ（ｘ，ＸＳ）＝Ｋ（ｘ—ＸＳ）为可允　许核，当且仅当其傅立叶变换满足下式　Ｆ（　】（ｗ）＝（２　）ｉ　ｅｘｐ（一ｊｗｘ）Ｋ（ｘ）ｄｘ＞＿０　（７）　引理２　ｃｏ（ｘ）∈　（Ｒ）为一母小波函数，ａ和ｃ分别为　小波函数的伸缩和平移因子，ａ，ｃ∈Ｒ，口≠０，　对于　Ｘ，Ｘ　∈Ｒ　，小波核函数定义如下：　（　’）：ｎ　生量）ｆ＝１　ａ　　ａ　）　（８）　由引理１和引理２，小波核函数可表示为　Ｋ（ｘ，　）＝Ｋ（ｘ—　）＝兀　Ｌ　）－＿　ａ　　（９）　墨西哥帽小波函数满足ｍｅｒｃｅｒ条件和小波框架，在本文　中被选为母小波，其表达式如下：　）＝（１一　）ｅｘｐＣ一　）　（１０）　由其构成的小波核函数可表示为　ｆ１（１．　）ｅｘｐ（＿　）　…）　由式（６）一式（１１）可得到优化的最小二乘小波支持向量机　分类决策函数：　＿，（　）＝ｓｇｎ（　儿ｎ　）＋６）　（１２）　式中Ｘ　表示第ｋ训练样本的第ｉ个向量，ａ　为小波核函数的　伸缩系数。　２模拟电路的最小二乘小波支持向量机故障诊断　２．１故障信号的小渡去嗓和特征量提取　故障状态下的测试点输出电压信号　（ｆ）包含真实的信号　，（ｆ）和噪声ｎ（ｆ）。为了实现信号去噪，对输出信号　（ｆ）进行　｜ｖ层小波分解，并使用软阈值处理各层小波系数，然后对信　号进行重构即可以达到去噪的效果。软阈值处理在于确定每　层的阈值，其中阈值选取规则采用基于史坦（ｓｔｅｉｎ）无偏似然　估计（－次方程）原理进行自适应阈值选择。对于一个给定的　阈值Ｔ，求出其对应的风险值，即得到它的似然估计，再进　行非似然Ｔ最小化，由此得到了所选的阈值。　在模拟电路故障情况下，测试点选取应满足输出信号对　故障敏感，输出信号经小波去噪和小波分解可得相应的小波　系数。每层小波系数的能量用下式表示：　：ｌ，￡　＝　（１３）　式中，ｃａ，是第　层低频小波系数（　＝Ⅳ），　，是第　层高频　小波系数（　：１，，Ⅳ）。将不同层的信号能量进行归一化处理，　并组合故障信号不同层能量作为故障特征矢量，来训练多类　最小二乘小波支持向量机。　２．２模拟电路的多类｜ＩＩ小二秉小渡支持向量机的故障诊断　一对一（ｏｎｅ．ｖｅｒｓｕｓ—ｏｎｅ，１一Ｖ一１）是多类ＳＶＭ实际应用　中最合适的策略　…，因此本文针对多类最小二乘小波支持向　量机分类器采用一对一策略。　ＬＳ—ＳＶＭ主要针对两类分类问题，但实际应用中需要处　理多类问题。因而需把多类问题分解为多个两类问题，训练　各个两类分类器来解决多分类问题。在一对一策略中，每个　分类器只将一类和另一类分离，而不考虑其它类，针对　种　分类情况共需Ｋ（Ｋ—１）／２个分类器，通过输出耦合来解决多分　类问题。　针对类ｉ和类Ｊ之间的最大分割间距的超平面表达式为　（　）＝Ｗ　Ｔ　＋ｂｉｊ＝０　（１４）　式中，　为ｍ维矢量，ｂ　为一标量。　最佳超平面的方向按下式定义：　（Ｘ）＝一　’，　（Ｘ）　（】５｝　一对一策略是采用“最大赢”算法，每一分类器对故障　特征矢量进行相应的决策，最终的分类结果是值最大的类，　如下式…ｌ：　ｔ　Ｘ＝ａｒｇ　ｍａｘ　∑ｓｉｇｎ（Ｌ（ｘ））　（１６）　，≠ｆｊ＝ｌ　式中，ｓｉｇｎ（Ｌ）是符号函数，当　．为正时，其值为１，其它　情况为０。　当决策值出现几个类有相同结果时，就出现不呵　分割区，可将其中的故障特征矢量按真实函数值进行决策，　表达式如下：　ｔ　Ｘ＝ａｒｇ　ｍａｘ　∑　（　）　（ｉ　７）　Ｊ　Ｉｊ＝ｌ　多类分类器的输出可针对不同的故障进行编码，通过输　出确认相应的故障。针对可能出现多种故障的模拟电路进行　诊断时，可采用多类ＬＳ—ＷＳＶＭ分类器。故障特征矢量用来　训练多类ＬＳ—ＷＳＶＭ分类器，以建立基于多类ＬＳ—ＷＳＶＭ分　类器的模拟电路故障诊断系统。　３仿真和验证　图１为一跟踪雷达的扫描电路，由单稳态电路１和锯齿　波生成电路２组成。信号　是脉冲信号源，产生３种频率信　号。电路１和电路２分别存在Ｑ２、Ｑ３、Ｄ１和Ｑ４、Ｑ５、Ｄ３、　Ｄ４、Ｄ５、Ｄ６等易出现故障的模拟元器件，其中电阻和电容　的容差范围分别为５％和３０％。电路的故障种类详见表１。　——　ＬＤ～一—＋　～一一　；　。。　’　ｊ　…～…。。　ｒ　，二，　　‘　｝∞　　舞　３＿ｌＩ　一∞二　Ｉ。。　　．．＃一　Ｒ’ｍ　－，　薯　。４一＃Ｒ７　　、　一’　。　、　。　。　　。Ｄ４：ｌＤ５　≥　‘一Ｒ１　卜一一～．－—ｃ２　—　————‘～。・一一－－－　Ｄ——卿Ｌ～睡ｌ跟腙冒达的扫描电路　电路１和电路２的输出电压信号分别从测试点ＯＵＴ２、　ＯＵＴ３、ＯＵＴ４和ＯＵＴ５、ＯＵＴ６、ＯＵＴ７、ＯＵＴ８获取。输出　电压信号采用Ｄａｕｂｅｃｈｉｅｓ离散二进制进行小波去噪（情况见　图２），再使用小波变换分解为３层，得到低频系数ｃａ　和高　一３５—　维普资讯 http://www.cqvip.com

频系数ｃｄ．、　：、　，。两个电路的故障特征矢量分别从１２　一ｇ　洛仿真，并从输出电压信号的小波系数提出特征矢量来作为　蛩ｕＮ　和１６个小波系数中提取。　表１故障种类　故障情况　晶体管Ｑ２开路　晶体管Ｑ２击穿　晶体管Ｑ３开路　晶体管Ｑ３击穿　类别　１　２　３　４　训练和验证的样本。对电路１的３００和１９５个蒙特卡洛仿真　一窖　∞ｐ３　０　一　路２的３１５和２１０个仿真结果进行处理得到相应的样本。　Ｏ　姗　结果分别进行处理提取相应的训练和测试样本，同时也对电　Ⅻ　姗　蜘　瑚　考虑到简化问题，使小波核函数中的参数ａｔ：ａ（ｋ：１，…，ｆ），　且相应的核函数的参数选取了合适值，电路的故障诊断情况　见表２。结果显示基于多类最小二乘小波支持向量机的模拟　电路故障诊断效果比基于径向基核函数的最小二乘支持向量　２　机要好。其中在一对多策略中出现了不可分割区，但在一对　二极管Ｄ１击穿　５　晶体管Ｑ４开路　６　晶体管Ｑ４击穿　７　晶体管Ｑ５开路　８　晶体管Ｑ５击穿　９　二极管Ｄ３击穿　１０　二极管Ｄ４或Ｄ５击穿　１１　二极管Ｄ６击穿　１２　４　５　６　×１０　Ｏ　４　５　６　×ｌＯ　圈２　ＯＵＴ４　试点　出的相应含噪声和去　的信号　表２　ＬＳ・ＳＶＭ的分类情况　核参数　误诊率（％）　策略　核函数　（　，　）　或（ａ，　）　训练　测试　ＲＢＦ　（４，１００）　０　０　ｗａｖｅｌｅｔ　（２．５，１００）　０　０　１一ｖ一１　ＲＢＦ　（４，１Ｏ）　０　０　电路１　ｗａｖｅｌｅｔ　（２．５，１０）　０　０　ＲＢＦ　（４，１００）　０　０　、ｖａｖｅｌｅｔ　（２．５，１００）　０　０　１一ｖ—ｒ　ＲＢＦ　（４，１０）　０．２８　０　４３　、ｖａｖｅｌｅｔ　（２．５，１０）　０　０．４３　ＲＢＦ　（４，１００）　１．９４　４　５８　、ｖａｖｅｌｅｔ　（２．５，１００）　１．９４　４．５８　卜ｖ一１　ＲＢＦ　（４，１０）　２．５　４　５８　电路２　、ｖａｖｅｌｅｔ　（２　５，１０）　１．９４　４　５８　ＲＢＦ　（４，１００）　２．５　５　８３　、ｖａｖｅｌｅｔ　（２．５，１００）　２．５　４．５８　１一ｖ—ｒ　ＲＢＦ　（４，１０）　５＿８３　５．８３　、ｖａｖｅｌｅｔ　（２．５，１０）　５．２８　５．４２　本文采用多类ＬＳ—ＷＳＶＭ与基于径向基核函数的　ＬＳ—ＳＶＭ进行电路故障诊断对比，并分别使用了一对一和一　对多（ｏｎｅ—ｖｅｒｓｕｓ—ｒｅｓｔ，ｌ—ｖ—ｒ）　的策略。　在电路的３种频率下，针对其不同故障情况采用蒙特卡　一３６一　一策略中未出现，因而未展开一对多策略中不可分割区的　分析。　３　４结论　本文提出了基于多类最小二乘小波支持向量机的模拟电　路故障诊断方法。采用小波变换对故障状态下的输出电压信　号进行小波去噪和小波分解得到小波系数，并将每层小波系　数的能量信息进行处理得到故障特征矢量，采用高分辨的故　障特征矢量训练多类最小二乘小波支持向量机分类器。通过　雷达系统模拟电路的仿真验证，结果表明最小二乘小波支持　向量机的故障诊断准确率比基于径向基核函数的最小二乘支　持向量机高，特别是一对一策略更有效，该诊断方法对模拟　电路故障诊断取得了较好的效果。　参考文献　１　Ｌｕｏ　Ｚ，Ｓｈｉ　Ｚ．Ｗａｖｅｌｅｔ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ　Ｍｅｔｈｏｄ　ｆｏｒ　Ｆａｕｌｔ　Ｄｉａｇｎｏｓｉｓ　ｏｆ　Ｐｕｓｈ—ｐｕｌｌ　Ｃｉｒｃｕｉｔｓ［Ｃ］．Ｐｒｏｃｅｅｄｉｎｇｓ　ｏｆ　Ｉｎｔｅｒｎａｔｉｏｎａｌ　Ｃｏｎｆｅｒｅｎｃｅ　ｏｎ　Ｍａｃｈｉｎｅ　Ｌｅａｒｎｉｎｇ　ａｎｄ　Ｃｙｂｅｒｎｅｔｉｃｓ，Ｇｕａｎｇｚｈｏｕ，Ｃｈｉｎａ，２００５：　３３２７—３３３２．　２　Ａｍｉｎｉａｎ　Ｆ　Ａｍｉｎｉａｎ　Ｍ．Ｃｏｌｌｉｎｓ　Ｈ．Ａｎａｌｏｇ　Ｆａｕｌｔ　Ｄｉａｇｎｏｓｉｓ　ｏｆ　Ａｃｔｕａｌ　Ｃｉｒｃｕｉｔｓ　Ｕｓｉｎｇ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋｓ［Ｊ］．ＩＥＥＥ　Ｔｒａｎｓａｃｔｉｏｎ　ｏｎ　Ｉｎｓｔｒｕｍｅｎｔａｔｉｏｎ　ａｎｄ　Ｍｅａｓｕｒｅｍｅｎｔ，２００２，５　１（３）：５４４—５５０　３　Ｖａｐｎｉｋ　Ｖ　Ｔｈｅ　Ｎａｔｕｒｅ　ｏｆ　Ｓｔａｔｉｓｔｉｃａｌ　Ｌｅａｒｎｉｎｇ　ｈＴｅｏｒｙ（２　ｅｄｎ）［Ｍ］．Ｎｅｗ　Ｙｏｒｋ：Ｓｐｒｉｎｇｅｒ－Ｖｅｒｌａｇ，１９９８．　４　Ｃａｒｏｚｚａ　Ｍ，Ｒａｍｐｏｎｅ　Ｓ．Ｔｏｗａｒｄｓ　Ａｎ　Ｉｎｃｒｅｍｅｎｔａｌ　ＳＶＭ　ｆｏｒ　Ｒｅｇｒｅｓｓｉｏｎ［Ｃ］．Ｐｒｏｃｅｅｄｉｎｇｓ　ｏｆ　Ｉｎｔｅｒｎａｔｉｏｎａｌ　Ｊｏｉｎｔ　Ｃｏｎｆｅｒｅｎｃｅ　ｏｎ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋｓ，Ｃｏｍｏ，Ｉｔａｌｙ，２０００：４０５—４１０．　５　Ｂｕｒｇｅｓ　Ｃ．Ａ　Ｔｕｔｏｒｉａｌ　ｏｎ　Ｓｕｐｐｏｒｔ　Ｖｅｃｔｏｒ　Ｍａｃｈｉｎｅｓ　ｆｏｒ　Ｐａｔｔｅｒｎ　Ｒｅｃｏｇｎｉｔｉｏｎ［Ｊ］．Ｄａｔａ　Ｍｉｎｉｎｇ　Ｋｎｏｗｌｅｄｇｅ　Ｄｉｓｃｏｖｅｒｙ，１９９８，８（２）：　１２１—１６７．　６　Ｓｕｙｋｅｎｓ　Ｊ，Ｖａｎｄｅｗａｌｌｅ　Ｊ．Ｌｅａｓｔ　Ｓｑｕａｒｅｓ　Ｓｕｐｐｏｒｔ　Ｖｅｃｔｏｒ　Ｍａｃｈｉｎｅ　Ｃｌａｓｓｉｉｆｅｒｓ［Ｊ］．Ｎｅｕｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　ｅＬｔｔｅｒｓ，１９９９，ｌ０（９）：２９３—３００．　７　Ｓｕｙｋｅｎｓ　Ｊ，Ｖａｎ　Ｇ　Ｄｅ　Ｂ　Ｊ，ｅｔ　ａ１．Ｌｅａｓｔ　Ｓｑｕａｒｅｓ　Ｓｕｐｐｏｒｔ　Ｖｅｃｔｏｒ　Ｍａｃｈｉｎｅｓ［Ｍ］．Ｓｉｎｇａｐｏｒｅ：Ｗｏｒｌｄ　Ｓｃｉｅｎｔｉｉｆｃ　Ｐｒｅｓｓ，２００２．　８　Ｚｈａｎｇ　Ｌ．Ｚｈｏｕ　Ｊｉａｏ　Ｌ．Ｗａｖｅｌｅｔ　Ｓｕｐｐｏｒｔ　Ｖｅｃｔｏｒ　Ｍａｃｈｉｎｅ［Ｊ］．ＩＥＥＥ　Ｔｒａｎｓ．Ｏｎ　Ｓｙｓｔｅｍｓ，Ｍａｎ，ａｎｄ　Ｃｙｂｅｍｅｔｉｃｓ——Ｐｆｄｎ　Ｂ：Ｃｙｂｅｍｅｔｉｃｓ，　２００４，３４（１）：３４—３９．　９　Ｓｍｏｌａ　Ａ，Ｓｃｈｏｌｋｏｐｆ　Ｂ，Ｍｆｉｌｌｅｒ　Ｋ　Ｔｈｅ　Ｃｏｎｎｅｃｔｉｏｎ　Ｂｅｔｗｅｅｎ　Ｒｅｇｕｌａｒｉｚａｔｉｏｎ　Ｏｐｅｒａｔｏｒｓ　ａｎｄ　Ｓｕｐｐｏｒｔ　Ｖｅｃｔｏｒ　Ｋｅｒｎｅｌｓ［Ｊ］．Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋｓ，１　９９８，１　２（Ｉ１）：６３７—弭９．　１０　Ｈｓｕ　Ｃ，Ｌｉｎ　Ｃ．Ａ　Ｃｏｍｐａｒｉｓｏｎ　ｏｆ　Ｍｅｔｈｏｄｓ　ｆｏｒ　Ｍｕｌｔｉｃｌａｓｓ　Ｓｕｐｐｏｒｔ　Ｖｅｃｔｏｒ　Ｍａｃｈｉｎｅｓ［Ｊ］．ＩＥＥＥ　Ｔｒａｎｓ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋｓ，２００２，ｌ　３（２）：　４１５—４２５．　Ｉ　１　Ｄｅｂｎａｔｈ　Ｒ．Ｔａｋａｈｉｄｅ　Ｎ．Ｔａｋａｈａｓｈｉ　Ｈ．Ａ　Ｄｅｃｉｓｉｏｎ　Ｂａｓｅｄ　Ｏｎｅ—ａｇａｉｎｓｔ—ｏｎｅ　Ｍｅｔｈｏｄ　ｆｏｒ　Ｍｕｌｔｉ—ｃｌａｓｓ　Ｓｕｐｐｏｒｔ　Ｖｅｃｔｏｒ　Ｍａｃｈｉｎｅ［Ｊ］．　Ｐａｔｔｅｒｎ　Ａｎａｌ　Ａｐｐｌｉｃ．，２００４，１７（７）：１６４—１７５．