EM仿真范文（精选9篇）
EM仿真 第1篇
目前,对加热炉调度问题国内已有一些研究。宁树实等人[1]将加热炉生产调度问题看作背包容量无限的多约束背包问题,在分析加热炉生产特点的基础上建立了数学规划模型,并采用局部搜索遗传算法求解模型。赵珺等人[2]考虑到加热炉与热轧生产节奏以及顺序上的匹配关系,为了缩短热轧机的等待时间,建立了基于准时思想的加热炉调度的数学模型,设计了进化算法与基于规则相结合的混合算法进行求解。孙学刚等人[3]针对特钢生产中的加热炉调度问题进行研究,应用免疫文化算法进行求解。谭园园等人[4]以最小化所有入炉板坯的驻炉时间为目标建立数学模型,设计分散搜索算法对模型进行求解。李铁克等人[5]提出最小化板坯最大完工时间和炉内总停留时间为目标的数学模型,采用三阶段算法对模型进行求解。
但是,上述这些研究都没有将仿真和优化有效结合,优化后的结果有时不能通过仿真软件进行检验,因而缺乏可行性。本文将智能优化算法和离散事件仿真相结合,提出了基于仿真的优化加热炉群调度的方法,先建立加热炉群调度问题的数学模型,再在eM-Plant仿真平台建立炉群调度的仿真模型和遗传算法模块,从而实现对加热炉群调度的优化。其中,数学模型是对加热炉群调度问题的数学表达,用于确定加热炉群调度问题的优化目标;仿真模型是根据数学模型、利用eM-Plant仿真软件建造的一个加热炉群生产调度的模拟系统,用于实现生产过程的可视化和动态化,加深对真实生产过程的理解和认识;普通的仿真模型并不能实现调度问题的直接优化,因此本文在eM-Plant仿真模型中嵌入遗传算法模块,使仿真和优化相结合,即由遗传算法模块根据规则产生板坯加工序列,将产生的板坯序列再在eM-Plant平台上进行仿真,然后将仿真结果反馈到遗传算法模块中进行优化,这样反复多次直到优化结束,最后输出优化结果。这种方法既可以体现仿真的直观性和验证性,又可以充分利用遗传算法的优化特性。
基于以上仿真和优化的思想,本文研究冷热坯混装生产模式下的加热炉群生产调度问题,并根据某钢铁厂的实际生产情况和生产数据进行仿真,结果表明,经仿真优化后的调度方案能有效减少板坯在炉内的停留时间进而提高加热炉生产效率,对实际生产有重要意义。
1加热炉群调度问题的数学建模
1.1问题描述
加热炉与连铸机之间有3种物流衔接模式,也就是说加热炉的板坯来源有3种:连铸机提供的热坯(DHCR模式)、保温坑暂存的温坯(HCR模式)、板坯库提供的冷坯(CCR模式)。由于在实际生产中通常采用3种物流衔接方式的混合形式,因此本文研究基于此混合生产方式下的加热炉群调度问题,其生产工艺要求如下。
(1)时间要求:
每块板坯在进入加热炉之前都需要一定的生产及运输时间即释放时间。DHCR板坯的释放时间为连铸出坯时间和辊道传送时间之和;HCR和CCR板坯的释放时间为辊道运输时间,为了简化模型本文忽略此运输时间。此外板坯在加热炉内的额定加热时间与板坯的入炉温度、重量、钢种等有紧密的关系,只有板坯在炉内的停留时间满足额定加热时间要求时板坯才具备出炉条件。
(2)顺序要求:
同炉板坯必须遵从先进先出的原则,且加热炉群中的板坯出炉顺序必须严格服从轧制计划制定的板坯轧制排序。当板坯已经达到出炉温度,处于等待轧制的状态时,要求其不能在炉外等待,只能在炉内停留保温。
(3)设备要求:
加热炉群内的多台加热炉没有任何差异,在为板坯指派设备时不受设备要求的限制。
(4)炉容要求:
混装工艺下不同来源的板坯额定加热时间存在较大差异,加热炉可同时加工多块板坯的特点使得额定加热时间较大的板坯会对其他同炉板坯的加工时间产生影响,导致部分板坯的炉内停留时间过长,此时炉容的大小将对调度方案产生较大影响。
加热炉群的生产调度目前在实际生产中通常采用人工调度的方法,即按照轧制计划所要求的板坯排序,将板坯依照炉号顺序依次循环送入加热炉,这种调度方法虽然能满足上述生产工艺的要求,但是不能使板坯在达到出炉温度时尽早出炉,而是在炉内等待直到满足出炉顺序的要求时再出炉,而由此带来的板坯炉内停留时间过长会直接导致板坯加热质量受到影响且使加热炉生产效率降低。因此,建立合理的加热炉调度模型,在满足生产工艺约束的条件下,缩短板坯炉内停留时间,对提高加热炉的生产效率具有现实意义。
1.2模型建立
本文所要解决的加热炉群调度问题可以描述为:将轧制计划制定的轧制顺序作为输入条件,在满足加热炉生产工艺要求的前提下,为每块板坯指派加热炉,并安排加热炉群中每个加热炉板坯的入炉顺序,最终使得板坯总的炉内停留时间最短,即在炉内超出额定加热时间处于等待状态的时间最短。
undefined
上述式中,T为板坯总的炉内停留时间;N为板坯编号的集合,N={i},i=1,2,,n,n为待轧板坯总数,i∈N;M为加热炉编号的集合,M={j},j=1,2,,m,m为加热炉总数量,j∈M;w={w1,w2,,wa,wb,,wn}为待轧板坯的轧制顺序,即为板坯的出炉顺序,其中wa,wb为板坯号,wa,wb∈N;Tri为板坯i的开轧时间,这里忽略板坯出炉以后运送到轧机前的运输时间,因此开轧时间与出炉时间相同;Tfi为板坯i的入炉时间;Thi为板坯i的额定加热时间;xij为决策变量,满足;Tci为板坯i的连铸出坯时间;Ts为板坯从连铸机到加热炉的运输时间;Trolli为板坯i所需的轧制时间;yijt为决策变量,满足;δ为加热炉可同时容纳的最大板坯数。
目标函数式(1)表示最小化板坯总的炉内停留时间;约束函数式(2)表示板坯必须经由连铸机产出后才能进入加热炉工序;式(3)表示板坯的实际加热时间必须超过其必要的额定加热时间;式(4)保证板坯在进入轧机之前必须停留在炉内保温,当满足轧制顺序要求时才能出炉;式(5)确保板坯出炉顺序和轧制顺序的一致性;式(6)保证同炉板坯先轧的先加热,即同炉板坯在顺序上满足轧制计划的排序要求;式(7)确保每块板坯仅能加热一次;式(8)表示任何时刻在炉加工的板坯数均不会超出加热炉的有效炉容。
2加热炉群调度问题的仿真优化
不同于一般的离散制造系统,加热炉群生产调度系统的时间是连续变化的,且引发系统状态变化的事件随机发生,因此此类离散系统的动态事件很难用数学表达式描述,而利用仿真方法可以用清晰简洁的规则模拟复杂的生产流程,从而克服调度系统难以用数学表达式描述的缺陷。因此,本文使用eM-Plant仿真软件建立加热炉群生产调度的仿真模型。
2.1仿真模型的构建
eM-Plant[6]是第1款完全面向对象的离散系统仿真软件,在制造系统、物流系统等领域得到了广泛应用,它提供基本建模对象,利用图形化建模方式,使用户能够快速构建模型,更为重要的是可以利用它内嵌的SimTalk编程语言,使模型具有高度的可控性,在反映实际生产时更加精细准确。鉴于eM-Plant软件的诸多优势,本文在eM-Plant仿真环境下建立加热炉群调度问题的仿真模型并进行优化。
在建立仿真模型时,首先要定义对象。我们所建立的仿真模型中根据对象属性的不同主要包括实体类、信息类和控制类3种类型的对象。
(1) 实体类对象
实体类对象分为静止实体和移动实体两种类型。静止实体类对象在仿真过程中只是内部状态发生改变,而位置保持静止状态;移动实体类对象在仿真过程中其位置随着上下游工序的变化而发生改变,同时移动实体在静止实体内部加工处理时触发静止实体某些属性上的改变。表1为本调度问题的实体类对象及其功能。
(2) 信息类对象
仿真模型数据的输入和实时输出信息通过信息类对象体现。信息类对象详细描述了仿真过程中实体类对象所发生的变化以及模型所需的各个参数的变化,这些信息都是加热炉调度优化的重要依据。信息类对象在eM-Plant中用TableFile对象进行信息的存储。信息类对象具体为:1)输入,包括连铸出坯计划、板坯库库存计划、轧制计划(即板坯的出炉顺序,每台加热炉的板坯入炉顺序必须符合此顺序)、加热炉生产计划(为板坯分配的加热炉号信息保存在此对象中);2)输出,记录各工位的时间变量等。
(3) 控制类对象
控制类对象实现对仿真运行的精准控制,使模型更贴近生产实际。模型中控制类对象在eM-Plant中通过Method对象实现。一个Method对象就是一段能够被调用的SimTalk语言程序。对于实体类对象或者其他具有控制(Control)选项卡的对象,可以在控制选项卡中将某个Method对象指派给某个事件,当事件被触发时调用Method对象。在加热炉群调度模型中两个非常重要的控制类对象是:入炉控制对象,按照生成的加热炉计划,为每台加热炉调入指定板坯;出炉控制对象,保证板坯按照轧制计划出炉。
对象定义完成后,根据钢厂实际的生产布局以及实体类对象与各工位的对应关系在eM-Plant中摆放各实体类对象;然后根据生产调研数据,设置各工位的作业时间以及工序间的运输时间,在信息类对象中输入模型运行中所需的信息(主要为各工位生产计划与调度信息);最后进行模型的细化,即通过控制类对象实现对各工位的精细化控制,使其更准确地表达生产实际过程。模型建立完成后,就可根据输入的加工任务,按照图1所示的逻辑流程运行仿真。
2.2基于遗传算法的优化过程
利用eM-Plant软件建立的仿真模型,可以让调度人员依据仿真模型动态运行的效果合理组织调度,但仿真结果不一定是最优调度方案,需要结合其他算法多次运行仿真进行调度方案的优化,加热炉群调度问题属于典型的指派问题,本文借助eM-Plant内置的GA SetAllocation遗传算法组件来完成问题的优化。加热炉群调度的仿真优化由遗传算法模块和仿真模块两部分共同完成,如图2所示。首先在遗传算法模块中对遗传算法搜索策略的两个重要参数(代表深度搜索最优解的总代数以及代表广度搜索空间的代容量)进行设置,然后对遗传算法模块生成的初始种群中的个体进行解码,将得到的个体调度数据传递给仿真模块并存储于加热炉计划对象中,运行仿真后得到个体调度方案的适应度(即数学模型中的目标函数),最后遗传算法模块对适应度值进行评价,在没有达到总代数时,经过选择、交叉、变异得到新一代个体,循环这个过程,直到达到设置的总代数。
在eM-Plant软件中利用遗传算法模块进行调度问题的优化,需要考虑如下问题:
(1)染色体编码与解码。Cheng和Gen[7]研究了应用Memetic算法求解并行机调度问题,所采用的编码方式为:设N={1,2,,n}表示作业集合,M={1,2,,m}表示机器集合,每条染色体包含n个基因,每个基因从集合M中选取一个整数,表示该基因代表的工件在此机器上加工。本文也采用这种编码方式,假设w={w1,w2,,w12}为待轧板坯的轧制排序,即加热炉的出坯排序,设由3座加热炉同时加热,即m=3,则染色体
表示1#加热炉加热板坯顺序为w1/w6/w10/w11,2#加热炉加热板坯顺序为w3/w4/w5/w9,3#加热炉加热板坯顺序为w2/w7/w8/w12。采用这种编码方法,染色体在执行交叉、变异操作时,改变的只是板坯所在加热炉炉号,这样就保证了同炉板坯仍然按照轧制顺序排列。
染色体解码过程实质是遗传算法向仿真模型传递信息的过程,本文按照轧制顺序将染色体基因座上的数值存储在仿真模型的加热炉计划对象中,仿真模型在运行仿真时将该加热炉计划对象中存储的板坯入炉排序作为加热炉群的调度依据。
(2)适应度函数的确定。对于最小化问题的求解,通常采用目标函数的倒数或一个较大的数与目标函数的差值作为适应度函数。但由于本文采用的是仿真与遗传算法相结合的方法,因此根据eM-Plant仿真软件中遗传算法模块自身的特点,用数学模型中的目标函数作为适应度函数,即对个体进行仿真后得到的所有板坯的炉内停留时间总和为适应度函数。
(3)染色体选择。采用精英策略与轮盘赌选择相结合的方式来选择染色体,首先将父代中适应度值最好的前几个个体直接复制到子代中,剩余的染色体则根据轮盘赌选择的方式,即按照各个体的适应度在全部个体的适应度之和中所占比例进行选择,然后再通过交叉、变异的遗传操作生成子代染色体。
(4)交叉和变异操作。经过选择操作选出一对染色体后,随即赋予一个0～1之间的随机数r,如果r不大于预先设定的交叉概率Pc,就采用双点交叉的方式产生新的个体,如图3所示。
交叉操作完成后,为了保持种群的多样性,同时提高遗传算法的局部搜索能力,还要进行变异操作。对于所产生的新的个体,为每个基因赋予一个0～1之间的随机数,如果该随机数小于或等于预先设定的变异率Pm,则采用均匀突变的方式,随机地将该位置的基因置换成其他的加热炉号。如图4所示,所有的基因取值为1～3之间的整数,如果染色体中第5个基因所给的随机数小于Pm,则该基因将从1,2,3中随机挑选一个数值来置换原有基因。
(5)优化终止。当运行代数达到预先设置的总代数时,优化终止,最终产生一个板坯入炉序列使得板坯总的炉内停留时间最短。
3优化仿真实例
本文按照某钢铁厂的实际生产情况,采用实际生产数据进行仿真。该钢厂有3座步进梁式加热炉,有效加热区为44.4 m11.7 m,出炉板坯被送至四辊可逆轧机进行热轧。加热炉上游是2台两机两流连铸机,为加热炉供应连铸坯,此外板坯还可以由板坯库和保温坑提供。板坯经加热炉加热后送入热轧机轧制,热轧机的平均轧制节奏为2 min。根据板坯从连铸机出坯后等待加热的时间确定板坯额定加热时间,冷坯为140～150 min,热坯为100～120 min。板坯从连铸机到加热炉前的辊道运输时间为6 min。遗传算法中设交叉概率为0.8,变异概率为0.1,初始种群为40,进化总代数为100。
分别对50,88和130个板坯计划的3组数据进行加热炉群调度问题的优化求解和仿真运行,优化前后仿真对比结果如表2所示,表中,优化前指采用实际生产中板坯循环入炉生产方式所获得的仿真数据,优化后指采用本文所建立的调度模型所获得的结果。
表2中优化效果是指优化后减少的板坯炉内停留时间与优化前停留时间的百分比。从表中可以明显地看出,模型和算法能有效减少板坯在加热炉内停留等待的时间,这样就避免了板坯由于加热时间过长而产生的质量问题,同时加热炉的生产效率也得以提高,对实际生产中降低加热炉能耗有重要意义,而且优化前和优化后的调度方案均可通过eM-Plant仿真软件进行模拟运行,表明该调度优化是有效且可行的。
4结束语
在分析加热炉群生产特点的基础上建立了加热炉群调度的数学模型以及面向对象的仿真模型,并采用遗传算法对模型进行了优化求解。仿真结果表明,基于eM-Plant的加热炉群调度的仿真与优化方法是有效可行的,有一定实用价值。
摘要：分析连铸-热轧区段中加热炉群调度问题特点后,在建立最小化板坯炉内停留时间的加热炉群调度数学模型的基础上,采用面向对象的仿真软件eM-Plant建立了问题的仿真模型,将连铸机、板坯库、加热炉、热轧机等实体类对象按照实际的运行逻辑有机地结合起来,通过信息类对象实现生产过程中的数据存储,通过控制类对象实现板坯入炉、出炉以及其他运行控制。基于eM-Plant内置遗传算法优化模块对建立的模型进行优化求解,并采用某钢厂实际生产数据进行仿真运行,结果表明该仿真和优化方法是有效可行的。
关键词：加热炉群,遗传算法,调度,仿真,炉内停留时间
参考文献
[1]宁树实,王伟,刘全利.钢铁生产中的加热炉优化调度算法研究[J].控制与决策,2006,21(10):1138-1 142.NING Shu-shi,WANG Wei,LIU Quan-li.An optimalscheduling algorithm for reheating furnace in steel produc-tion[J].Control and Decision,2006,21(10):1 138-1 142.
[2]赵珺.轧钢过程生产调度及其优化算法的研究与应用[D].大连:大连理工大学,2008.
[3]孙学刚,贠超,安振刚.基于免疫文化算法的特钢加热炉调度优化[J].控制理论与应用,2010,27(8):1 007-1 011.SUN Xue-gang,YUN Chao,AN Zhen-gang.Optimization ofscheduling for special steel reheat furnace based on im-mune-culture algorithm[J].Control Theory&Applica-tions,2010,27(8):1 007-1 011.
[4]谭园园,宋健海,刘士新.加热炉优化调度模型及算法研究[J].控制理论与应用,2011,28(11):1549-1557.TAN Yuan-yuan,SONG Jian-hai,LIU Shi-xin.Model andalgorithm for scheduling reheating furnace[J].ControlTheory&Applications,2011,28(11):1 549-1 557.
[5]李铁克,王柏琳,赵艳艳.求解并行加热炉群调度问题的三阶段算法[J].系统工程学报,2011,26(1):105-112.LI Tie-ke,WANG Bai-lin,ZHAO Yan-yan.Three-stage al-gorithm for the scheduling problem of parallel reheating[J].Journal of Systems Engineering,2011,26(1):105-112.
[6]施於人,邓易元,蒋维.eM-Plant仿真技术教程[M].北京:科学出版社,2009.
EM生活介绍 第2篇
进的脚步。
从某种意义上说，我是荒废了两年，进行了一年半欧洲深度游。一个同校读博的师兄曾经问我为什么喜欢旅游，在他看来，我们应该珍惜那些时光以及在顶级institute的机会多读些论文、认识些科学家、做些研究。我说：“好容易来了欧洲，还不抓紧时间好好逛逛，也许一
生就这一次机会呢”。师兄沉默了一会儿说
——那些专心学术的人，并不是因为他们不喜欢玩，而是因为他们相信，自己以后会有更多的机会在世界各地旅游。现在这位师兄已经以优异的成绩毕业留校做副教授了。
很多朋友奇怪这个“欧洲全奖四国游”的留学项目（这个名称贴切吧，多少次解释的总结
啊:P），师弟师妹也想知道申请的详细情况，一并在这里说明了。:）
为吸引全球更多的顶尖人才，提高欧洲大学的竞争力和知名度，欧盟决定从2004年到2008年投资2亿欧元，提供250个学科，为期1-2年的“欧盟硕士”课程。每个学科将由三个以上实力雄厚的欧洲大学合作举办，因此学生将有多国多校的学习经历。申请者背景还可以的话，能拿到每年21000欧元的奖学金，足够学习生活之用；或者减免学费。2004－2005年度，给中国学生提供了12个奖学金名额；2005－2006年度85个，2006-2007年
81+99=180个。
官网：
太傻上有贴子说money: US.top50>EMM>US.top100>US.other；
选择：US.top50>US.top100>EMM>US.other
US.top50指美国前50
好像不能这么比。US.top50基本world top80，肯定比EMM好；US.top100差不多world top300，world300里欧洲绝对不下100所学校，只是EMM是多校联合，参差不
齐罢了。
很仓促：2006年7月底决定出国，10月15日考托福，其间先是担心能否保研，后是犹豫是否放弃保研，呵呵，最后考个627+4。估计背不下单词，又不喜欢美国，就没考G。考完试心烦，做了一个多月兼职才开始准备材料，已经十一月底了，发现有个心仪的项目12.1deadline，就这么擦肩而过了。先后一共投了三份材料，因为每份材料都要看方向的需要重写，所以写完三个就烦得不想动笔了:P
1.euaq 水文与水管理方向，法、德、英、匈牙利、西班牙，12.15deadline，waiting list后来变成offer了（因为很多中国牛人拿了这个奖也要去美国，而且拿了多个offer的人也只能要一个，所以waiting list也不要失望）
2.gem 遥感与环境管理方向，英、荷、瑞典、波兰，1.1，offer
3.mespom 环境政策与管理方向，匈牙利、英、瑞典、希腊，1.6，offer
第一次申请，没少担惊受怕，总结点经验教训，和我一样胆小的人少吃点苦头。
（1）各个课程deadline、要求不一样，直接看课程主页，别像我一样误事。部分课程过
了deadline也收申请，甚至还会把deadline推后，不过还是提前点准备好。（2）不一定要完全的专业对口，因为是授课式硕士，看EMM课程的介绍，会发现他们的接收面很宽的，而且入学后从基础学起。我申的方向基本上都没接触过（面试时唠了半天，对方突然问我环境管理和环境政策有什么区别！大汗，后来一查我才知道，我一直在拿环境政策当环境管理唠！）但个人觉得ps一定要结合相应方向来写，可能这也是我一般背景，投
3中3的原因吧。（3）有相关工作背景会占优势。面试时老师说我最大的劣势是没有工作背景，其他申请人
都至少都工作一两年了，当然在读硕士也算工作。
（4）双学位有加分，至少人家觉得你比较clever（面试时老师说这是我的优势）。
（5）部分课程有电话面试，部分没有，内容和美国的大同小异。
（6）你申请了几个EMM项目，各学校都是知道的。对你有好感或面试时可能问你它是不是你的最后选择，同学说说实话实说就行，我当时说不知道，还需要再斟酌一下（确实不知道嘛，其他项目还没联系我呢，我哪知道谁要我啊），最后也给offer了。所以这个问题可
能不重要，反正他们有waiting list（我猜的）。
（7）某个课程决定要你之前，都会问你是否确认接受（Confirmation your interest），可能其他的还没出结果，不用考虑太多，接受就好了，反正最后欧盟会让你再做一次选择，而且绝对尊重你的最后决定。当然，如果你心中的NO1 已经向你招手了就另当别论了，早
点拒绝其他的，也给别人机会。（8）4.15协议没关系。有些学校参加了4.15协议，与美国相同，要你必须在4.15前做出最后选择，但当时很多学校还没出结果，就先答应了，后面还反悔改了其他课程的，老师
很nice, 没追究我责任（我最后选的课程不是4.15的）。
（9）多offer没关系，5、6月份时会让你选一个，绝对尊重你的最后选择。留学体验
18个月的欧洲游学，很独特，很难忘，获益匪浅。求学的四国四校各有所长，来自17个国
家的同学拥有不同的专业背景，所以，收获了很多。
专业关键词：GIS，遥感，环境，管理，模型
（可以跨专业申请，我本科学的环境工程）
18个月硕士，说好毕业给三个学校的硕士学位，但是只拿到了两个，另一个不知道是不是
寄丢了。
学费：9500欧元（收自费生）
奖学金总数：35600欧元
扣除学杂费，住宿费，每月发生活费640欧元（过的挺滋润）
课程设置
以下是我们这届（第三届，2006年入学）的安排及感觉，主办方一直在不断改进，官方信
息参看课程网站http:///
（1）南安普顿大学（英国, University of Southampton）2006年9月-2007年1月主修遥感、环境管理，偏理论前沿，上机实践少。没考试，作业多为论文、综述，各科作业deadline集中，平时可以出门旅游，一到deadline那两周就想撞墙。当时感觉一般，因为没有专业背景，而且听力不过关，上课就晕。后来写论文时才发觉老师们还是教了很多东西的。组织参观了世界顶级的民用地图制造商OS（地形测量局）和小卫星中心。
（2）隆德大学（瑞典, Lund University）2007年1月-6月
四校的学习经历中公认最棒的！
主修GIS、模型，偏实践。部分科目有考试，作业多为上机练习+解决实际问题的project。最经典的一句话，we can model everything in the life。正经点儿的如中国人口模型，分布水文模型，商业宣传模型，夸张点儿的如兄弟打架，童话故事，都要建模。很有挑战性，也很
有成就感，每天都在思考，不停的思考。
野外实习会去海滩，森林，很漂亮。可以骑车去海边看日落，坐火车50分钟就能到
丹麦首都哥本哈根。
（3）华沙大学（波兰）2007年6月-7月
野外实习，接近度假。足迹踏遍波兰的东南西北中，到达五国边界。实习内容包括森林、湿地、农田、山区等；跟WWF、保护区、农业部官员交流；涉及的环境问题包括修路破坏湿地，时速75公里的飓风灾害，黑三角地区的工业污染，酸雨烧毁森林等。实地考察，很是触目惊心。另外介绍了下欧洲的环境政策与法规。作业多为presentation。考察的同时，组织游湖，划艇，参观教堂，矿泉山，民俗村，品尝风味食品，住的都
是三星宾馆或者农家特色旅馆。总的来说，玩的不错。
（4）ITC（荷兰）2007年7月-2008年3月
毕业论文。题目方方面面随你挑，遥感GIS, 水文气象，全球变暖，生物生态，只要和环境、遥感、GIS沾边儿。导师两个，从四个学校找。外业1个月，遍及欧洲、非洲、亚
洲、南美洲。想省钱也可以选没外业的题目。工作去向
总的来说，找到工作比较容易，但是薪水一般。
我随便找了个领域内的编辑做，高我一届的师姐进了外企出版社，一个同学去了环境领域的外企，另一个同学去了公司。
很奇怪的是，两年毕业了6个中国人，没有一个继续读博的。我出国前本来是铁了心读博的，但是在欧洲光旅游了，心玩散了，也玩懒了。而且头一年光上课了，没有接触项目。最后半年被毕业论文逼得想撞墙，没时间也没心情申请博士。一年半的时间，没发paper，所以申
请上缺乏优势。回头看
出国是好的，接触了很多以前没有见过的东西。但是出国后一定要把握住自己的心，走出国门只是万里长征第一步，要明确你的远期目标是什么，不要因阶段性的胜利停下你前进的脚步。从某种意义上说，我是荒废了两年，进行了一年半欧洲深度游。一个同校读博的师兄曾经问我为什么喜欢旅游，在他看来，我们应该珍惜那些时光以及在顶级institute的机会多读些论文、认识些科学家、做些研究。我说：“好容易来了欧洲，还不抓紧时间好好逛逛，也许一生就这一次机会呢”。师兄沉默了一会儿，说：“那些专心学术的人，并不是因为他们不喜欢玩，而是因为他们相信，自己以后会有更多的机会在世界各地旅游”。现在这位师兄
EM算法的研究 第3篇
聚类分析在任何涉及多维数据分析或处理的学科中都是很普遍的。现在聚类方法在模式识别, 图像处理, 信息检索中的应用越来越受关注, 期望最大值 (EM) 是聚类分析中的重要技术。本文主要对聚类分析领域的期望最大值算法进行分析和研究。
EM算法 (expectation maximization) , 即期望最大化算法是一种当观测数据不完整时求解最大似然估计的迭代算法。它不是直接对复杂的后验分布进行极大化或模拟, 而是在观察数据的基础上添加一些“潜在数据”, 从而简化计算并完成一系列简单的极大化或模拟。
1 EM算法公式的推导
假设以y表示完全数据集y∈Y⊆Rm, 相应的概率密度函数为py (y, θ) , 其中θ是未知参数向量。不能直接观察样本y, 而是观察样本x=g (y) ∈Xab⊆Rl, l
θ的最大似然估计为:
此时y不是已知的, 因此期望最大算法在观察样本和θ的迭代估计的条件下, 使对数似然函数期望值最大。算法分为两步:E阶段:在迭代的 (t+1) 步, 其中θ (t) 已知, 计算期望值
M阶段:通过最大化Q (θ;θ (t) ) 计算!的下个第 (t+1) 估计, 即
为了应用EM算法, 从初始估计θ (0) 开始, 对于选择的合适向量范数和∈, 当满足||θ (t+1) -ϑ (t) ||∈时, 迭代结束。
可以看出, 连续地估算θ (t) 不会使似然函数减少。似然函数保持递增直到遇到最大值 (局部的或全部的) , EM算法是收敛的。
2 EM算法应用研究
2.1 EM算法混合模拟的问题
假设完全数据集由联合事件 (xk, jk) , k=1, 2, , N组成, jk是[1, J]之间整数值, 表示xk来源于哪一个混合。应用我们所熟悉的规则有:
假设样本集中的样本相互独立, 则对数似然函数为:
又设P=[p1, p2, , pJ]T, 现在未知参数向量是ΘT=[θ$, PT]T。以训练样本和未知参数的估计值% (t) 为条件, 通过非观测数据计算期望值有:
E阶段:
下面我们将证明具有对角协方差矩阵∑j=σj2I的高斯混合情况的算法, 即
假定不考虑先验概率pj, 高斯分布的均值μj和方差σj2 (j=1, 2, , J) 未知。因此, θ是一个J (l+1) 维向量。合并式 (4) 和式 (5) , 并略去常数有:
E阶段:
M阶段:对上式的μj, σj2和pj求最大有:
要完成迭代, 只需由下式计算P (j|xk;Θ (t) ) :
式 (7) 至式 (11) 组成对于高斯混合分布 未知参数进行估计的EM算法。
2.2 人工数据
在本节给出利用EM算法在一组人工生成高斯数据上试验的过程, 使用的人工生成高斯数据是具有一定形状的点集, 根据所确定的均值mu和协方差值sigma的不同, 所形成点集的分布形状也会不同, 但由于一些原因的限制, 本文只选取了两种效果图展示。即效果极好和极坏的情况。点集的分布形状如图1和图3所示。我们希望能把这个点集分为2个聚类簇, 实现的程序是用Matlab编译通过的。
算法实现时已确定了代表点的个数为400个及分类的类数为2类, 然后通过不断改变均值mu和协方差值sigma来选取极好和极坏的两种效果图。图2和图4分别给出了mu=[1 4]、[6 4];sigma=[1 0;0 60]和mu=[1 4]、[3 4];sigma=[1 0;0 30]时的聚类效果图。
产生较理想的效果如图1和图2所示:
产生较差的效果如图3和图4所示:
3 结束语
EM算法对于人工数据, 均值和协方差取得较小时聚类效果都很差, mu=[1 4]、[6 4];sigma=[1 0;0 60]时可以取得较好的聚类效果。由此可见一般来说均值和协方差应该取得适当大点。因此, 为了提高聚类算法的效果, 需要谨慎地选择聚类的标准, 剔除对聚类影响不够显著的属性;为了提高聚类算法的效率, 需要合理地选择均值和协方差值, 采取预处理方法等等。我们将在进一步的工作中, 对上述问题作进一步的研究。
参考文献
[1][希腊]Sergios Theodoridis, Konstantinos Koutroumbas.模式识别 (第2版) [M].边肇祺译.北京:电子工业出版社, 2004.
[2]杨春梅, 万柏坤, 高晓峰.基因聚类分析中数据预处理方式和相似度的选择[J].自然科学进展, 2006 (3) .
EM强化处理制药废水试验研究 第4篇
EM强化处理制药废水试验研究
应用生物接触氧化法投加有效微生物菌群(EM)对制药废水中化学需氧量的去除效果进行试验研究和分析.结果表明:EM接种量(VEM∶VPW)在110-4～310-3范围内,化学需氧量去除率最大增幅达13.4%;EM投加周期约10 d左右,在工程应用上具有可行性.
作 者：王国平黄晓菊 李寿泉 作者单位：徐州建筑职业技术学院,江苏,徐州,221008刊 名：工业水处理 ISTIC PKU英文刊名：INDUSTRIAL WATER TREATMENT年，卷(期)：25(1)分类号：X703.1关键词：有效微生物群 接触氧化法 制药废水 化学需氧量
R语言与EM算法 第5篇
关键词：R语言,EM算法,统计分析
1 R简介
R是一种语言, 一个开放的统计编程环境, 是由Bell实验室开发的一种方言 (dialect) 之一, 是一种集统计分析与图形直观显示于一体的统计分析软件, 它是一套完整的数据处理、计算和制图软件系统, R是一种数学计算的环境, 它可以提供一些集成的统计工具, 但更大量的是它提供各种数学计算、统计计算的函数, 从而使使用者能灵活机动地进行数据分析, 甚至创造出符合需要的新的统计计算方法。在R网站上提供了统计及各个有关应用领域几乎所有最新的成果和代码公开的软件包。到2010年底R的供使用的软件包数量已经超过2700个, 其中700个是最近半年增加的, 例如仅仅空间统计一个方向的软件包就有20多个。
2 EM简介
EM (Expectatioin-Maximalization) 算法即期望最大算法, 被誉为是数据挖掘的十大算法之一。它是在概率模型中寻找参数最大似然估计的算法, 其中概率模型依赖于无法观测到的隐变量。最大期望算法经过两个步骤交替进行计算, 第一步是计算期望 (E) , 也就是将隐藏变量象能够观测到的一样包含在内, 从而计算最大似然的期望值;另外一步是最大化 (M) , 也就是最大化在E步上找到的最大似然的期望值从而计算参数的最大似然估计。M步上找到的参数然后用于另外一个E步计算, 这个过程不断交替进行。对于信息缺失的数据来说, EM算法是一种极有效的工具。
3 R在EM算法中的应用
3.1 用R实现聚类分析
聚类分析是以数据间的相似程度, 或者说是数据间的距离为基础的。利用hclust功能聚类样品集。样品集是否聚类到一起?通过改变hclust中的参数试用不同的类间距离进行训练。
在dist中通过改变method参数试用不同的基因距离进行训练, 下面是R的训练过程。
(1) 利用相关系数和最大类间距离对A样品进行系统聚类分析, 再用欧式距离和平均类间距类对样品进行系统聚类分析, 利用stats包中的heatmap功能, 可以得到聚类分析的图像。但是要注意, 这个功能是对数据执行聚类分析, 如果数据的数量过大, 会导致这个方法运行缓慢。为了说明问题, 我们仅选择100个数据为例。 (2) 我们尝试不同的聚类分裂方法, 利用相关系数作为基因距离对样品进行Kmeans聚类分析。利用cluster包中的PAM功能对样品进行“Partition Around Medoids”分析, 利用som包中的自组织映射分析方法 (SOM) 对样品进行聚类分析。 (3) 在方差的基础上选择前100个数据, 执行上面所述的各种聚类分析方法。注意在数据的选择过程中没有使用任何同样品有关的信息。statgnames功能能够根据选择的统计量将基因排序, 在本例中统计量就是方差。
3.2 用cbind () 和rbind () 构建分块矩阵
可以利用R中的函数cbind () 和rbind () 把向量和矩阵拼成一个新的矩阵。概略地说, cbind () 把矩阵横行地合并成一个大矩阵 (列方式) , 而rbind () 是纵向合并 (行方式) 。
在命令中:>X<-cbind (arg_1, arg_2, arg_3, ...)
cbind () 的参数要么是任何长度的向量, 要么是列大小一致的矩阵, 也就是有一样的行数。结果将是一个合并arg_1, arg_2, ...的列形成的矩阵。
如果cbind () 的参数中有一些比其他矩阵参数的列长度短的向量, 它们将会被循环使用以吻合矩阵的列长度。 (在没有矩阵的情况下, 吻合其中最长的向量的长度)
函数rbind () 对行进行类似的操作。其中任何向量参数都会被当作行向量且可能被循环使用。
假定X1和X2有一样的行数。下面的命令会把它们的列合并以得到矩阵X, 同时要求起始列都是1
>X<-cbind (1, X1, X2)
rbind () 或者cbind () 返回值常常是矩阵形式。因此, cbind (x) 和rbind (x) 可能是把向量x分别转换成列或者行向量最简单的方法。
3.3 用R的函数apply () 处理不规则数组
假定我们有一组数据并且保存在另外一个向量中
>incomes<-c (60, 49, 40, 61, 64, 60, 59, 54, 62, 69, 70, 42, 56, 61, 61, 61, 58, 51, 48, 65, 49, 49, 41, 48, 52, 46, 59, 46, 58, 43)
为计算样本中平均收入, 我们可以用函数apply () :
>incmeans<-apply (incomes, tef, mean)
这将给出一个均值向量。各个元素都用对应的水平名字标记了。
函数apply () 将一个函数 (这里是mean () ) 用于第二个参数1 (这里是tef) 定义于第一个参数 (这里是incomes) 上得到的所有组。此时, 各个组的数据好像是独立的向量。得到的结果向量长度和因子的水平数一致。
假定我们进一步想计算每个对象的的标准误差, 我们用R函数来计算任一给定向量的标准误差。既然已经有内置函数var () 计算样本方差, 这个函数可以在一行写完, 并且有一个参数等待赋值:
作为一个训练, 你可能想计算每个对象平均收入的95%信度区间。于是, 你可以再次使用tapply () 和能得到样本量的函数length () , 以及能得到t-分布的分位数的函数qt () 。函数tapply () 还可以用来处理一个由多个分类因子决定的向量下标组合。不过, 就在上面最简单的情况中 (仅仅一个变量) , 我们也可以这样考虑这个问题 (复杂因子组合时一样处理) 。向量中的值可以根据因子中不同的水平分成许多组。函数就是独立地用于这些组。得到的值是这些函数结果的向量, 并且以因子的水平属性标记。因为子类的大小是不规则的, 所以向量和作为标签的因子的组合就是我们偶尔会提及的不规则数组 (ragged array) 的一个特例罢了。当子类大小是一致的时候, 索引最有效。
3.4 模式和长度
R操作的实体在技术上来说就是对象。如实数或复数向量, 逻辑向量和字符串向量等对象属于“原子” (atomic) 结构的对象, 因为它们的元素都是一样的类型或模式, R的对象类型包括数值型 (numeric) , 复数型 (complex) , 逻辑型 (logical) , 字符型 (character) 和原味型 (raw) 。向量必须保证它的所有元素是一样的模式。因此任何给定的向量必须明确属于逻辑性, 数值型, 复数型, 字符型或者原味型。 (这里有个特定的例外就是“值”为NA的元素, 实际上有好几种形式的NA。) 注意空向量也有自己的模式。例如, 空的字符串向量将会被显示为character (0) , 空的数值向量会显示为numeric (0) 。
R同样操作被称为列表的对象。这种对象在R里面是一种列表 (list) 模式。这些是可以为任何模式的对象的有序序列。列表被认为是一种“递归”结构而不是原子结构, 因为它们的元素可以用它们各自的方式单独列出。
另外两种递归结构是函数 (function) 和表达式 (expression) 。构成R系统一部分的函数对象以及其他类似的用户定义的函数对象都将在后面的内容中深入讨论。表达式对象是R的高级部分, 不是本文档的重点, 我们只是在讨论R统计建模中的公式 (formulae) 时间接地提一下。
一个对象的模式 (mode) 是该对象基本要素的类型。这是专门用来描述一个对象“特征” (property) 的术语。另外一个所有对象都有的特征是长度 (length) 。函数mode (object) 和length (object) 可用于任何数据对象以得到其模式和长度3。
一个对象更进一步的特征常常通过attributes (object) 得到, 具体参见Getting and setting attributes, 正因为这样, 模式和长度又叫做一个对象的“内在属性”。例如, 如果z是一个长为100的复数向量, 那么命令mode (z) 就会得到字符串"complex"而length (z) 对应的是100。
R可以在任何需要的时候对模式进行转换。 (当然, 有些时候没有必要。) 例如:
>z<-0:9
我们可以进行如下转换
>digits<-as.character (z)
这样, digits就是一个字符向量c ("0", "1", "2", ..., "9") 。我们可以再一次强制转换, 或者说模式改变, 以重建数值向量:
>d<-as.integer (digits)
现在d和z就一样了。有一系列类似as.something () 的函数, 这些函数主要用于对象模式的强制转换, 或者赋予某个对象一些先前没有的功能。读者可以参考不同的帮助文件以熟悉它们。
康特新型EoC局端EM16 第6篇
康特新推出的Eo C局端EM16在市场上刚一亮相便受到包括北京歌华、成都兴网、辽宁电信等众多广电和电信运营商的青睐。
新型EoC局端产品EM16为有线电视宽带数据接入设备, 可以将数据信号和有线电视信号混合, 实现共缆多业务接入。该设备最大可覆盖64个用户, 可承载互动电视、数据和语音, 同时还具备很多优点。
功能特点
●EM16为最小的EoC局端设备之一, 尺寸仅为283 mm164 mm47 mm, 防雨、防雷功能优秀
●EM16采用抽屉式模块化设计, 方便安装和维护
●低功耗设计, 采用优质开关电源, 具备完善的抗浪涌保护功能
●满足国标MIB库要求, 可以实现对EM16进行远程管理
当您使用的EoC系统不方便安装或遇到多技术方案统一网管问题时, 请致电成都康特技术负责人黎先生 (手机:13608030868) 。
地址:成都市武侯科技园武科东三路9号
邮编:610045
电话:028-85362299, 85361199
E-mail:ktcatv@ktcatv.com
EM仿真 第7篇
深水多波束是近年新兴的主要用来测量深水海域海底地形、地貌和水体特征数据, 通过采集原始声学数据生成海底三维成像的专业工程设备, 广泛应用于钻井船、钻井平台就位前海底测量、海底管缆铺设、物探井场调查等项目中。
目前, 海洋资源开发逐步走向深海领域, 对深水多波束需求量越来越多, 工程技术要求也越来越高。很多非专业科考船舶在建造伊始并没有设计安装深水多波束系统, 缺少多波束换能器的预留的船底开孔安装位置、电缆通道、甲板单元布放空间、辅助的姿态传感器、罗经等设备。
本文由于此次要求将EM710深水多波束测深仪安装于一艘非科考船上的项目实际需求, 就要充分调研现有的硬件环境, 结合深水多波束EM710系统的特点, 自主设计研发出一套适用的安装方案, 数据采集效果可以等同于专业的科考船的多波束测量作业。
EM710系统安装的硬件结构分析
EM710系统自身主要由换能器、甲板单元、数据采集工作站构成, 要安装多波束数据采集系统, 需要同时安装辅助设备:DGPS定位系统、罗经、姿态器、表层实时声速仪, 否则多波束设备无法采集到正确的声学数据。
综合考虑多波束EM710对辅助设备的技术要求和辅助设备的采购成本, 将辅助设备的配置如表1所示。
整套多波束数据采集系统的硬件连接图如图1所示。
换能器的安装
换能器的安装位置选择
换能器固定安装于导流罩内, 导流罩的安装位置应优先考虑三分一船艏部的肋位区间中船底较为平坦的位置, 避免受到船舶航行引起的船底大量的气泡和水流的影响。考虑到换能器和导流罩的重量因素, 应优先选择船底板较厚、船体肋位有加强结构的船底位置。
换能器导流罩的加工制造
通过参考原厂图纸自主加工水滴形导流罩, 避免了导流罩本身在船舶航行中产生的水流和气泡对声学数据采集的影响, 同时也尽量降低了将导流罩本体产生的水阻, 将导流罩通过焊接固定安装于船底。
甲板单元的安装
安装甲板单元前, 因甲板单元内主要是电路板, 为防止设备受船体震动的影响, 应首先安装减震支架, 参考减震支架的法兰片加工固定于固定墙体上的对应的法兰盘。
由于非专业的科考船上没有设备仪器房, 加之换能器的电缆只有25m长, 经过电缆通道到达水线上后只剩余10m, 无法进入船舶舱室内部进行固定安装, 所以专门为多波束的甲板单元设计并加工了一个仪器间, 如图2所示。
仪器间内部装有空调, 用来保持空气湿度, 同时加装有UPS, 防止船电不稳对电子元器件造成伤害。
辅助设备的安装
DGPS和罗经系统的安装
将Starfix的天线固定安装于驾驶台顶部开阔处, 将Tss Meridian电罗经固定安装于驾驶台龙骨位置的正上方, 将“0”度方向指向船头。然后进行DGPS和罗经的校准即可。
MRU5的安装
因MRU5的数据输出时是参考船舶CG点计算出来的, 为了减少误差, 将MRU5固定安装于距CG点尽量接近的位置。
经准确测量MRU5中心点的位置与CG的三维位置, 将相对位置输入到配置菜单中, MRU输出的姿态数据即为正确数据。
表层声速仪的安装
将表层声仪固定安装于多波束换能器的下表面接近的位置, 且其传感器于多波束的下表面处于同一水平面, 这样就可以保证测量的声速值是换能器收发声波处的声速值。
系统线路的设计与安装
基于硬件结构接图 (见图1) , 设计系统线路总图如图4所示。
系统通讯遵守标准通讯RS232数据通讯和网络通讯协议。除表层声速仪外的数据直接发送给工作站外, 其他辅助设备的数据全部发送给甲板单元进行处理。
系统测试
硬件测试
在海试中, 打开EM710多波束数据采集系统的所有相关设备, 发现多波束EM710自检通过, 所有辅助设备正常发送数据, 系统硬件工作正常。
软件测试
通过在海试中采集原始声学数据数据, 后经专业的多波束后处理软件Caris处理分析数据, 发现无明显杂讯干扰, 多波束数据采集良好, 能够满足多波束作业的技术需求。
结语
基于一艘非专业科考船加装深水多波束EM710的技术需求, 本文通过分析该套系统和船舶本身的实际情况, 研发设计出一套可行的系统安装方案, 并通过海试验证了该方案的适用性, 为深水多波束测深技术应用与推广做出了贡献。
k均值聚类中的EM思想 第8篇
在数据分析中, 根据数据集中有无某些已知类别的样本, 可以分为监督学习和无监督学习两种。无监督学习是最常见的一种统计学习模式, 又称为聚类分析, 已经在文本挖掘[1]、遥感图像[2]、生物医学[3]、社交网络[4]、安全检测[5]等领域得到了广泛的应用。目前已经有许多成熟的聚类方法, 像k均值聚类, 支持向量机, 层次聚类, 基于密度的聚类等[6]。k均值算法以其简洁高效的特性, 是最受关注的聚类方法之一。最大期望值算法 (EM算法) , 是针对缺失数据的一种统计学习理论, 常常被用来求在含有不完整观测的数据集下的极大似然估计[7]。本文分析了k均值聚类和EM算法思想上的相通之处, 指出了两种方法迭代过程的等价性。
1 相关理论知识
1.1 k均值聚类
k均值算法中的输入变量为类个数k和样本矩阵X。其中X中存有参与聚类的n个样本。算法的目标是将n个数据对象划分为k个类, 以便使得所获得的k个子类满足:同一子类中的对象相似度较高;而不同子类中的对象相似度较小。k均值算法基本步骤如下:
a) 从n个样本中任意选择k个对象作为初始类中心;
b) 根据每个子类中样本的均值, 计算每个对象与这些中心样本点的距离;并将每个样本分到这样一个子类, 这个子类的中心是所有k个中心点离该样本最近的;
c) 重新计算每个子类的均值;
d) 当满足一定收敛条件 (如类中心不再变化) 时, 则算法终止;如果条件不满足则回到步骤b) 。
1.2 模糊k均值聚类
模糊k均值聚类 (FCM) 是对传统k均值聚类的拓展。在FCM中, 样本不再明确地属于或者不属于某一类, 而是对各个子类有个0和1之间的隶属度。详细算法如下:
a) 从n个样本中任意选择k个对象作为初始类中心;
b) 计算每个对象与这些中心点的距离;并根据这些距离值计算样本对各单类的隶属度;
c) 根据样本的隶属度重新计算每个子类的均值 (找出中心样本) ;
d) 当满足一定收敛条件时, 则算法终止;如果条件不满足则回到步骤b) 。
可以看出传统k均值其实是一种特殊的FCM, 即限制了隶属度为0或1。
1.3 改进模糊k均值聚类
传统的模糊k均值聚类对噪声点敏感。这是由于其对隶属度进行了概率归一化的限制, 使得隶属度是相对的, 而不是绝对的。比如, 如果有两个点A和B, A和B均和两个类的距离相等。不同的是, A到两个类中心的距离较小, 而B到两个类中心的距离很大。传统的模糊k均值不能区分这两种情况的不同, 都会给A和B赋予0.5的各类隶属度。为此, 目前有许多针对传统模糊k均值聚类的改进算法 ([8, 9]) , 如噪声模糊k均值算法 ([10]) 。这种算法在原来的各个类的基础上, 增加了噪声类。设定了一个距离阈值t, 当样本到各个类中心的距离都大于t时, 则将该样本归为噪声类, 算法如下。
a) 初始化k个类中心, 设定噪声类阈值t;
b) 计算每个对象与这些类中心点的距离;并根据这些距离值和阈值t计算样本对各单类和噪声类的隶属度;
c) 根据样本的隶属度重新计算每个子类的均值 (找出中心样本) ;
d) 当满足一定收敛条件时, 则算法终止;如果条件不满足则回到步骤b) 。
1.4 EM算法
在统计计算中, EM模型中常用来计算在带有不完全观测的数据集下参数的最大似然估计。为了方便起见, 我们将数据集W分为两部分, 可直接观测部分Y和不可观测 (隐藏) 部分Z。EM算法同样经过两个步骤交替进行计算:
a) E步:利用对隐藏变量Z的当前估计值 (在观测Y下的条件期望) , 计算完全 (对数) 似然函数Q;
b) M步:最大化在E步上求得的似然函数Q来计算参数的值。
在M步上找到的参数估计值将被用于下一个E步计算中, 这个过程不断交替进行, 直到算法收敛。
2 k均值和EM迭代过程的等价性
EM算法的迭代过程类似于爬山的过程。在E步, 为基于完全数据的对数观测似然函数确定一个下界函数。然后在M步, 极大化这个下界函数。接下来就是一个循环往复的过程。在EM算法刚开始的时候, 给定初始点, 进行E步, 观测似然函数值并没有提升, 它只是找到了一个下界函数Q, 并且这个函数和对数观测似然函数在初始点的值相等。在极大化之后, 我们再计算期望, 这时的E步才会提升观测似然函数值。
E步是对不可观测的隐藏变量进行猜测。这种猜测是在观测样本的基础上进行的, 即在观测样本和现有参数下求条件期望。如果以观测样本和现有的参数为猜测依据, 那么期望就是最靠谱的猜测。所谓的靠谱, 就是说在现行的参数下, 目标函数和猜测函数Q的值相等, 而且猜测函数在参数为其他值时也不会超过对应的目标函数。E步保证了这种猜测是目标函数的下界, 所以M步求得的极大值依然没有超过目标函数的最大值。在M步求得极大值后, 参数进行了更新, 所以也要将猜测根据新的参数进行更新。可以说, 下一次迭代的E步提升了上一次迭代M步的值。而这种提升的原因, 有两点: (1) 基于上一次E步, 猜测函数的值小于目标函数。 (2) 在进行新的E步之后, 目标函数和新的猜测函数值相同, 而新的猜测函数同样是目标函数的下界。
再来看一下k均值的更新过程。k均值通过更新两种变量来极小化目标函数, 类中心和隶属度。隶属度, 即类别标签, 相当于不可观测的隐藏变量。而类中心是可观测的。在已知观测变量的条件下, 首先猜样本属于哪一类。易知通过将样本分到最近的中心所在的类, 就可以实现目标函数在现有观测条件下的极小化。所谓的条件期望, 在这里其实就是根据各类几何中心确定类标签或隶属度。接下来就要通过极小化的方法来确定类中心。因此, 类中心的更新过程相当于EM中的M步, 而隶属度更新的过程相当于EM中的E步。
对于均值聚类来讲, 刚开始并不知道每个样本对应的隐藏变量, 即其类别标签。刚开始的时候可以对类标签进行一个随机初始化, 然后在类别已知的情况下, 极大化目标函数。接下来发现会有更好的类标签的指定办法。如此往复, 直到目标函数收敛。所以, 聚类的目标函数相当于EM中观测对数似然函数的角色。对于传统k均值聚类来讲, 隐藏类别的指定方法比较特殊, 属于非此及彼的硬指派。而对于模糊均值聚类, 类别的指派办法是依赖隶属度的。
以上的讨论不限于传统k均值聚类, 对其各种改进算法, 如噪声k均值聚类同样适用。
3 k均值聚类的实现
R语言是当前最为流利的一种统计分析语言, 它包含一套完整的数据处理、计算和制图软件系统。现在已经有成熟的R包集成了聚类算法, 包含k均值聚类, 比如vegclust包。其中, vegclust函数提供了k均值和模糊k均值聚类的功能。但是, 这个函数并没有利用R矩阵化运算的特点, 这就降低了程序的执行效率。R语言作为一种解释型编译语言, 显式循环比较慢是其一个很大的缺点。虽然已经有apply系列的函数来避免显式循环, 但是在很多情况下还是不能满足需求。其实, R语言的一个显著的、优点是支持矩阵化运算。如果能用矩阵运算来代替显式循环, 将会大大提高程序的效率。比如, 在隶属度确定时, 利用矩阵化运算的思想, 可以通过矩阵乘积来实现。假设样本距离矩阵为D, 则隶属度的计算过程为:
a) 计算D的倒数的1/ (m-1) 次方, 其中m为模糊化因子, 计算结果记为S。
b) 用S除以S和k维全1矩阵的矩阵乘积。
经过上述两个步骤, 就得到了各个样本的隶属度。同样的, 可以设计更新样本中心时的矩阵化方法。记隶属度矩阵为U, 中心更新算法如下。
a) 计算U的m次方和样本矩阵的矩阵乘积。
b) 计算U的m次方和n*d维全1矩阵的矩阵乘积。其中n为样本的个数, d为样本的维数。
c) 将上面两个步骤得到的矩阵向量相除得到中心矩阵V。
噪声k均值聚类算法的隶属度更新可类似进行:
a) 计算D的倒数的1/ (m-1) 次方, 同样将计算结果记为S。
b) 用S除以S与k维全1矩阵的矩阵乘积和t的倒数的1/ (m-1) 次方的和。
增加的噪声类对各个类中心的计算无影响, 所以中心的更新过程和上面模糊k均值聚类是完全一样的。有了隶属度和中心更新的主程序, 不同k均值聚类均可依下流程进行。
a) 初始化k个类中心, 指定需要的附加参数。
b) 依如上介绍的隶属度更新算法计算矩阵U。
c) 依如上介绍的中心确定算法计算矩阵V。
d) 判断算法收敛条件, 如不满足收敛条件, 返回b) 。如满足, 则算法结束。
算法的收敛条件可以根据需要设计, 可以为相邻两次迭代目标函数的值变化不大, 或相邻两次迭代确定的类中心完全相同。
为了显示矩阵化后的程序的优势, 我们以Iris数据集为例, 用vegclust和本文设计的算法FCM分别执行模糊k均值聚类, 将实验以不同的随机初始点重复进行1000次, 比较系统运行的时间, 结果如表1所示。
从上表可以看出, 矩阵化运算可以使程序的运行时间大大缩短, 这就极大地提高了算法的效率。尤其在海量数据的时代, 更具有实际应用价值。
4 结论
本文讨论了k均值聚类中包含的EM思想, 并指出了两个算法在迭代过程中的等价性。k均值中样本隶属度更新和类中心更新分别与EM算法中的E步和M步的等价, 两个不同领域的方法在思想上是相通的。同时, 介绍了如何基于矩阵化运算进行k均值聚类的程序设计。并用数值实例证明了矩阵化算法可以使R程序的执行效率大大提高。
摘要：在无监督学习中, k均值聚类以其快速简单的特点得到了广泛的应用。EM算法是针对缺失数据的一种统计学习方法 。然而, k均值和EM这两种不同领域的算法在思想上却有着一致的地方。本文分析了k均值中蕴含的EM思想, 指出了k均值中样本隶属度更新和类中心更新与EM算法中的E步和M步的等价性。最后, 利用R语言矩阵化运算的特点, 介绍在如何在R语言中高效地实现k均值聚类算法。
关键词：k均值,EM算法,聚类分析
参考文献
[1]任江涛, 孙婧昊, 施潇潇, 等.一种用于文本聚类的改进的k均值算法[J].计算机应用, 2006, 26 (B06) :73-75.
[2]王易循, 赵勋杰.基于k均值聚类分割彩色图像算法的改进[J].计算机应用与软件, 2010, 27 (8) :127-130.
[3]王兴伟, 沈兰荪.基于改进的k均值聚类和数学形态学的彩色眼科图像病灶分割[J].中国生物医学工程学报, 2002, 21 (5) :443-448.
[4]杨建新, 周献中, 葛银茂.基于拉普拉斯图谱和k均值的多社团发现方法[J].计算机工程, 2008, 34 (12) :178-180.
[5]胡艳维, 秦拯, 张忠志.基于模拟退火与k均值聚类的入侵检测算法[J].计算机科学, 2010, 37 (6) :122-124.
[6]汤效琴, 戴汝源.数据挖掘中聚类分析的技术方法[J].微计算机信息, 2003, 19 (1) :3-4.
[7]王爱平, 张功营, 刘方.EM算法研究与应用[J].计算机技术与发展, 2009, 19 (9) :108-110.
[8]傅德胜, 周辰.基于密度的改进k均值算法及实现[J].计算机应用, 2011, 31 (2) :432-434.
[9]孔锐, 张国宣, 施泽生, 等.基于核的k-均值聚类[J].计算机工程, 2004, 30 (11) :12-13.
EM对设施黄瓜产量及品质的影响 第9篇
1 材料与方法
1.1 材料
供试黄瓜品种为德尔99 (天津德瑞特种业) 。供试EM为“润康源EM原液”冲施专用及叶面专用, 制造单位是中日合资临沂益康有机农业科技园有限公司, 由日本自然农法国际研究开发中心和中国留日同学总会农业分会监制。
1.2 方法
1.2.1 试验设计
试验于2012年在宁夏旱作节水高效农业示范园日光温室内进行, 试验设4个处理, 即处理1:叶面喷施清水 (CK) , 处理2:EM100倍液叶面喷施 (叶面专用) , 处理3:EM100倍液灌根 (冲施专用) , 处理4:EM100倍液喷施+灌根 (叶面及冲施专用) 。3次重复, 采用随机区组设计, 小区面积为6.0m2.2m, 在黄瓜定植前期 (生长前期) 、生长中期、生长中后期分3次进行EM处理。3月18日定植, 定植株行距为25cm40cm, 栽培方式为高畦覆膜栽培, 采用膜下滴灌。
1.2.2 测定项目与方法
黄瓜品质指标的测定:可溶性糖、VC、可滴定酸依次采用蒽酮比色法[2]、2、6-二氯酚靛酚钠滴定法[2]、标准酸碱滴定法[3]测定。数据统计采用Excel软件和DPS软件分析。
2 结果与分析
2.1 EM不同施用方式对黄瓜产量的影响
从图1可知, 各处理黄瓜产量大小关系为处理3>处理2>处理4>处理1 (CK) , 且处理3产量为处理1的1.29倍, 差异达到显著水平;在单瓜质量方面 (见图2) , 其单瓜质量变化趋势与单产量变化趋势相一致, 且处理间差异达到显著水平。
2.2 EM不同使用方式对黄瓜品质的影响
在品质方面, 处理2和处理3的可溶性糖均高于处理1 (CK) , 且差异达到显著水平, 而处理4与其它处理却差异不显著 (见表1) ;各处理可滴定酸含量差异不显著;在VC含量方面, 处理2和处理3均明显高于CK, 且分别高出20.18%和19.72%, 差异达到显著水平, 处理4略低于处理2和处理3, 但却高于CK;说明EM能够明显提高黄瓜的品质, 且叶面喷施较灌根施用更加有助于黄瓜品质的提升。
3 结论与讨论
EM的应用对于作物生长、产量和品质的影响在水果[4]和甜玉米[5]中已得到证实。该研究表明, 在日光温室中施用EM有助于提高黄瓜产量。同时EM的应用有助于提升黄瓜品质。EM的作用机制和应用技术还有待于进一步深入研究, 并进行推广应用。随着世界有机农业的发展, EM将具有更加广阔的应用前景。
摘要：为了设施黄瓜的有机栽培和安全生产, 以黄瓜品种德尔99为试材, 采用随机区组设计, 研究了EM对黄河上游地区设施黄瓜产量和品质的影响。结果表明:EM的应用使黄瓜产量明显提高, EM100倍液灌根处理的产量为喷施清水 (对照) 的1.29倍, 达到极显著水平;同时EM的应用有助于提升黄瓜品质;在VC含量方面, EM100倍液叶面喷施处理和EM100倍液灌根处理分别高于对照20.18%和19.72%, 达到显著水平。
关键词：EM,黄瓜,产量,品质
参考文献
[1]王彦荣, 岩石真嗣, 三木孝昭, 等.自然农法条件下稻田有益微生物菌群多年施用累积效果[J].中国水稻科学, 2006, 20 (4) :443-446.
[2]李合生.植物生理生化实验原理和技术[M].北京:高等教育出版社, 2000:245-256.
[3]张宪政, 陈凤玉, 王荣富.植物生理学实验技术[M].沈阳:辽宁科学技术出版社, 1994:144-151.
[4]Xu H L, Wang X J, Fujita M.Effects of organic farming practices on photosynthesis, transpiration and water relations, and their contributions to fruit yield and the incidence of leaf scorch in pear trees[J].J.Crop Prod, 2000, 3 (1) :127-138.
