异构环境范文（精选12篇）
异构环境 第1篇
“服装管理系统网络版”开发的目的是提高服装的管理、配送、发放、预算的整体功能。
逐步建立起来的各单位的数据库系统多采用Windows系列操作系统, 数据库多为SQL Server、Access、MySQL等中小型数据库。由于各个系统相互独立, 使一些有用的信息封锁在一个个相互隔离的系统中, 形成了信息孤岛。在这样的情况下对数据进行整合、集成、封装、传输成为首要解决的问题。
图1为服装管理系统总体构架。各单位每年需要向总部进行预算上报, 此时就需要将数据通过网络由各单位的服务器上报到总部的服务器, 其他如预算审核、计划下发、经费上报等业务也需要跨服务器来进行。整个系统基于网络分布式异构Web应用程序, 其具体架构为:在总部和各单位分别部署一台Web服务器和数据库服务器, 具体的服装业务有些可以在本地服务器上实现, 而有些则需要跨服务器来进行。而本课题实现的是这个系统的一部分功能, 即在这个系统的基础之上实现不同数据库之间数据的传输。
2相关技术介绍
2.1 数据传输格式定义
由于各数据库系统之间的异构性, 因此需要对传输数据格式进行定义来实现不同数据库之间数据的交换。XML为eXtensible Markup Language的简称, 即可扩展标记语言。XML具有以下特点:①XML的自描述性使其非常适用于不同应用间的数据交换, 而且这种交换不以预先规定一组数据结构定义为前提, 在数据交换中使用XML, 程序开发人员可以方便地用自定义的标记来描述数据;②具有可扩展性, XML可以在遵守标记命名规则的前提下进行定义, 来满足应用的需要;③具有跨平台性, XML文件实际上就是文本文件, 不管是Windows平台、Unix平台还是其他平台, 它们的含义都是一样的;④XML文件不仅仅包含数据, 而且包含了数据的结构, XML文档不需要结构描述部分, 它自身的层次关系就可以体现XML文档内的数据结构, 因而能非常清晰地表达数据间的依赖关系;⑤互联网是XML的最大载体, 与传统EDI的VAN联网方式相比, 互联网具有成本较低、连接广泛、扩展性好的特点。
在异构数据交换方面, XML显示了它强大的力量, 因此目前存在许多成熟的XML开发和应用工具, 人们可以直接使用这些开发包和应用工具, 极大地简化了编程的处理过程, 使其应用非常简单, 因此XML成为了数据传输格式的首选语言。
下面为单位A的上报表:
利用XML语言, 通过各单位相互约定的格式标记, 将上报的时间、单位、上报单号、服装的种类、每件不同型号衣服的数量等等都一一表达在这张上报表中。
2.2 数据的传输方式
不同的数据库之间进行数据交换, 需要在不同的操作平台之间进行通信, 由于Java语言具有与平台无关的特性, 适合进行异构平台的数据通信。Java数据传输有4种方式:①套接字方式;②RMI方式;③JMS方式;④JavaMail。
在本项目中采用的是JMS方式进行数据传输。JMS规范提供了两种最普遍的消息传递模式:点对点消息传递模式和发布/订阅消息传递模式。
点对点消息传递模式的整个过程如图2所示。当发送的每个消息必须被一个消费者成功处理时, 可以使用点对点消息传递。其主要特点有:每个消息只有一个消费者;消息的发送者和接收者没有时间上的相关性, 无论接收者在发送者发送消息时是否处于运行状态, 它都可以提取消息;接收者确认消息的成功处理。
发布/订阅消息传递模式的整个过程如图3所示。其主要特点是:每个消息可以有多个消费者;发布者和订阅者有时间的相关性;订阅一个主题的客户只能消费自它订阅之后发布的消息, 订阅者必须一直处于激活状态才能消费发布的消息。
3JMS在项目中的应用
在本项目中, 主要是利用JMS技术来解决分布式异构Web程序中数据的有效传输问题, 其中的数据是以XML格式来封装的。下面以单位A预算上报的应用来说明利用JMS来进行开发的过程, 在这个应用中我们用的是P2P传输模型。
3.1 JMS管理对象的创建
首先在消息的接收端需创建JMS服务器、连接工厂和消息队列, Weblogic中配置文件 (Config.xml) 相关内容如下:
3.2 格式化传输消息的创建
在本应用中, 单位A需要向总部进行预算上报, 事先传输双方约定数据格式如下:
在这种预定义的格式中, 上报的单位、时间等相关信息都在
3.3 消息发送的实现
在消息发送实现中, 将消息按3.2的封装格式打包成Document, 然后发送到接收端的Queue中, 所使用的程序如下:
public void confirmYsSbJms (String id ) {
JmsUpYusuan jmsInterface = new JmsUpYusuan () ;//建立Jms接 口
UpYusuanBuildXmlDoc buildInstance = new UpYusuanBuildXmlDoc () ;
try {
jmsInterface.sendObject ( (Serializable) buildInstance.BuildXMLDoc (sbbtid) ) ; //生成格式化消息, 并发送到接收Queue。
}
catch (Exception ex) {
}
}
3.4 消息接收的实现
在消息的接收端, 可以按预定义的格式来解析Document, 提取相应的节点信息, 然后进行业务处理, 写到数据库中。
4结束语
异构环境下数据的传输与实现, 主要解决了异构平台和异构数据库间进行数据交换的问题。面向对象的Java语言、XML的中性数据格式以及可以异步传输的JMS传输方式的有效结合, 较好地解决了异构平台异构数据库的数据传输问题。通过网络, 不同地域的各个数据库系统实现了数据的共享、更新, 一定程度上解决了信息孤岛的问题, 实现了数据的有效传输。但是随着信息技术的不断发展, 用户通过相互之间的约定所达成的协议有一定的不可靠性和不兼容性, 制定一个统一的标准已成为发展的一大趋势。
摘要：由于各个单位不同的数据库系统和操作系统, 使得信息封锁在一个个相互隔离的系统中, 形成了信息孤岛。在服装管理系统网络版的基础上, 通过对数据传输格式的定义、数据传输方式的选择以及JM S的应用实现了异构环境下的数据传输, 使得信息能及时、有效地得到处理。
关键词：异构环境,数据传输,JMS
参考文献
[1]姚刚.基于JMS的消息中间件的研究与设计[D].长沙:长沙理工大学, 2006:9-11.
[2]张良, 佟俐鹃.异构数据库集成中数据传输问题的研究[J].计算机应用研究, 2004 (11) :65-66.
同课异构 第2篇
为了提高教育教学水平，广武小学和三趟墩小学联合组织开展了“同课异构”教研活动，为教师间的交流和互动提供了良好的平台。
本次活动由广武小学和三趟墩小学各出一名英语教师，进行六年级英语第六第二单元的教学。这两位老师个展风采，各有千秋。段涛老师活力四射，充分调动学生的积极性，激发学生的学习兴趣，课堂气氛活跃，可谓老师教的用心，学生学的开心。黄素华老师经验丰富，一词一句落到实处，课堂耐心讲解，练习用心辅导，给我们上了一堂扎扎实实的英语课。两位老师用不同的方式讲同一节课，不但展示了老师的个性特色，而且充分的发挥了学生的主动性，达到了预期的教学目的。
课后，我们几个英语老师又进行了评课活动。大家各抒己见，充分肯定了这两位老师课堂上的亮点，同时也提出了一些改进的意见和建议。本次“同课异构”，让我们每个人都有所收获。通过听课评课活动，让自己吸取更好的教学方法，改进自己教学中的不足。
“你有一个苹果，我有一个苹果，交换后每人还是一个苹果；你有一种思想，我有一种思想，交换后每人有两种思想”。“同课异构”的教研方式，可以引发参与者智慧的碰撞，可以长善救失，取长补短，明显提高教育教学效果。让广大教师在“同课异构”的教研活动中不断提高自己的教学能力，实现打造“高效课堂”的目标。
同分异构之官能团位置异构书写规律 第3篇
第一种类型为含有一价基官能团（-R）的有机物，通式为CnH2n+1R。此类物质可看成是官能团R取代了烃CnH2n+2中的一个H，烃中氢的种类即为同分异构的数目，此法称为取代法。等效氢的分析是此法的关键，何为等效氢？1.连在同一碳上的氢等效；2.连在同一碳上的甲基上的氢等效；3.处于对称位置碳上的氢等效。现以C4H9Cl为例加以说明，可以将其看成丁烷中的一个H用一个Cl取代，分析丁烷等效氢的数目，丁烷有两种碳链异构，由图1可知等效氢为2+2=4种，即C4H9Cl为四种，分别为：CH2（Cl）CH2CH2CH3，CH3CH（Cl）CH2CH3，CH2（Cl）CH（CH3）2，C（CH3）3Cl。再如书写羧酸C4H8O2的同分异构体。分析C4H8O2可看成是C3H8中一个H被羧基（-COOH）取代，C3H8的等效氢如图2分析有两种。
所以C4H8O2的同分异构体为：CH3CH2CH2COOH，CH3CH（CH3）COOH。
第二类官能团位置异构为含有二价基官能团（-COO-，-O-等）有机物，此类官能团位置异构可将其看成是将二价基官能团插入到烃中的碳碳键或碳氢键中。即此类物质的同分异构体的数目是跟共价键有关，因此此类同分异构体数目分析的关键为“等效键”的分析，等效键的分析类同于等效氢，1.连在同一碳上的碳氢键等效，2.连在同一碳上的甲基上的碳氢键等效，3.处于对称位置共价键等效。例如C4H10的等效键分析如图3共有4种。
例如书写醚类C4H10O的同分异构体。
可将其看成将“-O-”插入到C4H10的碳碳键中（不考虑碳氢键，因为如果插到碳氢中的话就是羟基，变成醇了）其等效碳碳键分析如图4所示，共有3种，结构简式分别为：CH3OCH2CH2CH3，CH3CH2OCH2CH3，CH3OCH（CH3）2。再比如书写分子式为C4H8O2所有的酯类同分异构体。
可将其看成将-COO-插入到C3H8的共价键中，C3H8的等效键分析如图5所示：
考虑到官能团COO是不对称的，在每个键的位置可以插入两次，所以其结构简式为：①处有CH3COOCH2CH3，CH3CH2COOCH3；②处有HCOOCH2CH2CH3（氧原子不能连到H上，连到H上官能团就变为羧基了，不是酯基了）；③处有HCOOCH（CH3）2（同②处分析）。
综上所述，官能团位置异构的分析也就是在碳链异构的基础上分析等效氢，等效键（具体根据官能团的特点考虑C-C或C-H或C-C与C-H插入官能团，若官能团不对称，则要正反插入两次）的问题，然后分别使用取代法与插入法即可。
异构环境 第4篇
移动Agent技术是集软件Agent技术、移动代码技术、分布式对象技术于一体的技术。移动Agent是一种代替人或者其它程序执行某种任务的程序[1,2],它能够在复杂的网络中从一台主机移动到另一台主机中去,在移动时该程序可以根据要求挂起其运行,然后移动到网络中的其它地方重新开始或继续运行,最后返回计算结果。
Agent具有自主性、交互性、主动性和反应性等,它不仅能作用于自身,而且可以作用于环境,并能接收环境的反馈信息,重新评估自己的行为;同时,它能与其它Agent协同工作。Agent系统放松了对集中式、非开放性、顺序控制的限制,提供了分布控制、动态应急处理和并行处理。同时,Agent系统可以降低软件或硬件的费用,提供更快速的问题求解。随着Agent技术的发展,其应用己不仅仅局限在人工智能领域,它在计算机软件的各个方面都发挥着越来越重要的作用。
移动Agent的编程语言限制了Agent平台的执行环境,因为移动Agent需要相同的程序执行环境,才可以实现代码的迁移。通常情况下,因为执行文件的格式是操作系统相关的,所以只有特定的硬件和操作系统的组合,执行文件才能不经过修改和重新编译,从一台机器迁移到另一台机器。然而由于java虚拟机的出现,它提供了各个平台上通用的执行环境。Java的程序可以不需重新编译,就进行迁移。但是java的移动代理也需要架设平台上有java虚拟机的环境。
随着分布式系统的发展和应用,一种需求,即用一致和方便的标准来实现内部的互操作被提出[3]。为了满足上述的要求,我们可以使用基于XML的、已经建立的一些标准[4,5]。例如UDDI和WSDL来构建移动Agent。因为基于XML的移动Agent使用XML表示代码和逻辑,它更容易在异构的系统环境中相互通信和操作。它使用现成的Web Services技术,有较好的技术背景和现成的技术。
1 Mobile Agents的架构
整个Mobile Agents架构由UDDI服务器和Agent容器组成。UDDI服务器负责记录每个Agent所在的容器标识符和地址。Agent容器提供Agent代码解析、管理、消息缓冲以及一些通用的服务,结构如图1所示。其中,Agent代码解析器主要负责解析Agent文件所描述的数据结构和运行逻辑。Agent管理器用于维护容器中所有Agent的相关信息以及执行状态。Agent消息缓冲器负责Agent消息的接收工作,它让Agent被动地查询消息。Agent容器的通用服务程序可以为Agent提供迁移、发送消息等服务,并可以让Agent注册新的服务,用以本地或远程的Agent调用。
2 Mobile Agents的交互
Mobile Agent System Interoperability Facility (MASIF)关于互操作性规定了四个方面:
1) 创建、悬停、恢复和终止Agent的规范方法;
2) 一个通用的架构,用于支持Agent之间的通信和迁移;
3) 用于命名和查询Agent地址的规范的机制;
4) 用于发现和找到Agent的规范的位置信息表示方法。
基于XML相关技术的Agent系统可以便利地实现上述的规范。下面分寻址、迁移、消息三个方面分别阐述。
2.1 寻 址
在多移动Agent的系统中,每个移动Agent都需要有唯一的标识符。它可以由移动Agent所在的容器的标识符和容器生成的唯一的16位代码组成。例如表1,当一个移动Agent创建时,Agent容器为它生成唯一的16位代码,再和其标识符组成唯一的移动Agent的标识符。
当移动Agent被创建或者迁移到容器中时,它需要用容器的URL和它的唯一标识符在UDDI中注册。根据Agent的标识符查询UDDI服务,可以得到Agent容器的URL地址。结合URL地址和标识符就可以访问该Agent,进行通信。
2.2 迁 移
移动Agent的容器负责Agent的迁移。容器提供迁入和迁出两个服务。Agent在需要迁移时,它调用容器的迁出服务。当迁出服务被调用时,迁移Agent的执行被悬挂,Agent容器记录此Agent的数据域值以及代码解析器的执行状态,然后调用目标容器的迁入服务。
迁入服务需要两个参数:迁移的Agent的标识符和原容器的地址。目标容器根据地址和标识符询问迁移Agent的相关信息,并在UDDI中将原来迁移Agent的注册表项中的地址更新。
2.3 消 息
移动Agent通过Web Services进行通信。当Agent要发送信息时,它首先查找UDDI服务器,找到目标Agent所在的容器地址,并将消息通过Web调用发送给容器。容器根据目标Agent的标识符,将消息发送给目标Agent。消息格式如下:
其中第一行和第二行包含了目标Agent的标识符和所在容器的标识符。Message的类型是3,表示查询目标Agent的运行情况,将返回结果发送到URL指定的容器地址,接收返回消息的Agent标识符为34356D4242B3。
在Agent迁移时,容器为迁移的Agent构建一个消息缓冲,将迁移时的消息都放在此缓冲内,这部分工作有迁出服务完成。当UDDI中注册表项被更新时,新的容器将在老容器中的消息缓冲接收,并将其中的消息发送给Agent,这部分工作有迁入服务完成。
3 Agents的结构
Agent由数据域和它的执行逻辑组成。为了提高Agent的执行效率,可以将复杂的计算逻辑封装在一个Web服务中,在Agent容器中注册并调用,以提高执行效率。下面分数据域、执行逻辑和注册Web服务来描述。
3.1 数据域
每个Agent可以有数据域,在Agent执行时,由Agent管理器来维护。它们描述方式与XML DTD文档格式相似,例如:
<!ELEMENT containerid (#CDATA)>
<!ELEMENT agentid (#CDATA)>
<!ELEMENT message (#CDATA)>
<!ELEMENT to (#CDATA)>
<!ELEMENT result (#CDATA)>
上文描述了5个数据containerid、agentid、to、message和result,它们都是字符数据。
3.2 执行逻辑
Agent的代码由XML语言来描述,并由代码解析器来读取并执行。代码解析器可以执行简单的流程控制语句和数值运算,复杂的运算过程可以封装在Web服务中,注册并调用,由3.3节描述。Agent可以调用Agent容器所提供的服务,例如发送消息。下面是一个Agent代码例子:
上文描述的是发送消息的逻辑,其中$to、$containid和$agentid都是Agent数据域中的数据。
3.3 改进执行效率
XML文件便于读取和理解,但是让其描述复杂的逻辑并不合适。为了能让Agent有较强的运算能力,复杂的逻辑运算操作可以封装在Web服务中,并在容器注册,然后通过容器的通用服务接口来调用。这样Agent的XML文件可以集中描述总体的行为逻辑,这样执行效率更快,也更容易理解和维护。例如Agent的一个复杂的操作由complexity服务来提供,此服务的WSDL文件如下:
上文中服务的结果存放在名为result的Agent数据域中。在Agent迁移时,Web服务无需迁移,因为Agent可以通过URL调用远程容器提供的服务。
4 结论和展望
本文讨论了用XML技术架构Agent系统时,寻址、查找、迁移、消息等相关方面的问题。基于XML结构的移动Agent能够构建一个真正的平台无关的移动Agent系统。使用Web Services等已经有成熟标准的技术,更增加了系统的易用性和健壮性。
对于所提出的方法和架构,它还有许多方面可以进一步的研究,如寻址、查找、迁移、消息等技术细节,整体框架的安全性、XML Agent的语意的定义和实现等都有待研究与改进。
参考文献
[1]胡朝晖,陈奇,俞瑞钊.移动Agent系统综述明.计算机应用研究,2000,17(10):1-3,27.
[2]夏满民,李怀诚.智能软件Agent在分布式信息管理中的应用[J].南京航空航天大学学报,2004,32(5):591-597.
[3]Schoeman M,Cloete E.Architectural Components for the Efficient De-sign of Mobile Agent Systems.ACM International Conference Proceed-ing Series,2003:48-58.
[4]Consortium,W.W.W.2000a.Extensible markup language(XML)1.0.Available at http://www.w3.org/TR/REC-xml.
“同课异构”封面 第5篇
年级：三年级 教师：史红梅
内容：笔算除法例1
2018年3月6日
三十铺小学“同课异构”活动资料
年级：三年级 教师：史亮亮
内容：笔算除法例1
2018年3月6日
三十铺小学“同课异构”活动资料
年级：六年级 教师：史小静
内容：圆柱的表面积
2018年3月13日
三十铺小学“同课异构”活动资料
年级：六年级 教师：贾林川
内容：圆柱的表面积
2018年3月13日
三十铺小学“同课异构”活动资料
年级：六年级 教师：高海军
内容：Last Weekend第3课时
2018年3月20日
三十铺小学“同课异构”活动资料
年级：六年级 教师：袁 艳
内容：Last Weekend第3课时
2018年3月20日
“师德师风整动启动会”之我见
心得体会
陈 云 生
“师德师风整动启动会”之我见
心得体会
史 红 梅
“师德师风整动启动会”之我见
心得体会
黄 瑞
“师德师风整动启动会”之我见
心得体会
史智俊
“师德师风整动启动会”之我见
心得体会
袁 艳
“师德师风整动启动会”之我见
心得体会
袁明远
“师德师风整动启动会”之我见
心得体会
高 海 军
“师德师风整动启动会”之我见
心得体会
张宏谋
“师德师风整动启动会”之我见
心得体会
张虎林
“师德师风整动启动会”之我见
心得体会
史亮亮
“师德师风整动启动会”之我见
心得体会
贾林川
“师德师风整动启动会”之我见
心得体会
同分异构体 第6篇
1.同分异构体的类型
（1）碳链异构：指因分子中碳原子的结合顺序不同而引起的异构现象，如C5H12有三种同分异构体，即正戊烷、异戊烷和新
戊烷.
（2）位置异构：指因分子中取代基或官能团在碳链（或碳环）上的位置不同而引起的异构现象，如邻二甲苯、间二甲苯、对二甲苯.
（3）官能团异构：指因分子中由于官能团不同而分属不同类物质的异构体.
2.同分异构体的书写
（1）烷烃：烷烃只有碳链异构，书写时要注意写全而不要写重复，一般可按下列规则书写：主链由长到短，支链由整到散，位置由心到边，排布由邻到间.
（2）具有官能团的有机物，如，烯烃、炔烃、芳香族化合物、卤代烃、醇、醛、羧酸、酯等，书写时要注意它们存在官能团位置异构、官能团类别异构和碳链异构.一般书写顺序是：碳链异构→官能团位置异构→官能团类别异构，一一考虑，这样可以避免重写或漏写.
二、确定同分异构体数目的几种常用方法
1.等效氢法
判断“等效氢”的三条原则是：
（1）同一碳原子上的氢原子是等效的，如，CH4中的4个氢原子等同.
（2）同一碳原子上所连的甲基是等效的，如，C（CH3）4中的4個甲基上的12个氢原子等同.
（3）处于对称位置上的氢原子是等效的，如，CH3CH3中的6个氢原子等同；乙烯分子中的4个H等同；苯分子中的6个氢等同；CH3C（CH3）2C（CH3）2CH3上的18个氢原子等同.
2.基团位移法
该方法比等效氢法来得直观，该方法的特点是，对给定的有机物先将碳链展开，然后确定该有机物具有的基团并将该基团在碳链的不同位置进行移动，得到不同的有机物.需要注意的是，移动基团时要避免重复.此方法适合烯、炔、醇、醛、酮等的分析.
3.定一移二法
对于二元取代物（或含有官能团的一元取代物）的同分异构体的判断，可固定一个取代基位置，再移动另一取代基位置以确定同分异构体数目.
4.轴线移动法
对于多个苯环并在一起的稠环芳香烃，要确定两者是否为同分异构体，可以画一根轴线，再通过平移或翻转来判断是否互为同分异构体.
5.换元法
所谓换元法，就是将有机物分子中的氢原子或取代基（如，
-NO2、-Cl等）对换个数后，其异构体数目不变.
[例1] C6H14的各种同分异构体中，所含甲基数和它的一氯取代物的数目与下列叙述相符的是（ ）
A.4个甲基，能生成4种一氯代物
B.3个甲基，能生成4种一氯代物
C.3个甲基，能生成5种一氯代物
D.2个甲基，能生成4种一氯代物
[例2] 下列烷烃在光照下与氯气反应，只生成一种一氯代烃的是（ ）
A.丁烷 B.2-甲基丙烷
C.2，2-二甲基丙烷 D.2-甲基丁烷
[例3] 分子式为C5H10的链状烯烃，可能的结构有（ ）
A.3种 B.4种 C.5种 D.6种
[例4] 若萘分子中有两个氢原子分别被溴原子取代，所形成的化合物的数目为（ ）
A.5 B.7 C.8 D.10
[例5] 下列芳香烃的一氯代物的同分异构体数目最多的是（ ）
答案：1.BC 2.C 3.C 4.D 5.B
参考文献：
异构环境 第7篇
图2卢浮宫扩建工程谦隐于地下以避免对卢浮宫整体空间环境的破坏
图3扩建部分以简洁的形体和表皮处理尽可能地隐藏自身,以突出原有的大师作品
1 城市景观建筑的环境性
建筑形式包括建筑的外形和表皮的具体表达,通常应当反映建筑的功能、空间、环境特点等。而对于景观建筑而言,建筑形式必须具备与环境良好的对话关系,因此环境性成为其突出特性。与山地、滨水等景观建筑不同,城市景观建筑的环境城市环境是人类对自然环境干预最为强烈、自然环境改变最大的区域,是高密度、多因素的综合环境,其最显著的特征就是高度人工化。在人工环境中,自然要素主要表现为人工自然,包括人工修整的地形地貌、人工种植的树木、草坪、花卉等植物、人工养殖的动物以及很大程度受到人为影响的气象条件等;人工要素主要包括人工修建的建筑物、构筑物、道路、广场及各类地面环境设施等;人文要素主要包括政治经济条件、历史文化背景、生活方式、民风民俗、审美观等非物质的精神因素。城市景观建筑必须与其城市环境取得积极的呼应,建立良好的联系,构成一定的整体关系。因此在进行人工环境的景观建筑设计构思时,需要根据环境要素特点来着重研究建筑与环境之间的关系特征,选择建筑与环境的处理方式,构建二者的内在关联。
虽然城市景观建筑的表现形式非常多样化,丰富的建筑风格、材料使景观建筑异彩纷呈,但是城市景观建筑与城市环境的关系的总的来说可以划分为三种类型:隐构、同构、异构。
2 隐构:谦藏于环境
隐构指景观建筑相对于环境采取谦逊的姿态来表达自身从属于环境的大关系,通过消失自我、隐藏自身体量的方法,将对原有环境状态的改变降到最小,从而实现对环境最大程度的尊重。
在进行具体建筑设计时,往往将建筑沉入地下,尽量减少建筑自身的体量感,以保持场地的原有特征,仅在地面留有进入通道、采光洞口、通风洞口、小型标志物等。当周边环境或原有建筑的特点十分显著并有特殊价值时,设计师往往会选择这种方式来处理与环境的关系,以避开新旧形体空间的矛盾,最大限度的保留和强化原有特点。飞鸟博物馆位于日本大阪县南部的一处山林中,这里共有200多座墓地,其中包括4座皇室墓地,是著名的墓地聚集区。为了尽量减少对已有环境构成的干扰,安藤忠雄将博物馆大部分形体隐埋于地下,地上部分表现为一个模仿自然形态的山坡,为参观者提供观赏周围环境全景的场所。巴黎卢浮宫(Louvre Museum)是世界上最古老、最大、最著名的博物馆之一,前后经过将近600年的修建和完善,建筑及空间艺术非常成熟。二十世纪时考虑扩建时,如果在其中添加一座体量巨大的建筑,势必对现有风貌造成破坏,而且也很难找到能够容纳七万多平米建筑的场地空间。为了避开场地狭窄的困难和新旧建筑矛盾的冲突,设计师贝聿铭将扩建工程设计成一座地下宫殿,只在地面上露出玻璃金字塔形采光井,从而通过谦隐的方式最大程度地保持了整体环境的完整。
沉入地下并非是唯一的隐藏体量的方法,正如一个长相平凡的人不需要遮住脸也可以在人群中不易被辨认出来。在建筑设计中,可以通过对体量和表皮的特殊处理,减弱观者对自身建筑的视觉注意。在纽约古根海姆博物馆扩建工程中,设计师通过对建筑形体、表皮极尽简化的处理方式,使建筑自身缺乏特色,仿若一块幕布衬托在既有建筑后,以此向赖特的经典作品致敬。而在法国里尔美术馆的扩建工程中(1992-1997)设计者伊博斯(J M.Ibos)及合作者采用简单的几何形体、透明的玻璃幕墙表皮,在消隐自身体量的同时,通过表皮对原有建筑的映像进一步凸显了原有建筑的形式特征。
3 同构:融合于环境
同构指通过建筑的组织与安排,融入原有环境秩序,环境与建筑相辅相成,从而实现景观建筑与环境和谐共生、融合共构。这种处理方式适用于环境秩序清晰、建筑功能较为独立的情况。根据建筑形式的内容,协调的具体设计方法主要有形体协调、风格协调、材料协调、色彩协调等。
与周边建筑和环境采用相同或相似的形式处理手段是简单并行之有效的方法。统一的高度、统一的界面位置、统一的材料、统一的风格,都能够加强建筑与环境的关联。“南京1912”休闲文化街区位于南京老城中心,其东侧的全国重点文物保护单位总统府是南京民国建筑风貌的集中地,因而街区采用了青灰色与砖红色相间的建筑群,风格古朴精巧,从建筑高度、砖砌方式、材料色彩、线脚细部等均与总统府遗址建筑群总体风貌保持一致(图4)。山东曲阜孔府是孔子嫡系后代居住的地方,堂进式的群体建筑多是建于明清两代,式样装饰也多是明清两代之式样;因而在修建西侧的阙里宾舍时,建筑外型以灰色为主,灰瓦、瓦砖、灰石,并结合孔府的传统建筑造型,整体与孔府孔庙十分协调。
更进一步的,可以将景观建筑与环境相互延伸,通过空间的相互渗透,以完全开放的格局使建筑融入城市当中,成为城市景观的一个有机部分。1983年建成的斯图加特国立美术馆建在一个小山坡上,这里原来是二次世界大战遗留的废墟,当地居民已习惯于在此穿梭游玩,将其视为生活中不可缺少的一部分。设计师詹姆斯斯特林(James Sterling)为居民保留了一条穿越博物馆的自由步道,自西侧穿过美术馆的大门,经“之”字形台阶进入圆形内广场,环行半周后由东门出去与山坡上的街道相衔接,成为一条充满趣味的散步通道(图5)。建筑师出于对城市物质环境和历史环境的理解以及对居民心理状态的尊重,通过建筑空间与街道形态的融合,成功地将城市道路引入建筑内部,使人们的习惯和记忆得以保留与延续。
4 异构:超越于环境
异构指景观建筑显著区别于周边环境,通过自身对环境的超越来提升环境的景观品质,重塑整体环境特征。这种手法通常用于环境秩序较为混乱或环境秩序平淡缺乏特色的状况,以及景观建筑的自身功能需求十分突出的情况,尤其用于各类标志性景观建筑的设计中。标志性景观建筑之所以能够成为一定空间范围内的标志性建筑,其与周边环境在视觉上必然存在显著差异,也就是景观建筑在某方面具有唯一性的特征,如鹤立鸡群的高度、极其特殊的形体等,这种唯一性是从景观建筑与周边环境建筑的对比中形成的。
天际线是一个城市、区域、地段的重要景观特征,而其中较高的位置往往是人们视觉最为关注的焦点,因此通过竖向上的差异来强调建筑是常用的处理方法。在中西方古代城市,因为建筑材料和建筑技术的原因,城市建筑都比较低矮,只有与宗教、景观相关的部分建筑比较高大,如中国的塔、西方的教堂,其耸立于低矮住宅之上的巨大体量必然成为城市天际线的主导因素,使城镇景观独具魅力。哥特式教堂建筑是西方宗教建筑的典范,在体量和高度上都远远超越了周边环境的尺度,轻灵的垂直线直贯全身,形体向上的动势十分强烈。这种具有强烈向上动势为特征的造型风格是教会的弃绝尘寰的宗教思想的体现,也往往成为所在城镇的标志性景观建筑。而到了19世纪,随着钢铁、混凝土等建筑材料的进步和电梯的发明,高层建筑出现了,并作为现代城市的图腾得到了迅猛发展,不断刷新城市天际线的高度和轮廓。
采用与周边建筑截然不同的建筑形体同样能产生强烈的视觉差异。虽然建筑面貌千差万别,但是其形体多可归纳为各种长方体或若半长方体的组合。当建筑采用非常规形体时,往往能轻易地与环境形成显著对比。法国巴黎的德方斯巨门是拉德方斯新区的标志性建筑,其巨大而新颖的门形体量使其从周边环境中脱颖而出,与凯旋门遥相呼应,延长的城市轴线从中穿过,将新区与老区紧密联系起来。北京CCTV新大楼呈折形门式结构,所有部门都被纳入这个结构中,以展现和利用电视节目生产的流水线性质,从而形成一条高效的程序链条。这种符号化的外形象征着中国了解世界的窗口,同时具有极其鲜明的视觉识别性。
此外材料的对比也是中景观建筑超越所处的城市环境时常常采用的方法之一。西班牙毕尔巴鄂的内维隆河北岸眺望城市,古根海姆博物馆(1997)是最醒目的第一层滨水景观。因为建筑位置的关系,建筑的主立面北向逆光,终日处于阴影中,设计师弗兰克盖里(Frank O.Gerry)将建筑表皮处理成向各个方向弯曲的双曲面,饰以闪闪发光的钛金属面板,这样随着日光入射角的变化,建筑的各个表面都会产生不断变动的光影效果,从而不但避免了大尺度建筑在北向的沉闷感,更以其特殊的表皮材料重塑了环境特征,甚至成为整个城市的标志性景观建筑(图6)。
5 结语
城市环境是城市景观建筑的生存空间。每一个景观建筑都是城市环境这个连续统一体中的一个要素,建筑的体量、色彩等表现出恰当的关系,能与其他要素对话,并在与城市环境的对话过程中趋于完善,同时完善自身形象建筑与城市环境的关系应当是统一而有对话的。景观建筑设计的构思必须首先要研究基地周围特定的物质环境和历史文脉,寻找其中蕴涵的秩序,从而确定景观建筑与环境的关系模式;然后在此指导下,借助建筑体量、造型、质感、色彩以及开放空间、围合空间的具体设计来实现。
图4建筑的高度、材料、风格均与东侧的总统府相呼应。
图片来源:《詹姆士斯特林(国外著名建筑师丛书第二辑)》,彩页图5建筑中保留了一条自由步道,不但与城市物质环境相融合,也保存了历史环境环境特征
图6钛金属面板给了建筑多变的耀眼气质,卓尔不群。图片来源:《弗兰克盖里毕尔巴鄂古根海姆博物馆)》,彩页
参考文献
[1].王建国张彤编著.安藤忠雄(国外著名建筑师丛书第三辑).北京:中国建筑工业出版社,1998
[2].窦以德等编译.詹姆士?斯特林(国外著名建筑师丛书第二辑).北京:中国建筑工业出版社,1993
[3].方海著.弗兰克?盖里毕尔巴鄂古根海姆博物馆.北京:中国建筑工业出版社,2003
异构网络环境下的全台媒资系统 第8篇
关键词：FC+以太网,编目,检索,数据流磁带库,在线存储,近线存储
1 辽宁广播电视台媒资管理系统介绍
辽宁广播电视台是国内成立最早的几家电视台之一, 经过50多年的发展积攒了相当数量的高质量、具有长期保持价值的音像节目和素材资料, 这些珍贵资料不但见证了辽宁广播电视台的成长, 记录了辽宁省社会的发展变迁, 也是在未来日益激烈的市场竞争中得以持续发展的坚实基础。在全台媒资系统建设前, 辽宁广播电视台已全部实现了节目后期制作的非编网络化。其中, 标清非编制作网和高清非编制作网是由中科大洋公司集成搭建的, 高端的AVID高清制作网是由新奥特公司集成搭建的。播出系统在2007年实现网络化, 搭建了八个频道硬盘播出和配套的电视剧、广告的缩编网。在此基础网络环境下, 减少编解码环节, 提高节目的技术质量和生产效率, 是亟待解决的现实问题, 因此, 建设以数据交换中心为枢纽的媒资系统已势在必行。辽宁台媒体管理系统设计的重点和难点是如何处理解决异构网络环境下的不同数据孤岛之间的网络一体化问题, 由于各子系统是分属不同公司、不同年代的产品, 只有成功地解决各网络子系统之间以及各网络子系统与媒资之间的互联互通问题, 才能有效地实现节目资料的共享和数字化管理。
辽宁广播电视台全台媒资系统整个构架采用一体化网络运行平台, 提供统一的数据共享交换平台, 可以保证各个子系统的独立运行, 同时也可以在统一的网络平台和规范的网络接口基础上进行有效、有序、可靠的数据传输和交换, 形成一个集采、编、播、存、管理功能于一体的数字化、数据化、网络化、高度智能化、自动化的综合业务处理系统。在建立内容资源库的基础上, 提供多样服务, 入库节目进行详细编目, 规范节目素材和业务流程, 建立统一节目内容数据库、高效检索平台, 在媒资和各制播网络之间通过独立建设的主干平台实现数据和指令的互联互通。媒资系统能够通过主干平台以文件的形式存储来自各制作区域上传的成品节目、优秀素材等内容, 并且各制播区域又可以通过主干平台调取媒资系统的资料。在资料发布和调用功能实现方面以高效方便为原则, 同时系统本身具备节目资料上载、编目、存储、检索、发布、下载、版权管理、结算费用等功能;在各制作网、缩编网上可以通过BS结构对素材及成片做初级编目, 也可以完成对媒资系统的检索及选定内容的下载。同时系统本身也具备如统计、报表输出的业务运营管理功能。
业务支撑平台是整个媒资系统的基础, 并为媒资系统提供关键性的后台服务, 如检索、发布、媒资处理、内容管理、数据存储、工作流推动等[1]。数据库服务器配置了2台IBM System P750小型机和DS5020数据库共享磁盘阵列, 数据库软件采用Oracle 10gR2企业版, 支持RAC集群管理, 购买了50个用户的授权, 这种搭配方法在以往的新闻非编网和制作网项目中都有使用, 性能可靠, 安全稳定性也很好。媒资系统部署在业务支撑平台上, 业务系统呈现媒资系统主要业务的用户界面, 如编目、检索、审核、上载等业务系统对数据库的访问;同时承担媒资工作流程的推动和监管任务。业务支撑平台同时承担媒资系统内外的素材和节目检索, 制作和播出系统可以通过Web检索页面对媒资系统内的内容进行检索查询, 并对检索到的内容实现选择性打点回迁。媒资系统内嵌全中文检索引擎, 用户可对关键字进行彻底的查询, 也可以采用通常的数据库参量检索。除采用Web页面检索方式外, 检索发布模块还可提供WebService服务接口。业务支撑平台还承担整个媒资系统内部的媒体文件处理任务, 包括素材整理、关键帧抽取、素材转码和低码流文件生成、播出格式文件封装等多项任务, 可以根据任务调度执行媒体处理任务。辽宁广播电视台媒资管理系统系统拓扑图如图1所示。
媒资系统的基础网络平台采用传统的FC+以太的双网结构, 配置了3套Brocade Silkworm 5140光交换机 (配置40FC端口, 以及40个4 Gbit/s短波SFP模块, 全光纤支持级联) 和2套H3C S5120-52C-EI千兆以太网交换机。在逻辑结构上内容管理及硬件支撑平台承担了系统的核心数据存储、交换和管理功能, 各业务模块通过以太网通路、FC光纤连接成一个整体。
2 系统功能介绍
2.1 节目入库
入库的方式主要有网络化文件提交和介质类上载两种。网络化文件提交由主干平台的EMB完成, 其元数据由提交系统的应用服务器通过ESP调用媒资系统的应用服务器的入库服务接口完成, 媒资系统在接收到提交入库节目素材的媒体文件及原数据信息后, 生成媒资系统内部的条目, 并启动后续流程。传输过程需要对其进行数据完整性验证。媒资接收完成后, 启动后台技术审核, 同时输出技审结果, 确认入库资源后, 提交转码生成浏览码率文件, 完成整理环节, 提交归档和编目发布环节。能够接收、继承原始媒体资料的元数据信息、编目信息, 智能继承其他系统的元数据, 作为中心媒资存储对象编目信息。对于只有高码流的素材或节目, 在入库的同时, 要求生成低码流的检索格式文件, 在策略上配置了查重功能, 避免相同的节目重复存储浪费存储空间。介质上载除了常规的视音频线性采集上载方式外, 还要支持主流的松下P2卡和索尼专业蓝光盘两种格式, 在上载的过程中也要完成低码流的检索格式文件生成和视音频文件检测等环节。技审工作由技审软件配合波形监视器自动完成, 软件支持视频和音频分别QC, 可以方便地设置需要检测的参数, 如黑场、静帧、彩条、绿底、蓝底等。技术审查界如图2所示。
2.2 资料编目
遵循现行的通用标准《国家广播电视音像资料编目规范》对节目素材的内容和属性进行详细描述, 使其便于以后检索、交换和再利用。编目过程可配置不同权限用户实现不同编目层次的编目控制, 可以设置多级审查方式来保证编目质量, 通过了审查的编目数据可作为检索数据库的基础数据[2,3]。编目系统可以方便地导入在制作编辑网络输入的编目信息, 该编目信息遵循相同的编目规范, 可以提高节目在媒资中元数据的信息量, 减少二次编目的工作, 提高二次编目的准确度, 提高成片和素材的关联度。而技术类元数据和关键帧的提取由软件自动完成, 提高编目效率。支持批量编目功能, 能够保存模板, 实现对电视剧的批量编目功能。系统还提供了版权信息著录功能, 工作流的各个环节使用统一的版权元数据描述规范, 方便版权数据的记录和传递, 减少人工著录的工作量。编目界面如图3所示。
2.3 检索
检索系统可提供多种检索方式, 如全文检索、高级检索、分类检索、标签检索、拼音检索、同音字检索、语音检索等。检索的结果可显示节目的标题、肖像、条目类型、时长、时间、动态摘要等多项信息, 既可导出到EXCEL, 也可直接加入到工作夹。系统还提供了快速浏览功能, 可以对检索结果进行简单快速的内容查看, 系统支持节目的上下变换功能, 提供节目下变换成标清后的模拟显示, 使得用户可以预先了解节目下变换以后的情况, 了解在画幅和码率变化后是否有重要信息的丢失。另外, 不同权限的用户的检索范围可人工设置。
2.4 资料下载
通过检索系统可以提交下载回调申请, 按照制定好的工作流, 根据下载内容的级别, 经相关部门逐级审批后, 可以输出到磁带光盘等介质, 也可以网络化回迁到非编站点, 下载资料的格式和码率可选。
2.5 转码
转码合成部分由七台高性能服务器组成, 具备多台服务器联动功能, 可同时调用多台服务器执行一个转码任务, 提高系统的效率, 通过该模块可以实现高标清节目的相互转换, 字幕文件的打包合成, 视音频文件的码率转换, 关键帧的抽取等多项功能。系统支持DVCPRO25, DVCPRO50, DVCPROHD, MPEG-2 IBP, MPEG I, DNX-HD, H.264等多种主流视音频文件格式。
2.6 管理
系统提供了统一的管理控制软件, 可以对用户、角色和权限进行统一配置管理, 轻松实现系统内不同身份的操作人员操作权限、检索和查看权限的设置。监控管理模块可实时监控基于SNMP协议的集成网络设备和服务器。在设备出现故障时能够自动向管理员进行报告;可实时监控各种后台服务、后台自动运行软件等;可实时监控媒资业务流程、数据库和中间件等。管理控制软件界面如图4所示。
3 总结
辽宁广播电视台全台媒资系统是辽宁广播电视台全面实现数字化、网络化的重要组成部分。该系统建成后使辽宁广播电视台在媒体资料的存储、浏览、查询、下载、扩充、使用、管理实现实质性的提升, 主要体现在以下方面:
1) 实现了现有传统磁带存储的视音频资料实现数字化存储, 有利于历史资料的长期永久保存。
2) 对数字化存储的节目进行规范的分类编目, 形成结构化数据, 可提供全文索引服务, 大大提高了节目查找的效率与质量。
3) 通过主干平台, 实现与各节目制作网络的互联互通, 为制作部门提供所需视频素材、音乐素材和存贮成品节目。
4) 通过主干平台, 实现播出节目按节目单自动上传到播出盘阵, 大大提高播出时效性, 并降低对节目质量的损耗。
5) 全台媒资的建设, 也统一了各业务部门的视音频格式, 便于节目的重复再利用。
总之, 辽宁广播电视台全台媒资系统建成后为全台内容资源存储、管理及再利用提供了一个很好的基础平台, 已经成为全台素材和节目资料保存、节目生产和版权经营管理等业务的交互核心。
参考文献
[1]王恒, 郑科鹏.现代媒体资产管理的发展和规划探讨[J].电视技术, 2010, 34 (8) :4-7.
[2]刘强.媒体资产管理系统的发展趋势[J].广播与电视技术, 2008 (2) :34-39.
异构环境 第9篇
以往的以物理节点而设立的数据中心正在面临变革, 在上个世纪诞生的被用于大型机的虚拟化技术, 正在被逐渐部署到廉价通用硬件构成的基于X86的PC服务器上。和以往的物理机器不同, 虚拟机中的中间层操作系统和上层的应用不会直接和底层硬件进行交互, 而是需要通过VMM层和hypervisor才能和底层的硬件接触。通过在传统的数据中心中应用虚拟化技术, 能够有效分配计算资源, 催化了云计算服务在今天的广泛应用。本文研究了一个由虚拟机节点和物理机节点混合而成的异构云平台, 并且在平台中实施了Hadoop的性能测试, 分析了Hadoop在物理机和虚拟机混合环境下读写数据的实际性能, 探究了在Hadoop集群中两种节点的性能差别, 并且阐述了接下来需要开展的工作。
2 虚拟化技术和云平台
虚拟化技术能够实现虚拟机从当前的节点上向另一个节点无缝迁移, 同时确保在实际迁移的过程中, 相关机器中的程序还可以正常运行。虚拟化技术会在数据中心形成一个较大的资源池, 这样相关的用户则是根据动态调整, 进行资源的整合。在这个前提下, 如果一个数据中心接入了互联网并且应用虚拟化技术, 就能够为外部用户提供必要的租赁资源服务项目, 也就是公共云服务。早在2006年, 国际上著名的在线商务平台亚马逊公司就研发了弹性云计算服务 (Elastic Cloud computing) , 通过虚拟机来为用户提供数据中心的相关计算资源。用户根据时间的长短和需求的不同来租用计算资源, 并且支付租金。用户则是可以利用互联网将个人数据进行传输, 将其传输到云平台上, 这样将会对最终的结果进行计算。
除了公共云, 云服务也考虑到了数据的可靠性和隐私性, 将一些数据以及应用有效储存在企业的数据中心, 同时对外界进行有效的服务, 对于该服务模式则是为私有云服务。
3 实验异构的平台的设计
3.1 虚拟平台的设计
实验平台主要包括4台PC, 其中包括1台1U尺寸的Dell R410抽屉式服务器, 还有3台是组装机。服务器配置:3块300G的SAS硬盘, 1颗2.13G主频的四核Intel Xeon E5506 CPU, 8G内存;组装机配置:4块容量2T的5900转Seagate SATA硬盘以及1块80GB的Inter固态硬盘, 1颗主频2.8G四核Inter i5 760CPU, 内存8GB。4台机器通过一个24口TP-Link的交换机连接而成, 进而组成一个小型的局域网络。
在软件选择方面, 使用Xen 3.0版本的整体虚拟化方案当作虚拟化软件, 使用1台组装机来建设虚拟机VM, 并且为这台虚拟机配置500GB硬盘空间、7G内存以及4个VCPU, 使其具有和物理节点相同的底层IO资源和计算资源。所有VM运行和物理节点都是Centos 5.5 2.6.18内核的64bits操作系统, 使用0.20.2版本的Hadoop, 块的副本数是3, HDFS中文件块大小是64MB。在Hadoop架构中的Master节点是Dell服务器。Slaves节点是虚拟机VM和2台物理组装机[1]。
3.2 具体实验设计
虚拟化将会导致IO的开销较大, 这样就必须要对Hadoop集群中虚拟机节点和物理机节点等磁盘读写性能进行有效的测试, 从而对其性能进行有效的对照。另外, 对于dd命令来说, 在每次进行设计的过程中, 写入设计的容量为32M。而后连续写入100次, 达到3.2G的总写入数据量。在这个过程中, 同时也要有效保证dd命令的附加参数conv等于fdatasync, 这样将会让最终的数据无法写入到内存缓存就返回, 而是被写入到磁盘中。所有节点都需要连续进行6次速度测试。
为了有效保证磁盘读写性能的真实性, 必须要运用hdparmt命令 (dd命令测试得到的并不是实际的磁盘读速度) 。同时也要对每个阶段进行多次的测试工作, 以此来保证测试结果的稳定性。
现今在Hadoop平台中, 有效运用Test DFSIO和sort这两个典型的benchmark进行平台性能测试。关于Test DFSIO benchmark, 是利用Map Reduce中单个作业的方式来进行HDFS文件系统多文件的读写性能测试。读写每一个文件都是通过单独的map任务来实现。在实验过程中, 设计一次读写文件的容量大小为1000MB, 同时检测map数也就是并发文件数为8、6、3时的集群HDFS IO性能。关于sort benchmark, 是利用HDFS文件系统里的相关二进制数据集来排序, 并且在HDFS系统中写入经过排序的数据集。这里的sort代表在Hadoop中的特殊应用, 具体地说, 是输入数据集记录大小和内容不变, 但是经过洗牌过程后, 每个记录之间的位置根据顺序再次排列。在实验过程中, 首先使用Hadoop中的randomwriter作业来生成2G和27G的两种大小不同的随机二进制文件, 当作sort的输入。首先, 执行sort benchmark (对于27G的数据集) , 而后记录虚拟机节点和物理机节点VMs的reduce和map阶段的实际处理时间, 再连续执行3次Sort benchmark (对于2G的输入文件) 。
4 实验结果分析
4.1 磁盘的读写性能测试
对于Hadoop的数据密集型应用来说, 其中数据的处理性能与相关的底层节点数据读写速度之间存在较大的关系。因此在进行集群性能的测试前, 必须要对每个节点的读写性能进行有效的检测。对于读速度来说, VM在经过一定的预热之后, 其读速度稳定在80MB/s左右, 大概是PMs读速度的75%左右。对于写速度来说, 虚拟机节点VM的性能大大落后于物理机节点PMs, 前者的速度是后者的23%左右。相应的实验结果证明, 读性能的开销要远远小于写性能的开销。在写性能方面, VM和PM的差距较大, 会让应用Hadoop的过程中, 数据写入频率较大[2]。
4.2 HDFS文件系统的吞吐量测试
要想有效对整个集群的IO性能进行检测, 其中最为重要的是吞吐量的指标。在海量数据的应用中, 其底层文件系统必须具备一定的吞吐量, 从而发挥其优点。
在进行实验的过程中, 要对每个阶段的数据量进行有效分配。而且在写数据的执行过程中, Test DFS中的相关任务没有被正常备份执行, 类似于木桶效应, 总的完成时间和写速度最慢的节点的最终完成时间密切相关。虚拟机阶段VM点的写性能不理想, 大约为17MB/S。因此整个集群的吞吐量也和VM节点的写速度相关。实验测得集群的实际写吞吐量在13MB到18MB之间, 这验证了相关的推测。
相应地, 最后一个完成写任务的节点的读速度和集群的读吞吐量密切相关。后续的磁盘读写性能测试结果中, 虚拟机节点VM和物理机节点PMs的读速度平均是80MB/s和110MB/s。而集群的度吞吐量大概在70MB/s左右, 和磁盘的读写性能相符。实验得出, 如果任务数是3, 那么测试吞吐量最小。如果任务数是8, 那么测试吞吐量最大[3]。
4.3 sort benchmark
在实验过程中, 排序随机产生的数据集, 并且记录相应的时间, 因为这是测试大规模分布式、高性能计算系统的核心指标。首先运行数据量为27G的sort benchmark, 实验得出, 如果数据量小, 在内存中进行完整的sort排序过程, 没有产生磁盘往返IO;如果数据量大, 而且内存缓存区不能进行储存, 就会产生大量的磁盘往返IO。物理机节点PMs写速度远远大于虚拟机节点VM写速度, 所以VM在sort阶段需要花费更多时间。为了验证相关的推测, 又执行了数据量为2G的sort benchmark, 重复三次执行, 实验得出, 在sort阶段, VM和PMS的执行时间基本没有差别 (处理时间都是0) 。
5 结语
随着Map Reduce在处理密集型数据方面的广泛应用以及云计算服务的全面流行, 怎样在云平台上应用Map Reduce来处理云平台中的大规模数据已经成为了一项研究热点。本文研究了一个由虚拟机节点和物理机节点混合而成的异构云平台, 并且在平台中实施了相关的基于Hadoop的性能测试, 其中包括各节点的HDFS文件系统吞吐量和读写性能, 还有sort benchmark (基于Map Reduce) , 进而分析了虚拟机的应用所导致的性能测试中的各种问题。希望能够为Hadoop平台的研究者提供有益的借鉴和参考。
摘要：针对当前云服务发展中遇到的数据量急速增加为后台数据中心带来的数据处理问题, 本文实施了Hadoop的性能测试。首先对云计算异构环境的Hadoop性能进行了描述, 其次对Hadoop集群中两种节点的性能差别进行了分析, 并给出了实验异构的平台的设计和实验结果。
关键词：云计算,异构环境,Hadoop
参考文献
[1]张密密.Map Reduce模型在Hadoop实现中的性能分析及改进优化[D].成都:电子科技大学, 2010.
[2]邓自立.云计算中的网络拓扑设计和Hadoop平台研究[D].合肥:中国科学技术大学, 2009.
[3]张涛.基于网格计算经济模型的资源调度算法研究[D].无锡:江南大学, 2006
异构环境 第10篇
随着电力企业信息系统的不断应用和发展, 计算机网络系统中保存的关键数据量愈来愈大, 支持着电力企业重要业务的正常运转。发生误操作等人为因素、硬件故障或是不可抗力的灾难 (如火灾、水灾) 都会造成数据的丢失, 这将导致企业业务无法正常运行, 给企业造成不可估量的损失。因此如何保证系统的数据安全性和恢复性, 在系统出现故障时有效保护数据, 快速恢复业务, 这对电力企业是十分重要的。
1 应用现状
潍坊供电公司电力营销部门先后建设了电力营销技术支持系统、“95598”客户服务系统、辅助决策支持系统、电力需求侧中心主站系统, 运行着HP-UNIX, IBM AIX, Windows2003 Server等多个操作系统平台和Oracle, DB2等多种数据库平台, 具体如图1所示。
这些平台下的数据库, 支持着多个部门工作的正常运行, 其数据十分重要。因此做好数据备份工作, 保证数据安全是必须的。如果对这么多的系统进行手工备份, 将是一件非常困难的事情。若有一套能够支持多平台, 多数据库的备份系统, 实时管理这些数据并进行自动备份, 可降低原来备份工作的复杂程度, 同时提高数据的安全性。现系统在数据安全性方面存在着以下2个问题: (1) 关键业务的重要数据缺乏有力的安全保障, 一旦关键数据丢失, 业务会受到直接影响, 并且无法迅速、有效地对数据进行恢复; (2) 网络情况复杂。各业务平台存在多个不同的操作系统和数据库, 同时, 数据管理不统一, 数据分散, 难以进行统一有效的数据备份工作。
2解决方案
2.1体系架构
系统的体系架构如图2所示, 在系统中增加1台专用的备份服务器和1台磁带库, 存储设备磁盘阵列通过SAN存储局域网络与各种数据库服务器和备份服务器、磁带库相连, 核心局域网LAN把备份服务器与各种数据库服务器连接起来。在备份服务器上安装DW backup备份软件的Server端主程序, 在数据库服务器上安装有DW backup备份软件的数据库的代理端。不同的数据库对应备份软件不同的数据库代理。该代理软件负责备份服务器与数据库服务器的通信, 实时监控数据库服务器上的操作, 并将监控的情况返给备份服务器。每当数据库服务器产生新数据时, 在备份服务器的主备份程序控制下, 数据库的新增数据只需以归档日志的形式存储到磁带中, 这样降低了数据传输量并提高了数据管理的效率。
2.2方案的特点
(1) 磁盘阵列和磁带库、备份服务器组成近线存储系统, 数据库服务器的数据存储在磁盘阵列中, 当备份服务器进行备份时, 数据从磁盘阵列先直接备份到磁盘服务器硬盘, 备份结束后, 再转储到磁带的技术, 增强了数据安全性, 提高了磁带库的性能, 降低了备份资源要求和成本。与直接备份到磁带相比, 备份到硬盘的速度更快, 需要的应用程序服务器CPU资源更少。
(2) DW backup备份软件能支持各种存储设备和存储架构, 增强适应性和可用性。DW backup软件支持SAN存储技术, 存储设备磁盘阵列、磁带库和备份服务器都挂接在SAN上, 直接通过SAN存储网络进行数据备份, 不占用LAN/WAN的带宽, 完全实现LAN free Backup, 有助于实现高速备份和磁带设备共享。
(3) 支持各种操作系统:包括6个版本的Windows系统, 8种版本的Unix操作系统和所有版本的LInux, 并支持64位平台系统。支持多种数据库:DW backup备份软件能够支持多种数据库和应用, 能够对Cracle 10g, Oracle9i, Oracle8i Oracle7i, DB2, MS SQL Server, MY SQL等数据库提供不间断的数据保护, 能够备份多种数据库文件, 包括数据库的数据文件、日志文件、控制文件、初始化文件, DMP文件等;能够实现数据的保护和恢复, 还能够实现同时对多个不同类型的数据库进行统一、集中管理, 并对数据库的核心部分和关键业务进行专门保护。
(4) 系统管理员通过管理程序或者通过Web浏览器登录Server进行管理, 可对Server进行初始化, 配置存储设备的路径、定义备份节点和制定备份策略。在数据库服务器上定义数据库备份的定时调度任务。制定多种备份策略, 实现在线自动备份和实时监控。
3 备份软件功能介绍
DW backup备份软件功能架构如图3所示, 软件可分为备份服务器控制端和客户代理端两部分, 具有作业管理、数据恢复、日志管理、策略管理、RMAN恢复管理和存储管理六个功能模块, 并且提供不同的代理选件接口来支持异构情况下不同数据库的数据管理。另外, 还提供多个数据库的并发代理以支持对多个数据库的数据保护。
3.1 备份服务器端
备份服务器端是备份软件的主控制端。在备份服务器上, 操作人员应可以在图形化界面下进行较为便捷的操作和管理, 实现备份策略管理、作业管理、RMAN管理、数据恢复、日志管理、存储管理六种功能。同时, 备份软件还应在主控制端为不同数据库准备了不同的接口, 从而实现了对多数据库的数据备份。
(1) 作业管理。
作业管理应可以同时实现在异构环境下对多种数据库的备份作业进行统一管理和操作。能对Linux/Unix/Windows下的文件, 以及Oracle、DB2、SQL Server、OSCAR、MY SQL等数据库的数据文件进行完全、增量以及差分备份和数据保护, 并且能够对数据进行压缩处理, 从而减少了对存储资源的占用率, 也提高了备份和网络传输的速度。应该提供可视化的作业信息列表, 用户可以查看各个备份作业的详细信息, 包括作业的名称、状态、备份类型、数据源、备份目的地、作业创建时间以及针对各个备份作业的备份策略。通过作业监视器用户还应该可以随时对各个作业的完成情况进行监控和查询, 系统针对每个作业形成的报表能够查询该作业的备份进度和历史。
(2) 数据恢复。
通过数据恢复可以建立在对数据主动备份的基础上来保证关键业务在灾难发生后的随时恢复。它应该可以实现在灾难发生后对所有数据按照“时间点”来恢复。应该提供离线的数据保护, 如果计算机崩溃时, 来不及创建灾难恢复介质, 则可以使用计算机崩溃之前的完全备份恢复数据。
(3) 日志管理。
日志管理应对备份软件的每一项活动进行记录。用户应该可以查询到每一项活动的日期、发生时间、来源、操作员以及对该活动的描述。还应该可以将保存的日志导入, 让用户管理以前的操作信息, 并删除不用的日志信息。此外, 通过错误查看器能查看到备份时所发生的错误信息和生成报表记录的历史错误信息。
(4) 策略管理。
策略管理的功能应该是对整个备份系统的参数进行管理和设置。用户应该可以根据具体需求来选择策略, 包括对数据备份和恢复策略的选择, 对日志管理策略的选择和对数据压缩策略的选择。备份软件的备份策略包括定制策略和循环策略。定制策略应该是根据客户具体情况灵活定制备份策略的一种方式, 它包括一次性执行方式和周期性方式。循环策略应该是为用户每天的备份分配备份介质, 制定备份方法, 来效地利用备份介质的一种策略, 包括祖父子备份策略和冗余存储备份策略。备份软件的备份方式应该包括:完全备份、增量备份和差异备份。同时, 针对备份的对象应该又可分为:系统备份、数据库备份、归档备份和应用备份。
(5) RMAN恢复管理器。
RMAN是从Oracle 8.0开始提供的一个数据库备份恢复程序, 应该可以通过RMAN对数据库、表空间、数据文件、控制文件、归档日志和SPFILE进行备份。在使用RMAN备份时, 应该会自动跳过未使用的数据块而不进行备份, 以节省存储空间, 并可以检测数据文件的损坏块。备份软件提供的RMAN恢复管理器, 应该可以实现Oracle中的RMAN无法实现的远程备份。
(6) 存储管理。
备份系统中的备份服务器通过网络连接到磁盘阵列和磁带库, 应该可以利用第三方管理软件方便快速的控制系统日常数据的磁带备份。同时, 该方案还支持多种新型的数据存储网络 (如:SAN、NAS、LAN) , 可以降低存储的管理成本和空间利用率。
3.2 备份软件代理
客户端代理是安装在网络计算机上的独立软件包, 用于在数据库服务器与备份服务器之间提供网络接口。根据需要执行和恢复的数据备份的数量和数据库服务器的种类来决定代理选件的数量和种类。
备份软件应该具有专门为Oracle数据库提供在线备份的解决方案的代理软件接口, 可以在Oracle正常运行的情况下把数据库的物理文件自动备份到备份服务器上, 并且在备份过程中不会干扰数据的正常可用性, 备份时无须停机。备份软件应提供对Oracle数据库实时、定时、在线、自动、增量和远程备份功能, 灵活的配置方案可以满足内部网络系统不同的安全需求。
4 结语
同课异构所思 第11篇
【关键字】立意 情景 史料
三位老师都讲了《战后资本主义的新变化》，是一次联片教研活动，实质也是一次同课异构活动。从此次活动的出发点来看，并不是要达到如何创新的优质课，而是立足于现实的优质常规课。事实上三位老师也没有过多的追求形式上的创新，而是更多地从课堂实际着手，引导学生通过系统的学习，形成对战后资本主义新变化的全面认识与理解。听完这几节同课异构课，让我很受启发，借此表达一己之见。
1立意—历史课堂的生命线。
课程标准要求以第二次世界大战后的美国等国家为例，分析当代资本主义新
变化。二战后，以美国为首的资本主义国家出现了一些新变化，其实质是资本主义内部的自我完善，是资本主义生产关系的自我调整。抓住这一主线，引导学生分析变化的原因、变化的表现、变化的实质。整个过程中要实现上述目标，不可避免的要问到，新变化新在哪里？为什么要变化？怎么变化？这样三个基本问题。三位老师正是从三个问题作为立意的主线串联了整课内容，同时又各有侧重。例如韩老师重点是通过介绍战后新变化的具体内容，来整合课本内容的。由解释国家垄断资本主义，分析不同阶段的变化，最后回归到其实质是资本主义生产关系的自我调整，并证明这并不能从根本上解决资本主义生产发展过程中的固有矛盾。可以说通过立意明晰了历史事件在历史进程中的位置，选取了最能反映历史发展趋向的事件来说明问题。即立意是历史课堂的生命线。
2情景—历史课堂通往历史再现的桥梁
情景教学法是我们当代教学中的一种常见方法。作为历史学科只要老师深入挖掘，就会发现教材只是提供了结论，并不负责论证的局限性，这对于学习者学生观察历史明显是不利的。这也是我们现行教材的局限，现行人教版教材更侧重于是教的材料，而忽略了学的辅助。每个人会根据事实本身做出自己的判断。因而历史课最重要的是事实以及学生现有的知识。这些与学生如何利用历史的角度观察和思考问题的目标之间就存在矛盾。优秀的情景设计便是贯通二者的桥梁。这次同课异构中，齐老师正是通过大量的二战后的废墟图片和各种历史事实资料展示，并提出了假设了你是二战后资本主义国家的领导人，你面对的首要问题是什么？很巧妙的达到了历史情景的再现。让学生自然地想到战后资本主义面临如何重建家园的问题。通过寻找经验，引出了借鑒罗斯福新政的提法在后续得出这些都市资本主义发展过程中对生产关系的调整这样的结论。后面的70年代又调整就是水到渠成顺理成章的了。整个过程如同我们访问了二战后资本主义国家一样自然清新的呈现。可见情景是历史教学中再现历史沟通过去的桥梁。
3史料—填充历史课堂的血肉
关于史料的运用，这是历史课最基本的方法论从史出。本课课本也提供了大量的历史材料。但更多的是研究性的结论材料。给学生一种单纯学习结论知识的生硬感。而田老师通过自己搜集的大量材料，一一证明了课本上的结论这一点使得课堂内容变得丰富，不再是条条框框了。实践证明历史材料是填充丰富历史课堂血肉。
异构环境 第12篇
一、异构数据移植的需求分析
1. 异构数据移植的研究背景。
天津师范大学档案馆一直使用南大之星档案管理系统网络版为平台, 进行档案资源的建设和管理, 随着学校十一五信息化建设的推进, 结合本馆实际与学校信息化统一规划的发展, 要对档案管理系统进行全新的升级, 经过多次论证和相关专家的参考意见, 学校最终选用了东软集团的Seas档案综合管理系统来代替南大之星管理系统进行资源建设和档案管理。由于南大之星档案管理系统的应用服务器是Windows2003, 开发语言是asp脚本语言, 数据库选用SQLServer2000;而Seas档案综合管理系统的应用服务器是Unix, 开发语言是java语言, 数据库选用Oracle9i。两者分别基于不同操作系统、不同开发语言、不同数据库以及不同的通信协议, 产生各种异构和冲突, 这就需要建立一个数据移植平台将已建成的档案数字资源从南大之星档案管理系统中移植到Seas档案管理系统中。
2. 异构数据移植的设计方案选择。
目前, 从数据移植平台的设计方案看, 主要包括三种方式:第一, 利用数据库自带的数据导入导出工具完成数据移植。例如, SQLServer的数据转换服务 (Data Transformation Service, DTS) , SQLServer可以根据业务需求实现不同数据源之间导入和导出数据, 利用SQLServer DTS可以完成数据移植, 但其缺点是只能提供了自己的数据库系统去访问其他异构数据库的机制, 通用性不好。第二, 利用中介数据库来完成数据移植。这种方法也可以完成数据转换的任务, 但是这种方法的缺点是实现过程比较复杂, 数据的完整性和准确性难以得到保证, 数据转换的效率非常低。第三, 利用中间插件技术完成数据移植。这种方法的核心是将数据转换工具或程序代码作为异构数据库导出导入的中间件, 将相应的数据转换成本地数据库或某些程序可以处理的数据格式。这种方法的缺点是增加了中间件管理系统的硬件和软件成本, 也增大了系统的维护成本。这三种数据交换的方案都存在一些不足, 但是, 随着具有跨平台性和通用性的XML技术和程序高度集成的Web Service技术的出现, 采用XML技术和Web Service技术相结合的方法能够很好地解决传统数据移植方案中的不足[3]10。
3. 异构数据移植平台的需求分析。
数据移植平台主要是用来解决新旧档案管理系统之间的数据交互和资源共享问题, 提出建立一个数据移植平台, 对现有档案管理系统中的资源与新型档案管理系统进行整合, 使信息资源得到有效的管理和共享, 该数据移植平台需要实现以下功能: (1) 保证现有的两个系统应用不变, 实现数据的移植和共享。 (2) 根据制定的标准, 消除冗余存储的异构, 保证数据的完整移植。 (3) 平台操作智能便捷, 具有良好的扩展性, 提升数据移植技术的复用性。
二、异构数据移植平台的解决方案
1. 数据移植平台的转换标准定义。
首先, 依据国家档案数字化规范标准, 对各类档案进行规范化定义。例如对党群类的档案应定义题名、全宗、分类、保管期限、密级、文号等多项元数据;对教学类的档案应定义学号、姓名、毕业年份、专业、学院等各项元数据;对科研类的档案应定义项目名称, 项目级别、项目负责人、项目申请时间、结项时间等元数据。这个时候需要引入XML技术, 由于XML是一种可以自己定义结构的标记语言, 我们利用XML语言根据已经定义好的各类档案元数据信息制定出各类档案的XML数据模型。XML数据模型用来存储这些类档案的元数据, 例如党群类档案的XML数据模型中存储着题名、全宗、分类、保管期限等元数据信息。然后, 需要定义数据移植过程中的匹配方法。所谓匹配方法是指在异构数据转换中, 对命名不同, 但本质上却代表相同数据的数据项建立匹配关系。例如在移植数据时, 某项数据在系统中命名为文件名称, 而在我们定义的XML模型中命名为题名, 这时候, 我们需要在文件名称与题名之间建立匹配关系, 并在服务器中建立不同数据库之间的内在联系。定义好各类档案的各种匹配关系后, 就可以实现不同系统与XML数据模型之间的数据移植了。
2. 异构数据移植的流程设计。
数据移植主要是以XML模板为基础, 并预先定义数据库各字段与XML模板的映射关系, 实现数据库与XML数据文件按照映射关系进行相互转化。系统服务的流程应是: (1) 系统管理员向数据移植平台发送导出数据的消息。 (2) 在数据移植平台上, 访问南大之星管理系统的数据库 (源数据库) 获得数据集。 (3) 将源数据库中的数据集根据XML模板的标准写入XML数据文件。 (4) 将生成的XML数据文件进行加密处理得到XML数据密文, 同时可以返回给系统管理员。 (5) 在导入数据过程中, 首先需要在数据移植平台上对已经生成的XML数据密文进行解密, 得到含有数据集的XML数据文件。 (6) 在数据移植平台上, 根据XML模板的标准, 解析XML数据, 生成相应的数据集。 (7) 遍历这些数据集, 提取每条记录信息写入Seas综合档案管理系统的数据库 (目标数据库) , 并成功返回消息给系统管理员。
3. 数据移植平台的构架设计。
数据移植平台采用XML和Web Service技术来实现新旧档案管理系统的数据移植, 通过对原有档案管理系统的注册为每个节点提供服务, 这些终端节点与数据移植平台采用XML技术进行数据的存储和传输, 通过SOAP协议进行新旧档案管理系统之间的通信。基于数据移植平台, 主要实现两个功能: (1) 当需要进行数据移植的时候, 通过Web Service接口将原有档案管理系统的数据提取, 根据数据移植规则, 解析XML映射文档, 生成查询语句, 并通过ADO.NET与数据源进行交互, 提取所要转换的数据。数据提取后经过格式及结构转换生成相应的XML文档, 并将XML文档发送到数据移植平台的数据库中。 (2) 通过调用接收数据的Web Service接口, 接收原有档案管理系统的XML文档, 并根据数据移植规则生成相应的SQL更新语句, 最后将数据更新到目标数据库中。
三、异构数据移植平台的核心技术
1. 数据的传输协议。
在数据传输中选择SOAP协议 (Simple Object Access Protocol) , SOAP是一种轻量级的、简单的基于XML的协议, 它被设计成为在Web上交换结构化和固化的信息。SOAP使用基于XML的数据结构和HTTP的组合定义成一个标准的方法来使用Internet上各种不同操作环境中的分布式对象。在数据的传输过程中采用XML进行信息的存储, 这是由于XML是实现信息共享的基础, 也是数据移植平台的核心成分。SOAP协议采用请求与响应模式进行消息传输, 可以保证数据传输的可靠性。其原理是:数据发送方将要发送的数据封装为SOAP协议定义的消息格式, 并提出发送数据的请求, 然后通过HTTP协议访问Web Service接口发送到数据的接收方, 接收方响应数据接收的请求并返回相应的结果状态码, 不同的状态码代表不同的含义, 数据发送方可以根据接收方返回的状态码来判断数据在发送过程中的状态, 并做出相应的业务处理, 从而保证数据在传输过程中的可靠性。
2. XML的安全策略。
在数据移植过程中, 从源数据库中提取的数据并生成XML格式的数据文件, 由于XML格式的数据是完全开放的, 其内容很容易被理解, 往往造成机密档案信息的泄露。所以, 系统在数据移植的方案中必须考虑对XML文档的加密处理。数据加密技术是指将一个信息或明文经过加密钥匙及加密算法转换, 变成无意义的密文, 而接收方则将此密文经过解密算法、解密钥匙还原成明文[4]89。目前主要应用的加密技术分为对称加密技术和非对称加密技术。对称加密技术是指加密和解密使用同一个密钥。非对称加密技术又称为公钥加密技术, 密钥是由公钥和私钥组成的, 一个用来加密, 另一个用来解密。这两种加密技术具有各自的优势, 对称加密技术的加密解密速度快但安全性差, 非对称加密技术的加密解密速度慢但是安全性好。
本文基于两个异构档案管理系统在数据移植中需求, 提出以XML模板为中间桥梁, 通过Web Service技术和SOAP协议, 建立XML模板与源数据库、目标数据库的映射关系, 通过XML文档与异构数据库的通信产生标准结构化的数据来完成异构系统的移植问题。目前, 已通过实施, 利用基于XML的异构数据移植平台, 完成了两个档案管理系统的数据移植。
参考文献
[1]支丽凤.数据移植过程中的数据质量控制方法的研究[D].同济大学, 2007.
[2]熊建英.基于XML技术异构数据库之间数据迁移[J].江西蓝天学院学报, 2007, 2 (3) .
[3]李冬睿.基于webservice电子政府数据交换系统实现[J].计算机与现代化, 2009 (10) .
