IP集群存储范文（精选4篇）

IP集群存储 第1篇

路施工铺设的旧小区, 可将原有电缆进行一定的改进, 完成宽带接入。对于新小区可应用以太无源光网同LAN结合的布设方案, 可利用五类双绞线进行连接, 实现光纤到楼、到户, 完成高效、快速的有线电视网络连接应用。

3 EPON技术应用策略

有线电视网络应用EPON技术阶段中, 应确保运行服务系统之中核心层同汇聚层网络端口具备千兆级别的比特率。运行系统骨干层中的交换机设备其处理能力则应在每秒100Gb以上。同时交换机进行数据信息的处理工作效率应近似100 Mpps, 进而有效确保EPON技术体现高效的信息数据传输、接收以及无障碍处理应用信息功能, 并持续的拓宽市场应用服务业务。当前, 信息化社会发展进程中, 呈现出的数据信息流量分布、总体容量与突发性故障均无法做出准确预测的问题, 该类影响会导致有线电视网络进行信息数据传输过程中, 较易引发信息阻塞, 并导致突发出现网络对存储的技术要求, 我们称之为IP集群存储技术。

IP集群存储技术, 兼具了传统SAN的高性能和传统NAS的数据共享优势, 为新的数据应用方式提供了更加先进的结构平台, 使企业在制定和实现“安全数据存储”的策略和方案时, 有了更多的选择空间。与传统存储构架相比, 拥有诸多优势, 高吞吐量、高I/O带宽, 较强的数据安全性设计, 支持ScaleOut系统架构, 存储扩展方便, 支持标

应用的高峰拥挤状况。倘若在此时期, 有线电视服务网络无法为社会大众提供优质服务, 确保网络信息的畅通无阻传输, 便会造成较严重的负面影响, 令自身信誉受损, 并给广大用户带来麻烦。为此, 有线电视网络应用EPON技术阶段中, 应位于系统骨干层以及汇聚层的交换机设备位置装设路由, 完善QQS安全保障, 进而最大限度保持有线电视网络数据信息、节目播出的流畅、高效。同时有线电视网络系统应创建健全合理的用户身份校验认证机制, 进而全面预防非授权用户的入侵, 杜绝数据信息被损毁破坏。同时有线电视网络服务机构应创建可行性管控体制, 确保EPON技术整体运行管控的可靠安全。例如, 创建各类网络运行管控、设备仪器维护管理体制等。伴随网络信息、计算机技术的快速发展, 为跟上时代形式, 全面满足受众需求, 有线电视网络应用设备仪器应体现良好的冗余性, 并充分重视各类数据信息的服务传输、汇总接收任务, 准传输协议和私有传输协议, 既有文件级的访问方式, 也有数据块级的访问方式, 集群文件系统可以部署在网关服务器上, 也可部署在存储节点上等等。当然, 集群存储还有一个最明显的特点就是使用以太网络构建, 可以在真正意义上组建全台网络, 而不会像SAN存储网络那样形成一个又一个的存储孤岛, 也不会像传统NAS存储一样造成网络的拥塞。简单的网络架构, 更大的容量, 更高的带宽, 完全冗余的安全机制, 都是

做好动态路由设备的比选应用。应全面提升服务质量, 以人为本, 主力应对并科学解决数据信息传输过程中的延时问题, 预防信息丢失, 实现科学发展。

4 结语

总之, 基于有线电视网络工作服务重要性, 针对EPON技术综合优势特征, 我们应探究其关键技术功能, 制定科学的技术应用方案与实践策略, 方能营造畅通、安全、可靠、优质的有线电视网络服务应用环境, 满足大众丰富需求, 激发EPON技术综合效能价值, 并促进有线电视网络系统的优质、全面与持续发展。

参考文献

[1]王孝杰.农村有线电视网络改建的规划和实施[J].价值工程2010, 29 (15)

[2]陆奎, 范虎.基于EPON技术的煤矿信息网建设的研究[J].安徽理工大学学报 (自然科学版) , 2011, 31 (1) .

(河北广电信息网络集团股份有限公司汉沽管理区分公司, 天津

301501)

IP集群存储的特点。

广电视音频领域对于存储的使用更关注高速的归档迁移带宽以及稳定的视频流读写能力。高并发的I/O密集型应用并不是很多, 而且随着高清时代的到来, 视音频文件的体积越来越大, 1小时百兆码率节目的体积在45GB左右。此外, 经过多年的发展, 广电视频行业对于网络设计方面的要求也发生了变化。电视台不满足一个个的制作孤岛或者媒资孤岛, 希望能组建全台网体系, 实现不同业务子网的互联互通, 实现高效的自动化工作流。SAN存储架构在实现系统互联时, 不光要打通FC网络链路, 各自SAN网间文件系统的互访也是个棘手的问题, 特别是异构文件系统间的互访, 这种情况基本上只能通过架设数据访问网关的方式来实现不同SAN网络的数据交换。从技术架构上, IP集群存储可以避免上述复杂的系统设计。但从具体的产品特性上看, IP集群存储和视音频应用的配合还不是十分契合。目前, 在视音频应用的业务场景下, 考虑到技术的可行性和集成的性价比, 播出二级近线存储和视频收录网, 以及新闻快编制作网比较适宜集成IP集群存储。

对于播出系统的二级近线存储而言, 其承担着播出系统的节目备播存储任务。在节目播出的前三天或一周内, 播控系统的备播模块会利用ESB+EMB的互联平台, 把制作域或媒资域的节目迁移到本域的二级近线存储。此后, 播控系统的迁移工作站根据需要将二级近线存储体内的节目上传到播出服务器的硬盘内, 以便视频服务器可以实现本地安全播出。考虑到播出系统对安全生产的苛刻要求, 二级近线存储系统的设计应本着架构简单和数据安全的原则。首先, 应避免二级存储罢工导致节目上传服务器失败;同时, 应避免二级存储上的数据丢失影响节目播出;此外, 一旦二级近线存储发生局部损坏, 应具有较快的系统自愈能力, 可以在较快的时间内完成不完整数据块的重建与校验。由于近线存储仅仅是数据的迁入迁出, 和视音频的关联较弱, 故在性能上对存储的要求不是非常苛刻。IP集群存储可以很好地满足播出系统对二级存储的要求, 而且考虑到未来系统的扩展能力, 采用Scale-Out架构的集群存储可以为未来的系统扩展预留富有弹性的扩展能力。对于收录系统而言, 其在线存储区需要具有较大的存储空间, 以配合长时间的并发收录任务。目前高清收录一般采用IBP 50Mb/s或I-FRAME 100Mb/s, 如果采用百兆码率进行收录, 单进程每小时的节目存储量在45GB左右, 如果收录站点数量较多, 其节目存储量相当庞大, 故采用IP集群存储可以解决收录系统对同一命名空间的大容量需求。此外, 虽然采集应用属于实时性I/O操作, 但单机任务并发少, 一般都是单路采集或者双路采集, 故收录网整体带宽需求不高, IP集群存储可以胜任收录网的业务。对于新闻系统而言, 由于该系统业务运行注重快速、安全、高效, 节目制作环节往往仅进行简单的剪辑和配音, 便经过串联单编辑后进入最终的新闻播出环节。每台新闻快编工作站往往只需要进行1~2层的实时编辑, 故对中心存储体的实时性能要求不很苛刻。同时, 采用IP集群存储后, 新闻中心的IT系统将得到较好的简化, 单网架构易于维护, 在新闻系统出现问题时易于排查。此外, IP集群存储具有多种数据访问方式, 包括:CIFS、NFS及FTP, 位于世界各地的记者可以通过FTP协议将第一手的新闻素材快速回传到本部的中心存储体上, 提升新闻报道的时效性, 对于新闻中心来说无需再架设和维护FTP服务器, 减少系统建设成本和维护负担。此外, 对于目前的视频网站等新媒体应用也较为适宜采用IP集群存储。在视频网站或视频点播应用中, 媒体服务器负责响应客户端发来的流媒体播放需求。媒体服务器接收到请求后, 或者进行广播前, 都要读取在线盘阵上的视频文件。大量媒体服务器的同时工作会对在线存储体的并发I/O处理能力提出较高的要求, IP集群存储的多控制器设计可以满足高并发的I/O请求。一旦日后业务增加, 存储无法响应过多请求, 也可以通过扩展集群节点来增加在线存储体的I/O处理能力。同时, 由于网络视频点播或广播要求在线存储体内的素材长年在线不得删除, 故在线存储区的可用空间会越来越小, 一旦空间饱和将无法支撑全新节目存储播放, IP集群存储具有超大的命名空间可以随时进行容量方面的灵活扩展, 从容应对新媒体应用不可预知的数据增长。所以, IP集群存储最为适宜在网络视频点播及广播等新媒体应用中集成。对于传统视音频行业的非线性编辑制作应用以及大型媒体资产管理应用, IP集群存储由于其自身的技术缺陷, 故暂无法得到大面积的普及。对于非线性编辑制作应用, 由于IP集群存储的网络延迟较大, 故无法实现大规模的多机并发编辑业务。此外, 目前千兆以太链路的单通道带宽较低, 无法支撑较复杂的节目制作。故在大型非线性编辑制作网络中不适宜采用IP集群存储。对于媒体资产管理系统应用, 为了避免数据流磁带机欠载工作所带来的带机寿命下降, 建议在大型媒资系统中选择FC-SAN架构。如果要集成IP集群存储, 则最好选择带10Gb接口的IP集群存储, 同时迁移服务器配备和存储端口相同10Gb标准的万兆以太网卡, 提升迁移服务器的迁移性能, 确保磁带机可以满负荷运转。

IP集群存储技术作为新兴的先进技术, 除了具有网络架构简单, 扩展灵活和安全可靠的优势外, 同时也面临着网络延时较大, 负载均衡算法有待优化等问题。因此, 在考虑选择新型集群存储之前, 需要分析特定广电业务系统的特点, 以此来确定该业务系统是否适宜集成IP集群存储。随着以太网技术的蓬勃发展, 相信IP集群存储一定会不断改善自身的缺陷, 在日后成为广播电视系统视音频存储方案中一个重要组成部分。

摘要：对IP集群存储技术进行了分析探讨, 针对目前广播电视媒体存储的现状, 和对未来存储发展的要求, 对其能否适用于广电系统进行了细致的总结。

关键词：IP集群存储,SAN,NAS,存储构架,近线存储,网络

参考文献

[1]郑毅, IP集群存储技术特点, 硅谷, 2011年1月

IP集群存储 第2篇

目前以太网在广电系统中广泛应用, 其具有结构简单、建设维护成本低、扩展方便、容灾能力强的优势。在广电系统拥有足够IP资源的支撑下, 大型纯以太网视频制作编辑网络、数据安全交互平台、远程新闻回传系统、自动网络收录系统将得到更大的规模应用。

但是目前电视台内部普遍存在多个局域网、多套系统, 如收录网、制作网、新闻网、媒资网、广告网、播出网等等, 形成多个孤岛, 无法充分利用、共享整个系统中的各种数据资源, 如何充分利用这些大数据, 实现全台一张网, 是节约成本, 提高工作效率的关键。

随着新媒体的快速发展, 节目频道数目的大量增加, 节目数据规模的不断扩大, 在播出节目中有相当一部分节目需要在不同的频道播出, 如广告素材、宣传片和电视剧等。这些节目素材占据播出服务器宝贵的存储空间, 由于播出服务器在线存储空间有限且扩容困难, 造成这些节目素材反复删除、重复上载, 同时也增加了节目管理的难度, 为了解决上述矛盾, 必须建立成本较低同时速度相对较快的二级近线存储。IP集群的存储使得这一目标变得更加简便易行, 能够建立安全高效的二级近线存储体系, 充分的满足硬盘播出系统的需求。

二、IP集群存储的定义

IP集群存储, 就是使用标准的TCP/IP协议, 通过以太网将各个平台的存储设备进行整合, 实现数据的快速传输、共享和存储。

三、IP集群存储的工作原理

播出系统牵涉到广电的各个部门节点, IP集群存储是由多个空间管理的存储节点所构成的。写入数据时, 数据被拆分为多个片段, 存储在所有的存储节点上, 每个存储节点基于IP的访问服务连接到以太网交换机。工作原理如图1。

四、硬盘播出系统IP集群存储的要求

1. 广泛兼容, 迁移快捷

由于硬盘播出系统每天播出大量电视节目, 为满足这些节目能快速传输、迁移的需要, IP集群存储的设计是面向通用的硬件和软件环境, 使用广电系统广泛使用的以太网络作为数据传输通道可以充分利用现有的环境, 无需做出过多的改造。不同的设备提供商的产品均采用统一的网络接口, 通过交换机连接不同的客户端和节点。采用标准TCP/IP协议的设备均可接入和使用IP集群存储。对于客户端来说, 增加节点或减少节点只是存储容量和性能发生变化, 不会影响业务的连续性。当存储机房需要升级改造时, 可以通过减少节点的方式保证不会影响正常的播出需求。

2. 更安全, 更简易

基于播出数据安全性方面的考虑, 播出系统中设置了相应的安全等级, 保证播出系统的绝对安全

1) IP集群存储系统可以同时使用多条高速数据通道, 可消除网络层的单点故障, 进一步提高系统的高可用性。在这样的情况下, 当出现存储服务器故障、网络中断、磁盘损坏时, 能够保障数据完整性和数据服务的持续运行成为必须。例如, 在运行中存储服务器由于磁盘损坏而丢失了该磁盘上的部分数据, IP集群存储系统将会立刻发现该异常并自发的启动数据恢复流程, 利用存放于其它存储服务器中该部分数据的校验数据重新生成一份以保证数据能够尽快恢复, 不影响播出的需要。

2) 由于该数据恢复是基于真实丢失的数据, 并且数据恢复是通过整个存储集群同时并发进行, 所以相对于传统的RAID技术具备更快的数据重建速度, 这也能够有效提升数据的安全性。

3) IP集群存储系统的用户可以在任何地方进行操作而不用安装任何专门的软件。用户可以通过简单培训, 即可进行操作。

五、IP集群二级近线存储的构建

播出系统的二级近线存储承担着播出系统的节目备播存储任务。在节目播出前的一周内, 播控系统的备播模块会通过迁移网把制作域或媒资域的节目迁移到本域的二级近线存储。然后技审系统会审核素材的内容、查看节目是否符合规定, 最后上载系统会将审核通过的素材上传到在线播出服务器。

在了解二级近线存储在播出的重要作用后, 可归纳出二级近线存储的需求

1. 提供二级近线存储到播出服务器的较高带宽

满足规定迁移时间内从二级近线存储到各播出服务器节目素材的迁移。

2. 存储容量较大, 支持动态扩容

按照播出码流8M计算, 存储7天的节目素材所需存储空间约为5TB, 考虑到以后必然增减频道及高清素材的不断增多, 必然要求二级近线存储能够方便、快速、安全扩容。

3. 存储素材能够实现完全共享

4. 能够与其他网络实现互联互通, 比如媒资系统。

5. 较强的数据自我恢复能力

一旦发生数据丢失情况, 能够利用在较短的时间内完成不完整数据块的重建和校验。

IP集群存储 第3篇

博科委托Market Connections所做的IP存储调查采访了全美57 个联邦政府机构的200 位IT决策者。其它关键调查结果还包括:

美国政府机构45%的总存储容量是IP存储, 78%的受访者预计该容量未来一年至少增长10%。不断增加的服务器虚拟化、非结构化数据和融合系统部署是存储增长的最大驱动因素。

提高安全性 (57%) 、降低成本 (35%) 和改进应用性能 (35%) 是专用IP存储网络的三大优势。

44%的关键任务负载和超过三分之一的核心业务负载使用共享IP存储网络。

博科负责联邦政府机构事务的副总裁Anthony Robbins表示:“关键任务和核心业务负载使用共享存储网络会影响美国联邦政府机构的效率。光纤通道是核心业务负载最值得信赖、最广泛采用的存储网络基础架构。但是对于关键业务负载, 专用IP存储网络是确保安全、减轻数据丢失以及提供更好地应用性能所必需的。”

大数据、物联网和移动等第三平台技术为共享存储网络施加了额外压力, 威胁到了政府机构是否具备迅速地访问关键业务信息的能力。凭借专用IP存储网络, 政府机构可通过确保高优先级负载拥有一个直接路径而降低任务失败的风险, 并提供更高的性能、可靠性和安全性。

调查方法

IP集群存储 第4篇

在网络环境日益复杂化的今天,数字图书馆在采用新技术高效利用大规模信息仓储方面提供了典范。数字图书馆拥有数字化资源、网络化存取、分布式管理三个基本要素。存储基础设施是数字图书馆的重要组成部分,而存储技术和存储设备是构造存储基础设施的重要组成部分。数字图书馆存储系统的特点是:实现了与网络及各种通讯系统的完美联结,存储具有数据安全性、响应速度及扩充性,并满足了数据的可访问性需求。

1 存储需求原则

(1)建成的系统应是模块化、开放式的系统

模块化的系统结构方便用户的升级管理,开放式的系统有利于和其它系统的互联实现资源的有效共享。

(2)采用标准化的技术和产品

在方案设计中,所有硬件、软件和网络产品必须坚持标准化原则,遵从国际化组织所制定的各种国际标准及各种工业标准,从而使系统实现具有如下特点:

①可移植性:系统中所开发的各种应用软件具有良好的可移植性;

②可扩展性:主机、存储设备、网络、数据库和应用系统均要有良好的扩展能力;

③互联性:构建网络灵活,支持各种网络结构以及多种通信媒体(光纤、UTP线、PSTN、DDN等),实现跨平台、跨应用的各种设备和网络的互联。

(3)建成的系统是容易管理和稳定可靠的系统

任何一个网络的建设都需要考虑到方便用户的管理,另外所建成的网络系统应该是一个稳定性好、可靠性高的系统。

2 数字图书馆系统中的存储技术

根据其出现时间的先后,大致可将数据存储技术的发展分为4个阶段:直接附属存储(DAS)、网络附属存储(NAS)、存储区域网(SAN)、IP真存储(IPS)。

2.1 DAS

20世纪90年代以前.存储产品大多作为服务器的附属设备,通过电缆直接连接到各种服务器,这种形式即是DAS。DAS完全以服务器为中心,不带有任何存储操作系统。DAS方式是长期以来大多数服务器采取的方式。主机通过专用接口与存储设备相连接,透过RAID技术将这些单个硬盘,按RAD LEVEL组合成更大的硬盘。当主机需要访问存储设备时,主机发出指令给存储设备,存储设备根据指令进行相应操作,将数据返回给主机,或者将主机传输过来的数据写入到磁盘。DAS中存储设备可以是磁盘驱动器,也可以是RAID子系统,或是其它存储设备。

DAS技术的数据安全性差,难以备份/恢复;性能一般,可扩充性差.容量有限;数据被存放在多台不同的服务器上.难于访问,不支持不同操作系统访问。DAS技术成本低廉,易于安装,但需停止用户现有系统,且难以维护,存储利用率低。

2.2 NAS

20世纪90年代出现了NAS技术,NAS包括存储部件和集成在一起的简易服务器管理软件。NAS是一种将分布、独立的数据整合为大型、集中化管理的数据中心。NAS通常在一个LAN上占有自己的节点。在这种配置中,一台NAS服务器处理网络上的所有数据,将负载从应用或企业服务器上卸载下来。集成在NAS设备中的定制服务器系统可以将有关存储的功能与应用服务器执行的其它功能分隔开。NAS设备的物理位置灵活,通过物理链路与网络连接。NAS无需应用服务器的干预,允许用户在网络上存取数据。

其特点是:易于备份/恢复;性能高,可扩充性强,即插即用,容量无极限;数据被整合并存放在相同的存储器上,易于访问,支持不同操作系统访问。NAS技术成本低廉,易于安装和维护,存储利用率较高。

2.3 SAN

SAN是允许在存储设备和处理器(服务器)之间建立直接的高速网络连接,通过这种连接实现只受光纤线路长度限制的集中式存储。SAN可以被看作是存储总路线概念的一个扩展,它使用局域网和广域网中类似的单元,实现存储设备和服务器之间的互联。SAN具有高传输速度、远传输距离和支持数量众多的设备等优点。采用了专用的拓朴结构,不能直接使用通用的IP网络连接各个SAN存储网络。目前,多数供应商的SAN解决方案大多采用光纤通道技术,即FCSAN。

SAN技术的特点是:易于备份/恢复;性能极高,可扩充性强,即插即用,容量无极限;数据被整合并存放在相同或不同的存储器上,提供统一的用户访问视图,易于访问,但不支持不同操作系统访问。SAN技术成本昂贵,需要长时间的设计和安装,且难以维护,存储利用率很高。

2.4 IP存储

IP存储技术就是以高速以太网连接为基础,通过IP协议进行数据交换的存储技术,它将SCSI协议映射到TCP/IP协议上,使得SCSI的命令、数据和状态可以在传统的IP网上传输,其支持数据块形式的I/0访问和共享存储。它采用iFCP和iSCSI协议,由于光纤通道已经包含了SCSI协议,这种方法无需重大技术改造,就能满足SCSI协议的要求。

IP技术的特点是:易于备份/恢复;性能高,可扩充性强,即插即用,容量无极限;数据被整合并存放在相同或不同的存储器上,提供统一的用户访问视图,易于访问,支持不同操作系统访问。IP技术成本低廉,易于安装和维护,存储利用率最高。

3 基于IP的高校数字图书馆网络存储建设

在网络存储中,FCSAN在某些方面具有无可比拟的优势,如性能极高,可扩充性强等,使其能够满足数字图书馆大规模数据存储的需要。但光纤通道存在着成本昂贵和互操作性问题,这是一般高校图书馆所不能承受的。而NAS技术虽然成本低廉,但却受到带宽消耗的限制,无法完成大容量存储的应用,而且系统难以满足开放性的要求。针对以上技术的缺陷和不足,根据国际上基于IP的存储设备已逐步上市和日渐成熟的情况,提出了一种既有ANS和SAN技术的优点,又能克服两者缺点的存储网方案,即基于IP的SAN。它由两部分构成,第一部分是利用IP互连设备构成存储区域网SAN,第二部分是通过SAN中的交换机多路接入LAN回路,形成一种广义的附网存储NAS,存储设备都是商用的NAS设备以及iSCSI设备,或通过转换桥将SCSI和FC设备转换为IP接口,接入基于IP协议SAN中。它采用最广泛的TCP/IP作为网络协议,既具有NAS易于访问的特点,又有专用的存储网络架构。因此,基于IP的存储网络可以利用以太网技术和设备来构建专用的存储网络,由于使用了以太网设备,其成本大大低于使用光纤交换机的SAN网络,而且保持了SAN的传输速率高且稳定的优点。用户在这一技术中,面对的是非常熟悉的技术内容,即IP协议和以太网,而且各种IP通用设备保证了用户可以具有非常广泛的选择空间。事实上,由于IP存储技术的设计目标,就是充分利用现有设备,使传统的SCSI存储设备和光纤存储设备都可以在IPSAN中利用起来。随着带有IP标准接口的存储设备的出现,我们可以单纯使用本地IP存储技术,来扩展已有的存储网络,或构建新的存储网络。以千兆甚至万兆以太网为骨干的网络连接,保证了本地IP存储网络。由于采用的是IP协议,与LAN和Intemet的连接是无缝的,远程备份十分方便,效率工作很高。基于IP的SAN在性能及功能上都具有突出的优势,是目前高校数字图书馆建设中存储区域方案的首选设计。

4 结束语

充分考虑了未来的扩展,存储主机与存储设备间采用了光纤连接,对于目前应用来说,直接在前端服务器上配置一块光纤通道适配卡就可以与存储相连。但考虑到未来应用系统的发展,以后可以灵活地加入服务器,扩展为SAN存储区域网,提高存储效率。

参考文献

[1]郭建峰．数字图书馆信息存储系统架构的探析[J]．现代情报，2005，(6)．

[2]李培．数字图书馆馆原理与应用[M]．北京：高教出版社，2004．

[3]李村合．谈网络环境下的信息存储技术[J]．情报学报，2002，(1)．

[2]张伟．网络存储技术的发展现状与应用[J]．福建电脑，2003，(1)．

[3]Phillips B.Have Storage Area Networks Come Of Age [J].Computer,1998,31 (7):10--12.