监控和数据采集（精选12篇）
监控和数据采集 第1篇
1999年10月, 美国某联邦调查机构发出警告, 认为“世界上任何一个地方的一个人, 只需要一部电脑, 一个调制解调器和一根电话线, 就有可能造成一个大面积区域的电力故障”。这些消息在业内掀起了轩然大波, 导致了业内人士对供电企业最核心的运行系统 (通常指SCADA系统) 安全状况的广泛关注。
本文探讨SCADA网络在网络攻击下所表现出来的安全风险, 企业SCADA系统网络最普遍的薄弱环节所在, 以及一些可以降低风险的补救策略。
1 有关SCADA系统安全性的概念
1.1 典型的概念误区
在SCADA系统安全性问题上, 管理人员的一些错误观念阻碍了信息安全技术在SCADA系统中的广泛应用。以下为三个比较典型的概念误区。
1) 误区之一, 认为SCADA系统是一个孤立的, 物理隔离的系统。管理员的日常操作会建立在一个假设上:这些系统既不能通过企业网络访问, 也不能从外部远程进行访问。然而这恰恰是一个最普遍的谬误。
在现实中, SCADA网络的企业信息网络经常是通过网桥相连的。这是因为两个原因:
(1) 由于企业信息管理的需求, SCADA系统工程师常常需要在企业内部信息网的不同地点对SCADA系统进行监视和控制, 由此许多公司对SCADA系统建立了远程访问连接。
(2) 为了使企业决策者能够快速地访问电力系统重要状态数据 (例如实时负荷, 母线电压等) , 企业信息部门常会在SCADA网络和企业信息网络之间增加一些数据的连接。管理员常常疏于对相应安全风险的全面认识。而对于一些针对SCADA系统进行的非法入侵和访问, 企业的信息网络所采取的安全防御机制几乎没有作用。
2) 误区之二, 认为强有力的访问控制可以保护SCADA系统和企业内部网之间的连接。许多企业网络和SCADA系统之间进行互联时, 常常需要集成不同的系统和不同的通信标准, 这样的结果是需要在两个完全不同的系统之间传送数据。由于集成两个迥然不同的系统是非常复杂的, 网络工程师常常将绝大部分精力放在数据的成功传送上, 常常忽视甚至省略了建设安全风险防御机制这一部分的工作量。
尽管使用内部防火墙和入侵检测系统 (IDS) 以及严格的口令管理办法可以起到很大的防范作用, 但是很少有企业能够完全保护所有通向SCADA系统的访问入口。这样就给无授权的非法访问留下了空子。
3) 误区之三, 认为进入SCADA系统需要专业知识, 一般网络黑客缺乏对系统设计和实施相关信息的了解。由于供电企业在国家基础设施中是一个关键的组成部分, 因此有可能被有组织的“网络恐怖分子”攻击。他们常常是资金充足, 具有丰富的专业知识, 会使用各种可能的手段来得到有关SCADA系统及其脆弱之处的详细信息, 以实现供电运行故障的目标。
1.2 SCADA系统的开放性带来的风险
由于SCADA系统正逐渐成为一个开放的系统, 这是一个越来越大的风险。SCADA系统和远方控制终端 (RTU) 之间的通信标准和协议等一系列重要技术标准, 在出版的技术手册中毫不费力地可找到。SCADA系统的生产厂家常常出版其产品的设计和维护手册, 发售工具软件包, 这一切都使SCADA系统日益成为一个“透明运作”的系统, 使其脆弱点暴露无遗。
1.3 SCADA系统安全性依赖于企业网络造成隐患
由于供电企业常希望整个公司能够充分利用SCADA系统提供的数据和信息, 由此造成SCADA系统倾向于向“开放式的标准系统”发展。这导致了SCADA系统的安全性依赖于企业网络的安全性。一旦攻击者成功穿透到SCADA系统操作员的工作站上, 并且通过“偷窥”迅速学会操作命令, 则他就可以易如反掌地对一个复杂系统发起攻击。
2 影响SCADA网络安全的一些普遍问题
如前所述, SCADA系统的安全等级受制于企业网络的安全等级。而来自电力市场化的压力, 使得电力企业网络往往要具有向社会开放的访问入口, 这样企业网的安全风险迅速增加。
1) 过多的公共信息。
很多有关供电企业内部信息网的资料可以轻易地通过日常公共查询而获得。这些信息有可能被用于对网络的恶意攻击。这些脆弱之处举例如下:
(1) 公共网页上常常为网络入侵者提供了一些有用的数据, 例如公司结构, 员工姓名, 电子邮件地址, 甚至是企业信息网的系统名。
(2) 域名服务器 (DNS) 允许“区域传送”功能 (zone transfers) 并提供IP地址, 服务器名称以及电子邮件地址。
2) 不安全的网络架构。
网络架构的设计是相当关键的一环, 而其中最重要的是对互联网, 企业信息网和SCADA网进行适当的分段隔离。网络架构设计欠妥会致使来自互联网的入侵风险增加, 从而最终危害SCADA网络。下面是一些常见的网架设计缺陷所在:
(1) 作为企业网功能的一部分, 在配置FTP (文件传输协议) , 企业网页和电子邮件服务器时, 常常不经意地提供了访问企业内部网的入口。这是不必要的。
(2) 企业内部网与一些商业联系伙伴 (如银行, ISP等机构) 之间的数据连接没有采用防火墙, 入侵检测系统 (IDS) 以及虚拟网 (VPN) 等等机制进行防御。
(3) 企业信息网提供了一些不必要的MODEM拨号接入, 这是很不安全的, 而且这些MODEM拨号访问常常是作为远程维护功能而设, 并没有严格按照一般拨号接入的规定进行管理, 留下毫无防范的入口。
(4) 防火墙和其他网络访问控制机制没有在内部网段之间发挥作用, 使得在不同的网络分段之间没有完全隔离。
(5) SCADA服务器的操作系统如Windows NT, 2000或XP等存在已知的安全漏洞而没有打上最新的补丁程序, 缺省的NT帐号和管理员帐号没有删除或改名。即使是运行于UNIX或LINUX平台上也存在同样的问题。
3) 缺乏实时有效的监控。造成缺乏实时有效监控的主要有以下原因:
(1) 由于来自网络安全防御设备的数据量极大, 使得要区分出哪些是有关于供电企业信息安全防御的几乎是不可能的, 这造成要对供电企业网络进行有效的实时监控非常困难。
(2) 即使企业网络安装了入侵检测系统, 网络安全保安也只能识别以个别方式进行的攻击, 而对有组织的, 形式随时间变化的攻击则无能为力, 这也造成了防御的困难。
3 加强SCADA系统安全性的战术
目前来说, 对供电企业最有效的信息安全策略是, 定期例行的信息安全评估加上不间断的安全体系升级, 并且对整个系统进行实时监视。以下重点提出了一些主要步骤, 可以将安全漏洞的数量和影响减小到尽可能低。
1) 进行定期的危险点分析和评估。
应尽快开展在定期的基础上对SCADA系统和EMS系统 (能量管理系统) 的危险点进行分析评估。还应将其他如企业内部信息网 (MIS) , web服务器, 以及用户信息管理系统纳入危险点评估范畴, 寻找可能尚未发现的安全漏洞。另外, 公共网与外部网的连接, 以及防火墙的配置等也需引起重视。
2) 在专家的指导下进行信息安全保护体系的设计。
如选择了不适当的网络产品, 或者是网络配置使用不当, 都有可能严重阻碍安全体系的效率。因此, 企业应该与信息安全专业人员密切配合, 确保在建设网络的同时保证其安全性。
3) 加强安全管理。
企业在其信息网络内布设了网络安全系统之后, 对于网络安全设备的正确管理和监视就变得非常复杂和重要。国内的企业可以与网络安全公司进行合作, 或者在公司内设立网络安全专职工程师岗位, 专门进行网络安全监视和事故预防。这样可以以相对较低的成本得到完善的安全管理和实施实时监控, 同时, 也提升了已有信息安全机制的性能和作用, 实现了安全系统的增值。
4 安徽省凤阳供电公司SCADA系统的安全策略
针对公司DF8900 SCADA系统目前有6个服务器, 70个工作站的网络状况, 使用kaspersky网络版系统解决方案, 系统结构图如图1所示。
公司建立了防病毒集中管理控制系统。设立管理工作站, 为公司内外网络管理平台上安装Administration Kit, 负责集中管理所属网络中所有的防毒软件。使用产品:Kaspersky的Administration Kit;系统最低需求:支持TCP/IP协议的本地网络;MS Windows 95/98/Me/NT/2000/XP操作系统。
文件服务器防病毒是采取在所有Windows NT服务器上, 安装Kaspersky Anti-Virus for NT Server。满足实时检测并清除文件服务器中病毒的需求。
对客户机防病毒可满足对企业内的联网客户端/工作站进行防毒控制;可自动更新所有客户端上的防毒软件, 使防毒工作完全自动化。
公司自采取了这些SCADA系统的安全策略, 公司DF8900 SCADA系统运行到现在一切正常, 安全无恙。
5 结语
供电企业应该立刻与信息安全专家联手, 对当前应用的SCADA系统安全性进行全面的分析, 评估系统当前的安全性等级, 并且制订措施来降低风险。企业信息安全并不仅仅停留在内部信息网的层面, 我们应将信息产业领域的安全政策和规程引入到SCADA和工业自动化领域中来, 将SCADA系统和企业信息网作为一个整体进行风险分析, 并制订整体的、有效的防范措施。
摘要：在电力系统中广泛应用的安全监控和数据采集 (SCADA) 系统的安全性直接关系到电网的安全。分析了SCAD系统与企业内部网、internet以及远方访问等进行互联后所表现出来的安全脆弱性, 结合安徽省凤阳供电公司的DF8900 SCADA系统反病毒方案经验提出了一些降低风险的实用性的对策。
监控和数据采集 第2篇
监控ONLINE系统后动情况的工具主要有以下三类： 系统监控接口（SMI）、tbstat和tbcheck。
一、系统监控接口（SMI）
我们主要通过SQL命令操作online的内部数据库sysmaster中的内部表/结构，来获取有关的维护信息。Sysmaster是在online初次初始化时，系统自动创建的。它实际主要存储了一些数据结构，而不是真正的表。使用SMI有如下限制：
不能对SMI中的表加锁或使用隔离级别。
不允许使用insert，delete，update等语句（只读）
不能使用dbschema，dbexport等命令
使用select rowid语句将会产生不可预料的结果
主要的SMI表有：
sysdatabases：online中的数据库信息
systabnames：某数据库中所有表的信息
syslogs：逻辑日志信息
sysdbspaces：数据库信息
syschunks，syslocks等
例1：显示处于脱机（offline）状态的chunk的序号和所在数据库空间
Select chknum，dbsnum from syschunks where is_offline=1 or misline=!
例二：显示满chunk的信息
Select chknum，dbsnum from syschunks where nfree=0
二、TBSTAT
列出当前时刻的信息（实际也是读取SMI表）
不需要磁盘I/O
不需要锁等系统资源，因此不会影响系统性能
用法： tbstat [-abcdklmpstuzBDFPRX] [-r seconds] [-o file] [infile]
-a print all info (options: bcdklmpstu)
-b print buffers（缓冲区）
-c print configuration file（配置文件）
-d print dbspaces and chunks（dbspace和chunk）
-k print locks（锁）
-l print logging（日志）
-m print message log（消息日志）
-p print profile（profile文件）
-s print latches（门闸）
-t print tblspaces（表空间）
-u print users（用户）
-z zero profile counts
-B print all buffers
-D print dbspaces and detailed chunk stats
-F print page flushers（页刷新进程）
-P print profile, including BIGreads
-R printLRU queues（LRU队列）
-X print entire list of sharers and waiters for buffers
-r repeat options every n seconds (default: 5)
-o put shared memory into specified file (default: tbstat.out)
infile use infile to obtain shared memory information
三、几个常用的tbstat选项
tbstat -m ：显示消息日志的最后20行. 消息日志的内容包括：
1）、检查点信息
2）、读写错误信息
3）、ONLINE模式转换信息
4）、长事务
5）、日志文件满(LOG FILE FULL )
若想显示完整信息,可直接编译消息日志文件.
Tbstat -d：磁盘空间的使用情况，包括DBSPACE和CHUNK的信息
例：RSAM Version 5.03.UC1 -- On-Line -- Up 09:45:41 -- 816 Kbytes
Dbspaces
address number flagsfchunk nchunks flags ownername
8040a244 1111 N informix rootdbs
1 active, 8 total
Chunks
address chk/dbs offset size free bpages flags pathname
80409d84 1 1 0 300000 231871PO- /dev/rdata
1 active, 8 total
其中的FREE项，显示了该CHUNK的空闲空间大小(Kbytes).
Tbstat -l ：日志文件情况
Physical Logging
Buffer bufused bufsize numpages numwrits pages/io
P-2 016 000.00
phybegin physize phypos phyused %used
101782 15000960 00.00
Logical Logging
Buffer bufused bufsize numrecs numpages numwrits recs/pages pages/io
L-2 016 1111.01.0
address number flagsuniqid beginsize used%used
8042de94 1U---C-L 110521a 7500 630 8.40
8042deb0 2F------ 0106f66 75000 0.00
8042declearcase/“ target=”_blank" >cc3F------ 0108cb2 75000 0.00
8042dee8 4F------ 010a9fe 75000 0.00
8042df04 5F------ 010c74a 75000 0.00
8042df20 6F------ 010e496 75000 0.00
其中：%USED： 使用百分比
FLAGS字段的含义:
F: 空闲 B:已备份 C: 正在接收事物记录
U: 正在使用 A: 新增日志 L: 包含最后一个检查点
Tbstat - u：ONLINE的用户情况
Users
address flags pid user tty waittout locks nreads nwrites
804019f4 ------D 329 root console 0 00 179 2
80401a64 ------D 0 root console 0 00 00
80401ad4 ------F 330 root 0 00 00
3 active, 20 total
Transactions
address flags user locks log begin isolation retrys coordinator
804022b4 A---- 804019f4 0 0 NOTRANS 0
804028d8 A---- 80401a64 0 0 NOTRANS 0
2 active, 20 total
其中：flages字段的含义:
第一列：（S：等待mutex；Y：等待条件；L：等待锁；B：等待缓冲区；
C：等待检查点；X：长事务清理；G：等待长缓冲写；T：等待事务）
第二列：（*：事务执行时，发生I/O错误）
第三列：（A：正在备份；B：操作已被记录在日志中；P：分布处理已准备好；
C：正在提交；R：正在回滚）
第四列：（P：会话的主线索）
第五列：（R：在read rsam 调用中；X：进程在关键分区）
第七列：（M：特殊监控；D：特殊线索；C：清理线索；F：特殊清页进程；
B：特殊B+树清页线索）
Tbstat -k ：用户持有锁的情况
锁按照粒度分为6种: 库锁、表锁、页锁、行锁、字节锁、键锁
字节锁：更新包含有VARCHAR类型的行时，加在该行上的锁，
键锁：用于索引树上的锁。一般在相应字节上加删除标志。
这几种锁的识别如下：
TYPETBLSNUM ROWID SIZE
库锁 HDR+X 1000002 205 0
表锁 100000e 00
页锁 100 0
行锁 101
字节锁HDR+B 909
键锁 很大的16进制数
锁的生命期：1、不使用事务时，操作完成即会释放对应的锁；
共2页: 1 [2] 下一页
监控和数据采集 第3篇
关键词：电力运营 数据处理 资源整合
中图分类号： TP311 文献标识码：A 文章编号1672-3791（2016）07（b）-0000-00
通过对电力系统动态性和实时性监测可以掌握大量的实时数据，它是电力系统动态运行的具体体现，但这也严重制约了电力系统的长期发展。现代电力运营监测员应充分利用电力运营监测平台，提升系统数据利用率，建立以供电部门基础数据处理，做好各项数据的衔接、处理，协同各部门协同问题，促进国家电网数据系统的高效运转。
1大数据时代相关内容概述
1.1大数据时代整体发展形势
从我国互联网技术的快速发展，各行业企业在大数据时代中均积累了大量的经营数据，它决定了企业的长期健康发展。为了更好的完成我国电力企业在大数据时代下的发展任务，本文笔者主要从以下四方面进行了大数据时代发展形势加以概括，进一步实现对电力企业数据共享，实现多种资源的优化整合：
一，促进电力各部门数据的优化整合与共享，提升企业各种资源的整体利用率；二，加快电力数据资源开放力度，扩大资源利用面；三，进行大数据基础设施的统筹规划，提升数据资源利用的合理性；四，构建科学的宏观调控数据体系，进一步实现电力运营监控的宏观调控。
1.2充分发挥大数据平台业务优势，进行管理短板定位
综合考量电力运营业务流程绩效指标，对业务流程整体执行效率进行综合评价；进行执行效率较低业务流程环节的准确定位，全面分析业务流程设计的科学性与合理性，并提出综合性流程改进建议；我们应当在整体业务流程绩效指标和详细数据的基础上，作出有关于业务流程制度、岗位绩效、职责及标准的整体改进意见和建议；提升各部门、不同业务之间的协同性，进行管理短板的准确定位。
1.3加强数据资源安全保障
数据资源的有效利用离不开数据体系的健全和完善，它是加强大数据环境网络技术研究和安全的关键，只有构建大数据时代下的电力运营监测安全评估体系，才能够使企业在大数据安全基础上，提升电力运营监测和预警工作质量，提升电力企业服务水平。
2做好大数据时代电力运营监测系统数据处理
2.1监测数据类型
电力运营监测数据类型主要分为基础型数据、电力企业运营数据以及电力企业管理数据几种，基础型数据是以电力企业生产数据为主，它包含了电压稳定性、发电量、电能质量等，业务部门和业务系统要确保基础数据的完整性和准确性；电力企业运营数据指的是电力企业在生产过程中所产生的数据，通过对上述数据进行分析、处理，它能够为公司整体运营决策指明方向。电力企业管理数据仅限于特定环境下的共享和使用，它主要指协同办公、ERP及一体化平台等方面数据，做好该方面数据分析、处理有利于推进各部门工作的开展。
2.2监测移动数据处理
针对运营监测信息支撑系统来讲，异动产生、处理、统计是异动管理的主要内容，异动类型又可分为数据质量异动、接口异动和数据质量异动三种，业务异动就是通过业务数据分析出生产运营情况，业务异动又可详细划分为指标异动、流程异动和明细数据异动；而数据质量异动就是要分析出接入数据的准确性、完整性和及时性，并作出相关异动数据信息分析、处理。接口异动就是因接口问题产生的异动情况。
3.大数据时代下电力运营监控数据应用
3.1电力生产环节中大数据的具体应用
由于电力系统管理项目众多，想要单纯依靠人力来完成数据的分析和整体难度极大，只有充分利用现代化信息技术手段和多种业务模型才能够不断提升输电线路可靠性和在线计算输送功率，更好的完成电力生产相关技术指标，促进电压质量管理工作的发展。常态化低电压监测有利于实现用户和低电压电台之间的协同合作，实现对低电压运行情况的跟踪治理。因此，电力系统相关部门应在大数据环境下，按期做好停复电监测和电压质量分析报告。
3.2大数据在电力系统营销中的具体应用
远程视频技术应用能够帮助电力运营工作人员进行相关业务的巡查，是运营监测中心针对高压电力作业实施的重要举措。通过远程视频技术的帮助能够极大的缩短营业窗口情况的巡视，进一步提升电力营业窗口整体服务质量，降低用户投诉率，提升电力用户的满意度。积极开展工业电量预测，更好的满足用电需求管理，促进用电系统稽查监控业务，更好的挖掘线损治理工作成效挖掘及典型案例提炼。
3.3大数据在电力检修中的具体应用
电力系统运营中心通过大数据运营监控平台的利用，充分实现了对电网设备运维、资产寿命周期以及资金收支等情况，并将其上报于上级在线监测分析系统中，保证电网系统的正常稳定运行，进一步完成电网设备运维绩效分析。我们应当综合利用大数据时代数据挖掘手段，做好电网生产运营过程中的操作票、工作票及缺陷记录等相关明细的分析和静态数据流程匹配工作，做好配电网络设备的日常巡视、检修处理等工作，促进各部门之间的协同，提升电网运维管理工作发展，尽早发现电网运营过程中存在的不足，全面掌握巡视、检修、缺陷发现等流程绩效分析，做好各环节定量诊断调度和检修，进一步实现电网系统的纵向贯通和横向协同，不断提升我国电网运维管理水平。据相关数据统计，我国大数据时代下电力运营监控线路消缺原因、消缺时长如下图1所示：
4结束语
经上述分析，我们可以了解到数据信息维护、处理对于电力自动化系统运用意义重大，只有充分利用大数据时代所带来的数据分析、处理、应用方面的优势，做好不同数据类型的准备工作，进行电力自动化系统数据准确性、快速性整合，采用科学合理的策略指导，促进大数据时代电力系统数据的长期可持续发展。
参考文献
[1]崔希广；高速公路电力自动化系统信息平台的研究与应用[J]；科协论坛（下半月）；2012年10期
[2]李东；电力自动化系统中心站无人值班模式技术分析[J]；河南科技；2013年20期
监控和数据采集 第4篇
关键词：OPC技术,SQL数据库,iFIX监控软件,VBA编程,EXCEL报表
随着软件技术的发展,OPC标准的制定和SQL语言的应用,现在数据的交互性越来越强,历史数据的采集和储存也变得越来越方便。我们以一个试验台电气控制系统的监控软件作为应用实例,对其进行介绍和说明。
1 实例背景介绍
减速机加载试验台电气控制系统由动力驱动系统、加载控制系统、测控系统和监控系统等组成。
减速机加载试验台动力和加载控制系统均采用变频器直接驱动变频电机。共有5台变频电机,根据试验需要进行组合1台变频电机做电动运行,做为减速机的动力;另一台变频电机做发电运行,用做减速机的加载力矩。该试验台可以同时进行两组试验。变频器采用ABB公司的ACS800系列多传动模块,整流器选用由IGBT组成的具有能量回馈功能的ISU整流器,采用直流公共母线运行方式,驱动部分和加载部分组成电功率闭环,加载电机将产生的电能回馈到直流母线乃至电网,达到较好节能效果,实现能量循环。
测控系统和监控系统采用ABB公司的AC800M系列PLC和上位机i-FIX监控软件完成。监控计算机具有整个试验台控制系统的监控功能、故障诊断功能。 监控系统与PLC采用符合国际标准IEEE802.3, 传输速率10 Mb/s的工业以太网连接,PLC和传动装置、远程终端之间采用Modulebus协议通过光纤连接,减少了现场布线,增加了控制的灵活性和可靠性。系统结构见图1。
对于测试数据的采集和处理技术协议中要求如下。
试验中采集的数据包括:转矩、转速、环境温度、油池温度、噪声。
空载试验、效率试验、温升试验至少每15 min;超载试验至少每5 min采集一次的数据:输入输出转矩、转速、功率值、润滑油温、环境温度,必要时记录轴承部位及机壳温度,转矩、转速、功率值每次采集的数据不少于3组,同时记下采集数据的时间。
试验提供的曲线如下:
1)以温度(T)为纵坐标,时间(t)为横坐标,描绘油池温升与时间的关系曲线图;
2)以功率(P)为纵坐标,时间(t)为横坐标,描绘功率与时间的关系曲线图;
3)以机械效率(η)为纵坐标,时间(t)为横坐标,描绘额定负荷的温升与效率的关系曲线图。
2 基于OPC的数据交换
测控及监控系统直接面向试验过程,完成逻辑连锁控制、试验数据的采集、数据存储、整个试验过程的顺序控制和连续调节控制,操作人员通过人机接口可进行人机对话,修改过程参量和改变设备的运行状态,监视整个试验过程。要想实现以上这一切,以太网连接成功后还必须通过OPC服务器的设定进行PLC和监控软件IFIX的数据交换。
2.1OPC标准
OPC是以OLE/COM机制作为应用程序的通信标准。OLE/COM是一种客户/服务器模式,具有语言无关性、代码重用性、易于集成性等优点。OPC规范了接口函数,不管现场设备以何种形式存在,客户都以统一的方式去访问,从而保证软件对客户的透明性,使得用户完全从低层的开发中脱离出来。
2.2ABB AC800M/iFIX解决方案
ABB AC800M控制系统提供完善的OPC通信方案,跟iFIX,Intouch,Citect等自动化监控组态软件都可以组成很好的控制系统。ABB提供标准2.0版本的OPC DA 和AE服务器,供各种OPC客户端访问。DA服务器从AC800M/C的PLC 中采集数据,供 OPC Client访问。AE服务器是提供报警和事件的OPC服务器。
iFIX OPC 的解决方案有3种:1)iFIX PDB OPC CLIENT ,软件为OPC POWER TOOL,既作为OPC客户端连接第3方OPC服务器,又作为第3方OPC客户端连接PDB的中间OPC服务器;2)iFIX Workspace OPC Client 是一个OPC客户端连接程序,iFIX Client 节点的数据可通过此程序直接从OPC服务器读取;3)iFIX PDB OPC SERVER,将iFIX 的过程数据库作为OPC 服务器供本地OPC客户端连接使用。
在图2的ABB AC800M/iFIX解决方案中,ABB提供OPC服务器,iFIX作为OPC的客户端。
在此实例中AC800M PLC作为上位监控微机的接口,主要完成对试验部分数据的采集、整个试验台电气系统顺序逻辑控制、故障信号处理以及和变频器通信。工控机和监控软件对整个电气系统各监控状态画面进行显示,并实时显示给定转速、转速实际值、温度和转矩变化曲线,并实现动力输出、加载、数据采集的操作控制。
2.3AC800M/iFIX解决方案的实现
在上位机上运行ABB OPC Server软件,在Data Access中输入PLC的IP 地址。保存配置文件为:Auto.cfg,设置自动加载配置功能。
而iFIX OPC客户端有两种方式实现:第1种方式,可以把变量存储在数据库里,通过调用形成报表、趋势图等;第2种方式,利用iFIX WORKSPACE OPC CLIENT 直接从OPC服务器读取数据,仅是实时数据。
要想对历史数据形成报表就必须采用第1种方式。通过iFIX OPC POWER TOOL设定参数,定义Server;Group;ITEM建立变量等一系列操作才可以实现数据交换。
2.4 变量的历史定义
iFIX全面支持ODBC API接口,可直接把实时数据写入一个或多个关系数据库。另外,iFIX可读取、删除关系数据库的数据,并可从关系数据库写回到iFIX实时数据库中。iFIX提供SQL Server 2000集成安装方式,可以方便、快速地访问SQL Server 2000,减少系统开发时间。
在此实例中,首先对画面进行历史定义,这样才能实现数据的纪录和导出。参考图3我们可以进行设定。数据的存储时间最长为180 d。此实例的采样周期为1 min,30 s,20 s,数据量不是很大,可以选用24 h文件。同时设定不同的采集组,根据变量的不同特性定义不同的采样周期。例如温度变量变化速度慢,根据数据要求设定1 min就可以了。通过调整相位,还能有效地减少连续占用系统的时间。对于暂时不能监控的点我们还可以不激活。在图3中可以清楚地看到这些应用。
3 基于VBA 的画面编程
基础条件已经具备,要想达到技术要求的监控功能就必须在画面上下工夫。创建一个报表画面,见图4,它包括一个系统中两个减速机加载试验台的报表功能。实现试验数据记录和历史数据导出。
在画面的上部可以看到试验的基本信息,通过相应的输入把基本信息写入内部变量,这样在形成报表时就可以直接写入表格了。画面中部是用于时间段和间隔设定的。通过“保存/打印数据”按钮可以对设定时间内的试验数据进行处理形成报表,主要的程序部分就是由此按钮的激活来完成的。
3.1SQL
SQL全称是“结构化查询语言(structured query language)”,它是一种资料库查询和程式设计语言,用于存取资料以及查询、更新和管理关联式资料库系统。SQL 语言包括两种主要程式设计语言类别的陈述式: 资料定义语言 (DDL)与资料操作语言 (DML)。DML 利用 INSERT,SELECT,UPDATE 及 DELETE 等陈述式来操作资料库物件所包含的资料。
要想从OPC数据库中找到需要的数据,利用SELECT 陈述式检索资料表中的资料,而哪些资料被检索,由列出的资料行与陈述式中的 WHERE 子句决定。
通过对试验要求的分析,我们以试验开始和结束时间,采样间隔,变量名为检索条件,以数据时间和数据值为检索内容。具体分析如下。
3.1.1 开始时间和结束时间的设定
要想得到试验的记录就要把试验进行时的数据采集下来,显然试验开始和结束时间就要提供给数据库做为数据的搜索条件。
对于这个实例来说:每次试验在启动和结束时自动设定“报表开始时间”和“报表结束时间”最为简便。
设当前时间为报表开始和结束的时间,这样的程序被附加在启动和结束的按钮上,就完成了时间的自动设定。
对于历史数据,开始时间和结束时间的格式要求较为复杂,“2006-01-02空格00∶00∶00”月份和日期10位必须补零;24 h时间格式10位必须补零。对于如此复杂的格式用户输入起来很不方便。往往因为格式不符合要求而让查找的数据为空,对于这个问题我们采用了两个方式解决。
1)在手动设置时分为两部分,一部分为日期,另一部分为时间。而中间的空格在程序中自动加入,避免了格式错误的发生。
首先,创建日期和时间的内部变量,在变量下编写脚本;其次日期和时间的输入可以通过脚本编写专家在画面中自动编写完成。
2)监控系统登录时,把当时的日期和时间设进变量中,用户就可以参考输入了。
3.1.2 时间间隔为数据的采集间隔
根据“空载试验、效率试验、温升试验至少每15 min;超载试验至少每5 min采集一次的数据”的要求,设定时间间隔在1～15 min内,以min为单位变化。
时间间隔能根据用户要求做改变,这就需要一个变量来实现,我们定义内部变量User.Interval,数据类型为字符串。通过“+”,“-”按钮和直接输入分钟数,改变一个整数变量Fix32.Fix.intinterval,并通过编程转换为符合时钟格式的字符串。
3.2 数据存储的模板
要想把数据存储下来,首先需要一个报表的模板。根据项目的要求创建了EXECL表的文件“originaldata.xls”做为模板存储路径为″d:originaldata.xls″。在这个文件中把试验进行的时间和要求记录的数据以及试验件的基本信息列入其中,同时还关联了一系列曲线,见图5。将该表格中用来存放日期时间值的列设置成日期和时间格式。实例中“A4”被设定为“2000-1-1”的日期格式,而“A5”之下设定的格式只显示时间,这样表格的阅读和曲线图的绘制就方便多了。
3.3利用VBA借助SQL 实现数据的查找和存储
3.3.1 数据的查找
我们把数据的搜索结果设为变量的数据时间和数值,把变量的名称、开始结束时间以及间隔作为搜索条件。根据数据的历史定义顺序排列变量,这样就不用在搜索结果中加入变量名了,减轻了工作量。以下这段程序SQL1的赋值语句是关键。
Dim rsADO As New ADODB.Recordset
Dim cnADO As New ADODB.Connection
Dim SQL1 As String
Dim strStartTime, strEndTime
SQL1 = ″select fix.datetime,fix.value from fix where fix.interval=’″ + Interval + ″’and _ (fix.datetime>{ts’″ + strStartTime +″’}) and (fix.datetime< {ts’″ + strEndTime +″’}) and _ (fix.tag=’″& tag1 &″’or fix.tag=’″& tag2 &″’or fix.tag=’″& tag3 &″’or fix.tag=’″& tag4 &″’ or.fix.tag=’″& tag24 &″’)″
With cnADO
.Open ″Provider=MSDASQL.1;Extended Properties=’DSN=FIX Dynamics Historical Data;DBQ=;SERVER=Not The Server’″
.Execute SQL1
End With
rsADO.Open SQL1, cnADO
For i = 1 To rsADO.Fields.Count
msexcel.Cells(2, i) = rsADO.Fields(i-1).Name
Next
If rsADO.BOF Then
msexcel.Quit
Set msexcel = Nothing
rsADO.Close
cnADO.Close
MsgBox "查询结果为空,请检查查询条件"
Exit Sub
Else
rsADO.MoveFirst
End If
3.3.2 数据的存储
在查找到数据后并有效的将它们填入到表格中,有以下2种方法:1)利用总的时间段的数据量,后来在应用中如果存在时间段内有空数据就无法把数据存放正确;2)把数据的时间作为条件进行存放,每一个变量的第一组数据时间必然相同,利用这个特性我们把第一个时间读入变量“firsttime”中,当再次读到相同时间时证明下一变量的数据到来。 这样就不会受空数据时间段设定的影响。
3.3.3 问题的出现和解决
这段程序在应用中我们发现在表格中出现的第一个数据并不是试验时间开始时的数据,而是之后一个时间间隔的数据。这种现象的出现是因为查找的开始时间的数据并不记录,第一组数据丢失。
要想解决这个问题就必须把实际搜索条件中的开始时间提前,因为采样数据的时间间隔可以根据用户的设定进行改变,采用固定提前量的方法就不可行了。在我们的变量中有“Fix32.Fix.intinterval.a_cv”,通过它可以知道当前的采样时间间隔,借助DateAdd函数就可以解决这个问题。
Dim strStartTime6 As String
strStartTime6 = User.strStartTime.CurrentValue
strStartTime6 = DateAdd(″n″, -Fix32.Fix.intinterval.a_cv, strStartTime6)
curtime = strStartTime6
curmonth = IIf(Month(curtime)<10,″0″ & Month(curtime), Month(curtime))
curday = IIf(Day(curTime) <10,″0″ & Day(curTime), Day(curTime))
curhour = IIf(Hour(curTime)<10,″0″& Hour(curTime), Hour(curTime))
curminute = IIf(Minute(curTime)<10,″0″ & Minute(curTime), Minute(curTime))
cursecond = IIf(Second(curTime)<10, ″0″ & Second(curTime), Second(curTime))
strStartTime = Year(curtime) & ″-″ & curmonth & ″-″ & curday _& ″ ″ & curhour & ″∶″ & curminute & ″∶″ & cursecond
把以上这段程序加入SQL1的赋值语句之前,再运行程序就能达到我们的设计要求。
4 运行结果
采用前面提到的方案进行程序设计,系统投入运行后,OPC服务器工作正常;数据采集存储稳定;输出生成的报表美观实用;对历史数据的调用灵活;对于报表的生成方便灵活。
根据技术协议要求做出的描绘油池温升与时间的关系曲线如图6所示,与原始数据一起为用户提供了数据分析的一手材料,更方便用户对试验结果进行分析。在实际应用中得到了用户的高度评价。
5 结束语
本文介绍了应用iFIX软件借助OPC技术实现数据的采集,并通过VBA编程查找SQL数据库实现数据存储到EXCEL表中的实例。对实例中遇到的具体问题进行了分析和解决,可以在同类应用中作为借鉴之用。
参考文献
[1]Intellution Inc.使用FIX Dynamics开发HMI/SCADA系统中文使用手册[Z].2001.
[2]ABB公司.Industrial Compact控制生成器版本4.1入门手册[Z].2005.
数据监控师判断题 第5篇
1、短消息或语音信箱系统任何一种业务中断6小时以上的故障视为严重故障，T
2、VoIP二次拨号系统(17950)网关日常维护测试中SC2200硬件系统检查测试周期为一周。F
3、有关VOIP网关和GSM网之间的.故障处理，由GSM维护部门负责牵头，VOIP维护部门配合。F
4、机房值机人员必要时可直接受理用户申告，但不准擅自将用户资料带出机房。F
5、发生通信故障，导致GPRS业务中断，或全网严重设备故障时，应在发现故障后1小时内逐级上报至集团公司，
F
6、在GPRS系统中采用的就是分组通信技术，用户在数据通信过程固定占用无线信道，对信道资源能够更合理地应用。F
7、GPRS通过在GSM数字移动通信网络中引入分组交换的功能实体，以完成用分组方式进行的数据传输。T
8、在分组交换方式中，数据的发送和接收方同信道之间没有固定的占用关系，信道资源可以看作是由所有的用户共享使用。T
9、交接班过程中发生的障碍或事故，应暂停交接，以接班人员为主，交班人员协助共同处理，直至障碍或消除或处理告一段落后再继续交接。F
用数据定向，提升学业质量监控效能 第6篇
一、循其迹：准确把握分析试卷的考查导向
每一次监测试卷完成后，学校要求教师在进行常规数据质量分析之前，先对监测试卷进行导向分析。对监测试卷分析的依据是《武汉市学业质量监测评价标准》，学校设计了“江汉区振兴路小学学业质量监测卷面题例分析表”，要求教师逐题分析，从每一题的考查知识点、技能要求、答案赋分等方面分析、统计，找到出题的意图和考查的方向。
在分析表完成后，教师可运用EXCEL表格的数据筛选功能进行不同目标的分类统计：可根据内容进行统计，也可根据认知要求进行统计，并通过统计图进行分析，为常规教学找到目标与方向。
教师进行了细致的试卷题例分值统计分析后，结合EQA系统提供的各小题班级得分情况，对于自己平时的教学是否符合监测导向即可了然于心，不仅如此，教师在进行此项操作时，不断熟悉内化学业质量的监测标准，能有效提升自己的命题水平，可自行编写监测试题，进行常规随机考查，亦可从中发现并把握教学方向，改进课堂教学行为。
二、觅其因：对质量优劣进行细化归因分析
目前，学校建立了学校、备课组、教师个人三级学业质量监控平台，EQA系统提供了科学而准确的数据，使学校三级学业质量监控平台在运行中既有宏观层面的数据，也有局部的数据，监控分析工作更为精细，促使教师摆脱对个人教学经验的依赖，关注学生学习态度和学习品质。
1.横向比较进行定位
通过EQA系统中提供的合格率、优秀率、均分三项数据，在年级中进行横向比较，不仅学校能清晰知道年级的平均水平及班级在年级中的水平，而且教师能随时发现自己所教班级在整个年级中的实际状态，对于自己班级与年级平均水平的差距也一目了然，其中均分与合格率均持续低于年级平均水平的班级要引起校级监测部门的重点关注，应与教师一起对突出问题进行归因溯源；对于均分与优秀率均能保持高于年级平均水平的班级，则应由校级监测部门组织，将其优秀经验进行挖掘推广。
2.纵向比较关注发展
根据EQA系统中提供的合格率、优秀率、均分，除可以进行单次年级内观察外，还应对每个班每次的三项数据积累保存，单项进行纵向比较，可制作折线统计图，观察其发展的趋势，多角度、多方位对班级整体的实力状况进行综合教学质量分析，及时了解和分析自己班级在整个学业阶段的教学质量进步状态。
3.逐题分析找到根源
以往，教师根据班级的均分和个体的总分来评价学生学业质量的优劣，对于自己的教学情况缺少有效的数据，根据自己的经验来开展教学。而EQA系统中提供的小题分数据使教师能更为客观地发现学业质量中的短板。教师可以将每小题的班级得分进行知识点的分类分析，随时了解教学目标达成度；也可将每小题的得分数据放到年级中进行比较，找到差距或者优势，发现问题根源。
三、把其脉：运用师生双向诊断，进行发展性评价
在学业质量监控过程中，我们发现，要找到影响学业质量的根源，不能仅靠外力的监控和评价，更重要的是启动教师和学生自我监控。
从教师的角度，我们主要是依据EQA系统中提供的各类数据进行细化分析，同时，教师在文字质量分析的基础上，通过“学业质量的归因共析表”的引导，从“学生知识能力的短板”“课堂教学的疏漏”“作业练习的针对性指导”等方面分析问题及归因，同时找到改进策略，校级监控人员和备课组组长根据“归因共析表”中分析的根源性问题，加强与教师深入沟通和交流，从教学常规全过程去引导教师学会科学地自我反思总结，激发教师自我监控诊断的自主性。
根据EQA系统中的小题分统计，我们认为有必要引导学生学会进一步细化归因，培养学生自我学业监控的能力，因此设计了《学科测试学生个人分析表》。
表中，我们根据学科的性质及《武汉市学业质量监测评价标准》中的内容领域及知识点，将失分原因进行细化分类，比如语文学科，我们将其分为“错别字及拼音”“词语理解及运用”“修辞及语法知识”“课内外文本积累、拓展”“句子理解”“文本整体把握”“书面综合表达（含作文）”“书写端正美观”8类失分类型；数学学科，我们将其分为”计算错误”“基本概念理解”“概念运用”“数量关系”“动手操作”“空间及图形认识与观察”“审题失误”“图表分析理解”“题意理解”9类失分类型。学生对于每一小题的失分通过归类填表，然后统计每个错误类型的总失分，找到自己的知识技能短板，让以后的学习更有针对性。
四、寻其法：由常规管理入手，提升师生自主质量意识
学校在运用EQA系统进行学业质量监控，既重视“析”，也关注“导”，学业质量监控的目的也是对教师的教和学生的学进行发展性评价，最后为学校的整体发展服务。因此，我们特别注重学业质量监控中发现的问题，在常规管理中寻求解决的方法。如：
学校在教师的常规课堂中开展诊断式评价。绝大学业质量中呈现的问题，都能在常规课堂的教学中找到原因，而解决的办法也在课堂。学校坚持开展“相约课堂”活动，有别于以往的“推门听课”，行政的角色由一个居于高处的指导者转变成一个观察者、欣赏者、合作者。教师可以在课堂上展示自己的实践思考，也可以提出自己的困惑，课后，行政与教师平等共研，共同完成“诊断式片段再设计”，听课教师要针对反馈指导进行思考和内化，并进行课例再设计，行政对于教师的再设计还要进行“二次评议”，做出发展性评价。
利用备课平台开展行动性研训。一方面，备课组是学业质量监控的重要阵地，备课组长能够在每次监控中将EQA系统中提供的每题的小分、均分、三率统计图等数据进行横向比较，及时发现问题，组织全组成员共同面向学业质量监控中呈现的问题，开展针对性的研究，互帮互助。另一方面，将学业质量监控数据中呈现的各类小问题进行梳理，归纳出有共性的研究专题，开展行动性研究，在行动中研究，在研究中学习，通过“教研课展示”、“同课异构”等形式引导教师从不同角度思考，从中受益。
针对学生薄弱环节，设计训练资源包。针对在学业质量监控中呈现的比较突出的两个问题：学生整体的书写习惯较差和计算水平较弱，学校组织教师设计专项训练的资源包，分别是“积硅步行千里”学生书写能力训练册和“智从算中来”学生计算能力训练册，前者与教材中每一课的字、词、段的书写训练紧密结合，后者的一周一卷紧扣教学进度和教材重点，瞄准目标的训练，效果明显。
对学困生开展“家校携手 暖心助学”。EQA系统的监测数据显示，学校的差异率一直比较高。经分析，学校有80%的学生是外来务工子女，家长对孩子的学习不太关心，而且很多学生的学习习惯在家中得不到延续，这成为我校学困生学业质量提升的主要制约因素。因此，我们要求教师对学困生“补课先补情”。我们设计了“家校携手 暖心助学”的学困生学业质量跟踪手册，加强与家长的沟通：详细记录这些学困生每一次监控测试中的各项数据，形成曲线图，向家长清晰展现孩子的发展趋势；教师通过对每一个学困生智力因素和非智力因素的分析，与家长共同探寻助学措施；教师将每一次监控试卷进行个案卷面分析，与家长交流，请家长结合学生在家的学习情况，共商辅导措施，同时请这些孩子也能参与到监控分析中，自己定下短期努力目标。
关于学生学业质量监控的工作，我们起步的时间并不长，所做的工作还缺少系统的规划，需要进一步深化推进，在不断的研究和完善中形成成熟的学生学业质量监控体系。以此为目标，我们将不断前行。“心有繁花似锦，只待修竹成林”。
（作者单位：武汉市江汉区振兴路小学）
监控和数据采集 第7篇
1 AUV的工作原理和MOOS的简介
1.1 AUV的应用及工作原
AUV可应用于海洋生态环境监控, 海洋资源勘测, 水文观测等众多领域, 也可用于海军侦查任务和海洋搜救等工作[4]。美国, 澳大利亚, 英国的AUV最近应用于海洋搜救工作, 探测深度最大可达四五千米, 并能准确的探测、识别目标。AUV在复杂水下环境中能自主的执行任务, 其基础是有效的数据采集和高效的算法决策, 同时数据采集的准确性是AUV实现定位、导航和路径规划的前提条件[5]。
AUV可以在贴近水面或者复杂水下环境中自主展开各项任务, 其主要工作原理:AUV自身携带多种模块化的传感器设备 (如惯性导航单元、姿态航向参考系统、声通信单元、声纳、水下压力计、水下摄像头、深度计等) , 采集周围的水文数据, 通过MOOS进行数据解析和打包, 并由中央控制单元将打包的数据发布到算法决策部分进行数据评估, 然后判断行为模式并进行行为融合, 来执行相应的任务, 从而实现AUV自主性。
AUV舱体大体可分为前舱, 中间舱和后舱, 前舱主要放置传感器模块 (如水下摄像头、GPS、多波束等) ;中间舱体主要是控制主机PC104、通信天线、姿态传感器AHRS和侧扫声纳等;后舱是电源系统、动力驱动系统和动力控制系统[9]。如图1所示。
1.2 MOOS软件系统简介
MOOS是一套分布式体系结构的开源软件, 由Paul Newman专门针对水下机器人而设计, 基于发布/订阅模式, 采用模块化设计体系结构, 其核心单元MOOSDB (MOOS Database) [3]。MOOS设计理念是把水下机器人的各工作单元抽象成独立的Application, 不同App之间无通信仅能通过MOOSDB进行信息交互, 且不同传感器的通信都通过统一的API来实现[6]。
2 AUV整体设计框架及数据采集系统
2.1 AUV系统框架
实验中AUV采用模块化、分布式的设计方案, 宏观上把AUV分为四大系统模块:中央控制系统、同时定位和地图构建系统、数据采集和保存分析系统、底层动力驱动和控制系统[7]。具体说明如下:
(1) 中央控制系统。负责各个系统之间的数据通信和指令的收发, 计算AUV的路径并及时规划AUV的行进路线[1]。
(2) 定位和地图构建系统。通过中央控制单元获取多传感器的数据信息, 由算法分析计算AUV的航行位置并构建未知环境的地图[8]。
(3) 数据采集和保存分析系统。主要是采集各传感器和AUV舱内参数信息, 并保存分析数据, 为AUV的路径规划、导航定位和地图构建提供有效的信息。
(4) 底层动力驱动和控制系统。主要提供动力和调整AUV航行姿态, 并反馈舱内参数来监控AUV的动力系统。
2.2 数据采集系统的实现
在实际项目研发中, 由于AUV的舱体空间有限, 一般的PC主机在舱内作为控制处理模块不可行, 所以采用PC104来代替[4]。PC104符合计算机总线标准, 兼容串口、USB接口, 支持硬盘扩展和各种声频视频驱动等, 具有体积小, 模块化, 易扩展开发等优点, 适合在空间受限的AUV舱内作为中央控制平台。多传感器、底层硬件和PC104通过RS232实现通信, 然后采集的数据由算法进行决策分析, 并做出行为决策, 控制AUV的行为[9];同时AUV与上位机可通过无线通信 (执行水面任务时) 或水声通信 (执行水下任务时) 来实现通信功能。
在数据采集软件系统开发过程中, 采用过Linux平台和Windows平台。Windows平台的控制界面利用VS2010中的MFC类库编写, 而在Linux平台上的软件界面基于Qt用FLTK和Open GL类库编写, 控制界面更流畅, 并且能很好地实现AUV的运动模拟数据采集工作, 实验中以Linux平台进行开发。软件设计过程中需要解决多线程同步问题、多传感器采集数据时间的同步问题、串口收发数据阻塞问题、内存泄漏等问题。多次实验证明, 利用MOOS的模块化、分布式的设计方法, 实现了采集数据的高效性和保证了数据采集的准确性。
软件开发过程中应对数据进行实时保存, 高质量保存采集的数据, 是对整个实验定性分析、优化、改善的基础[3]。数据保存整体流程如图4所示。
3 软件接口的实现和AUV软件系统的实现
3.1 高精度GPS实例
MOOS软件控制的核心模块为MOOSDB, MOOSDB是与各模块通信的中心, 各数据采集模块通过CMOOSClient类库的API与MOOSDB通信。在此以GPS为例来说明软件编程的具体实现方法。实验中使用星宇网达的XM-GPS1000高精度GPS, 数据格式 (RMD) 为:
3.2 MOOS扩展函数接口实例化
MOOS中另一个重要类库是CMOOSApp, 是实现各传感器模块数据处理和实现方法的基类, 它声明定义虚函数, 主要的有Iterate () , On New Mail () , On Start Up () 等[10]。GPS模块通过串口以固定的频率与MOOSDB实现通信, 在程序设计中, GPS传感器被抽象为i Hgps接口模块, 通过重载和继承CMOOSApp类的子函数, 实现传感器模块的数据采集和数据处理功能[6]。
对i HGPS模块中On Start Up () 进行重载, 代码如下:
其中:Setup Port () 实现对串口的配置, Initialize Sensor N () 对传感器进行初始化。然后对i HGPS模块中的Iterate () 函数进行重载, 主要是实现从HGPS中获得HGPS数据, 并用Get Data () 函数进行解析, 然后通过Publish Data () 子函数把解析得到的数据发送到MOOS-DB中[7]。最后在.moos的配置文件中配置新增加的GPS模块, 在Linux shell界面中用p Antler命令启动软件[8], 实现添加模块GPS数据的采集工作。
3.3 上位机软件系统
AUV上位机数据采集及监控软件系统如图5所示。
基于FLTK和Open GL改进的AUV运行模拟状态如图6所示。
4 结语
本文介绍了AUV的发展应用, 重点介绍了基于MOOS的AUV多传感器的数据采集实现方法, 以MOOS的两大重要类库CMOOSClient和CMOOSApp为核心, 对这两个库的继承和重载来实现所需数据采集功能。最后, 以高精度XM-GPS1000为实例, 从程序层面具体介绍了数据采集的实现方法, 并开发AUV软件控制系统和仿真界面来模拟AUV的自主行为。
摘要：随着海洋事业的发展, 对海洋的探测和开发工作提出了更高要求。自主式水下机器人能很好的适应水下复杂的环境, 通过自主导航定位, 路径规划来完成相应的工作。为实现水下机器人稳定可靠的数据采集工作, 采用以MOOS为平台的分布式设计方法, 提高了数据采集系统的精度和效率, 从而提高了AUV导航定位的准确性和可靠性。
关键词：自主式水下机器人,MOOS,数据采集,导航定位
参考文献
[1]刘华军, 杨静宇.移动机器人运动规划研究综述[J].中国工程院, 2006, 8 (1) :3-9.
[2]齐林庆.基于EKF-SLAM的AUV自主导航算法的多线程实现[D].青岛:中国海洋大学, 2008.
[3]BENJAMIN M R, NEWMAN P, SCHMICK H, et al.An overview of MOOS-IvP and a user guide to the IvP helm autonomy software[EB/OL].[2010-08-27].http://hdl.handle.net/1721.1/57583.
[4]温国曦.AUV组合导航算法研究及基于MOOS平台的系统实现[D].杭州:浙江大学, 2013.
[5]MARCO D B, HEALEY A J.Dept.command, control, and navigation experimental results with the NPS ARIES AUV[J].IEEE Journal of Oceanic Engineering, 2001, 26 (4) :466-476.
[6]BENJAMIN M R.Nested autonomy for unmanned marine vehicles with MOOS-IvP[J].Field Robotics, 2010, 27 (6) :834-875.
[7]管增辉.基于MOOS-FMM的水下机器人软件系统的设计[D].青岛:中国海洋大学, 2012.
[8]SONG Fei-jun, SMITH S M.Design of sliding mode fuzzy controllers for an autonomous underwater vehicle without system model[J].Oceans 2000 MTS/IEEE Conference and Exhibition, 2000, 2:835-840.
[9]张鹏, 张水平, 安红征.基于UDP与串口通信的训练台监控系统[J].通信技术, 2008, 41 (4) :159-161.
[10]姜大鹏.多水下机器人协调控制技术研究[D].哈尔滨:哈尔滨工程大学, 2011.
[11]姚科, 何波, 李炳森.自主式水下机器人数据采集与-管理系统及其可靠性[J].微计算机信息, 2010 (4) :138-140.
监控和数据采集 第8篇
关键词：中低压配电网,数据采集,用户用电信息,智能配电台区,监控系统
0 引言
近年来,计算机技术、集中抄表技术、自动采集与监测技术等广泛应用于电力系统。县级供电企业大都安装运行了集中抄表、配变监测、负荷控制、电压监测等各类实时或准实时系统。各应用系统独立运行且分别隶属于供电企业内部不同的专业管理部门,对中低压配电网中同一设备的运行数据信息,多个系统分别采集应用,存在突出的信息孤岛现象。由于各应用系统采集数据的标准不统一,不利于系统之间信息统一管理和集成共享,在一定程度上造成了人、财、物等资源的浪费[1,2,3]。
随着数字化用电设备的普及应用,电力用户对供电质量提出了越来越高的要求。供电质量问题可以导致生产线停产,造成重大经济损失。与用户建立双向实时互动平台,实时通知用户电力消费的成本、实时电价、电网目前的状况、计划停电信息以及其他一些服务信息,将是实现电力优质服务的有效途径[4,5,6,7,8]。目前电力系统中运行的集中抄表系统一般仅采集用户的月电量数据,没有对用户的电压、电流、功率因数、漏电流、剩余电量等信息进行采集,无法实现对用户电能质量的实时分析和治理、预付费管理、需求侧响应、实时电价管理等智能化及互动化管理。负荷控制系统则仅停留在简单的采集阶段,不具有电网与用户直接互动的功能。原有的配变监测系统能够提供综合配变的电力电量和运行信息,但不具有集中器功能,无法实现对台区的实时线损分析、电能质量治理等功能。总体来说,目前各实时、准实时系统功能配置不够完善,各系统之间存在信息孤岛,没有实现数据的横向集成和纵向贯通,无法为企业经营管理提供综合数据分析和辅助决策功能,智能化水平低,无法实现对中低压配电网很好的管理和监控[9,10,11,12,13]。
建立基于实时数据库的中低压配电网统一数据采集与监控系统,符合国家电网公司构建以信息化、自动化、互动化为特征的坚强智能电网战略发展目标[14,15,16]。利用统一的系统平台对已有和新建的实时、准实时系统的数据进行采集、存储和发布,从数据层面消除信息孤岛,并按信息化管理的要求向电网管理层各应用子系统提供生产现场的各种基础数据,为中低压配电网相关高级应用提供数据支撑。
1 系统结构设计
1.1 总体架构
中低压配电网统一数据采集与监控系统涵盖电力、通信、采集管理、平台设计、系统接口等多项专业技术领域,是一项复杂的系统工程。系统总体架构可分为设备现场层、数据传输层、统一采集与监控平台层以及高级应用层4个层次。设备现场层主要包括变电站远程终端设备(RTU)、开闭所数据终端设备(DTU)、馈线终端设备(FTU)、配电台区配变远程终端(TTU)、用户等设备采集终端;数据传输层主要包括光纤专网、电力线载波、无线专网、无线公网等通信和传输网络;统一数据采集与监控平台层包括实时/历史数据库、应用服务器、通信接口服务器、智能配电台区管理与监控功能模块、用户用电信息管理与监控功能模块等软硬件设备;高级应用层主要包括供电企业已有或新建的地理信息系统(GIS)、生产管理系统(PMS)、营销管理信息系统(MIS)和其他高级应用系统。如图1所示。
设备采集终端全面采集变电站、开闭所、馈线、配电台区运行和状态信息以及用户用电信息,按照通信协议经数据通信和传输网络系统,送至实时数据采集模块的实时/历史数据库中进行统一管理,根据需求将实时/历史数据经数据接口服务模块为各相关高级应用系统提供综合数据支撑,实现对变电站、开闭所、馈线、配电台区和用户运行状况的实时分析、监控和管理。
1.2 系统部署方案
中低压配电网统一数据采集与监控系统总体部署方案如图2所示。
系统总体部署在安全Ⅲ区,通过双向安全隔离与位于安全Ⅰ区的自动化系统及其镜像服务器实现数据交换。系统主要组成部分包括数据库服务器、应用服务器、通信前置机、灾备服务器、数据库维护站等,为了保证系统运行的可靠性,数据库服务器、通信前置机等进行冗余配置;数据分发机主要用于前置机管理,实现负载均衡。
2 系统功能设计
2.1 设计思想
系统设计采用分布式多层架构模式,充分利用实时数据库海量数据先进处理技术,应用性能设计实现配电网各层电气设备运行、状态数据广度和深度覆盖,且安全可控,以服务于生产管理、营销服务、需求侧响应需求为基准,与调度自动化、配电自动化、智能配电台区、电力用户用电信息采集等新建系统以及配电监测、电压监测、集中抄表、负荷控制等已有的实时和准实时系统有机结合,统一数据采集,保证数据源的唯一性和资源共享,消除数据信息孤岛现象。
系统建立在实时数据采集的基础上,系统设计重点体现安全性、实时性、可靠性、易维护性等特点。另外,系统设计还具有开放性和可扩展性,可根据配电网高级应用具体需求,方便地集成各种分析计算工具,通过接口配置,在保持系统结构稳定的基础上,实现升级和功能扩展。
2.2 系统软件功能
中低压配电网统一数据采集与监控系统主要功能包括智能数据采集、数据通信和传输系统、实时数据处理、用户用电信息管理与监控、智能配电台区管理与监控等,如图3所示。
1)智能数据采集
智能数据采集主要通过智能采集终端完成。智能采集终端包括集中抄表终端(包括采集器、集中器)、智能配变终端(含集中器功能)、专用变压器采集终端和分布式能源监控终端及其收发模块、通信接口等。采集器可分为无线传感网(WSN)微功率无线采集器、载波采集器和普通网络采集器。WSN无线采集器中内嵌WSN无线发送模块,将采集的用户用电信息经本地数据通信和传输系统发送至集中器或智能配变终端的WSN无线接收模块,再经远程数据和通信系统将采集数据上传。载波采集器中内嵌载波发送模块,将采集的用户用电信息经本地数据通信与传输系统发送至集中器或智能配变终端的载波接收模块,再经远程数据与通信系统将采集数据上传。普通采集器具有网络通信接口,采集原理与其他采集器基本类似。
2)数据通信和传输系统
数据通信和传输系统分为本地数据通信和传输系统、远程数据通信和传输系统2类,如图4所示。本地数据通信和传输系统一般有光纤通信专网、微功率无线通信专网和低压电力载波等通信方式;远程数据通信和传输系统一般有光纤通信专网、电力无线专网(230MHz)、无线公网(通用分组无线电业务(GPRS)/全球移动通信系统(GSM)/码分多址(CDMA))等通信方式,构成现场层设备运行和状态信息上传以及系统下行控制的通信通道。
3)实时数据处理模块
该模块的功能包括前置机群、实时/历史数据库、数据库维护站、数据备份站、数据分发机等,如图5所示。
前置机群通过数据通信和传输系统采集终端设备的实时数据,对各实时和准实时系统的数据进行集中整合,采用优化压缩算法预处理后存入实时/历史数据库,形成数据仓库,为各种应用系统提供唯一实时数据源。数据库维护站的主要作用包括数据库维护、通道管理、实时数据监测等。数据备份站主要用于实时/历史数据库备份。数据分发机主要用于对多台采集前置机进行数据分发管理,当某台前置机退出时,与该前置机通信的数据包将被平均分配到其他前置机进行数据通信。
4)用户用电信息管理与监控模块
该模块的功能主要包括用户负荷管理和控制、有序用电管理和控制、用电情况分析和监测、分时电价分析和管理、档案管理、报表管理等。
5)智能配电台区管理与监控模块
该模块的功能主要包括台区信息监测、电能质量监控、台区异常报警、智能台区经济运行管理、配电台区运行分析等。
3 系统安全设计
安全设计是系统设计的一个重要环节,通过采用对系统网络传输的敏感信息提供加密手段,保证数据的完整性和准确性,为该系统的用户进行权限分配;登录系统进行有效的身份认证等安全措施,为系统提供完善统一的安全管理策略,确保系统的操作系统、设备和数据安全。系统安全设计框图如图6所示,主要包括平台系统登录控制、角色分配和管理、权限管理、网络安全管理、数据压缩加密、用户名权限验证等。
4 与已有系统接口方案
为了充分利用供电企业现有的自动化和信息化资源,中低压配电网统一数据采集可通过通信接口设计实现数据资源的共享,系统与已有系统可以有2种接口方案。
1)通过接口机直接从已有系统的数据库中读取相关数据,已有系统的数据库系统需要为数据传输新建相关的只读视图,并设计数据更新模式。如图7所示。
2)由已有系统的采集前置机同时发送2份数据,一份至已有系统数据库,另一份至中低压配电网统一数据采集接口机,通过采集接口机将数据发送至该系统的实时/历史数据库。如图8所示。
5 应用案例分析
陕西省蒲城电力局作为国家电网公司农网智能化试点工程建设单位之一,对中低压配电网统一数据采集与监控系统进行了试点建设和应用。蒲城农网智能化试点工程总体建设方案如图9所示。
中低压配电网统一数据采集与监控系统作为蒲城农网智能化试点工程总体建设方案的一个重要组成部分,主要用于实现智能数据采集、通信和传输、实时数据处理、用户用电信息管理和监控、智能配电台区管理和监控等功能,为统一数据采集与集中监控平台、企业一体化信息管理平台以及其他高级应用系统等提供数据支撑。
中低压配电网统一数据采集与监控系统的应用,有效解决了蒲城电力局信息孤岛和数据源不唯一的问题,实现了中压配电网配电台区终端用户的营配业务一体化分析和管理,覆盖了配电台区智能化管理、用户用电信息采集管理等相关环节。试点工程实施后,试点区域的电压质量得到明显改善,电压合格率从98.624%提高到99.132%,低电压户数由试点工程建设前的438户减少到136户,降低71.84%。户均停电时间明显减少,供电可靠率由99.877%提高到99.938%。
6 结语
中低压配电网统一数据采集与监控系统能够实现对中低压配电网中已有和新建的实时、准实时监测系统的实时数据统一采集、存储和发布,并按信息化管理的要求,向配电网管理层的用户用电信息管理和监控、智能配电台区管理和监控等应用模块或应用系统提供数据支撑;能够方便地实施配电网高级应用,无需与诸多数据库建立接口,从数据层面消除信息孤岛,节约资源,提升对中低压配电网的分析和管理能力。
目前,本文研究成果已在陕西蒲城、浙江鄞州、天津静海、河北任丘等农网智能化试点工程中得到应用。经过工程实践的不断完善,系统设计得到了优化和扩展,较好地实现了对中低压配电网用户用电信息、智能配电台区、配电自动化、调度自动化和其他运行管理数据的综合采集与监控,有效解决了中低压配电网因管理体制造成的数据源不唯一问题,实现了供电企业数据的综合集成和共享,为企业生产、经营管理决策提供了可靠的数据信息支撑。
隧道监控量测数据分析和应用剖析 第9篇
1 隧道监控量测数据的分析
对隧道监控量测数据的项目主要有4个, 而选测项目一共有11个, 加起来是所有的监控量测项目。其中, 涉及应力观测或位移观测项目一共是11个。在通常情况下, 很多稳定性的隧道断面中, 其观测位移量测和应力量测项目有如下的特点:在初始阶段中, 观测位移量测和应力量测项目的数据变化很大, 但随着到一定的时段以后, 其数据就趋于稳定, 变化逐渐变小。如图1所示:
在量值方面, 有着一定的离散型, 且这种量值变化出现跳跃, 主要随着量化的大小进行变化, 如果量化的率变小, 其数据也就减少。而量值变化的这种情况, 也有一定的规律可循, 可通过具体的数学模型进行分析和拟合。当然, 如果隧道围岩的自稳时间较少, 或者没有太多的支护稳定, 出现失稳等情况, 这样就不具备以上的特点。
2 量测数据的具体分析
对测量数据回归的分析, 要有一定的思路, 同时要加强对数和指数模型, 以及双曲函数模型进行分析。这样通过转化成一元线性回归分析, 使得数据分析变成数学问题, 并在具体的数据分析中, 得出回归系数。其分析的数学模型主要是根据国家有关隧道施工技术规范执行的, 根据量测数据散点的具体分情况和相关规律, 按照数据模拟回归的具体效果来看, 可以采用上述三种函数。
具体分析时, 按照相关步骤进行选取回归数据, 确定好时间和位移量, 同时还要确定回归分析的的范围和时间。然后再进行数据散点图的相关制作, 并处理具体的数据, 可以对一些异常点进行处理, 也可以直接对其剔除等。然后按照具体的数据分布情况, 并在指数函数和双曲函数, 以及对数函数等, 通过这几种函数进行选择, 取得一种当做回归模型。当然, 也可以对上述三种模型进行分析, 选择最佳回归模型。随后, 要把这些回归数学模型进行线性化分析, 并运用具体的二元线性分析方式进行回归计算和分析。再按照具体的线性回归计算系数, 分析和算出回归模型待回归系数, 从而得出相应的回归分析公式, 并应用公式得出结果。计算出结果后, 按照公式然后推算相应的特定位置函数, 这个函数可以是在某一特定时间上位移值。也可以利用公式进行计算最终是趋势和最终位移值数据。
对于上述数据的计算和分析, 可以运用计算机操作方法, 在电子表格中进行计算和分析结果, 这种计算方式相对来说比较方面。当然, 也可以采用其的编程方式进行计算得出, 然后通过人机对话或者是利用智能判断等形式进行计算得出相应数值。此外, 还可以运用智能化的方式以及数据化方式进行监控量测, 并有效加强传输和分析、处理并反馈等一系列的分析。这样, 可以有效提高监控量测技术不断取得新的成绩, 并在工程测量中应用非常方面。
3 对隧道监控量测数据的具体分析方法
在隧道监控量测数据中, 通常会有很多数据需要分析和量测。而在这些回归数据上, 需要对数据加强分析和统计, 并进行必要的计算。而这些量测的数据有很多种类, 大致有如下定性数据和计数数据, 以及计量型数据等等。这些数据中的定性数据主要是离散的, 且具有定性描述的, 例如一些结构面产状和岩层产状等。而计数性数据则主要是离散的, 也有的是间断的。而计量型的数据中, 通常情况下, 是连续性的, 尤其是一些厚度和位置, 以及位移和应用等等。
而上述这些数据之间也有很多关系, 其具体的关系如下:首先是独立关系, 数据间的独立关系主要是变量之间的独立, 而一个变量对相应的另一变量没有变化和影响, 即为独立关系。而确定性关系则是说, 变量与变量之间有着确定性关系, 能够用函数进行表示和分析出来。而相关关系则是对于两个变量之间的关系有着不确定性关系, 而这种不确定关系可以用数学模型进行表示, 运用数学模型将一变量推定其他变量, 并得出期望值, 这个值即为估计值。然后, 从这些数据上进行分析, 得出几组数据中的关系可以化为几种相关性, 主要是强相关性和不相关性, 以及弱相关性等。并结合热数学模型进行分析, 得出估计值和实际值之间的差别逐渐趋于0。
在线性回归计算的过程中, 一般是通过很多数据进行观察和分析得来的, 尤其是利用一些统计计算方法得出因变量和自变量。在进行分析的过程汇总, 采用线性回归分析方法是比较常用的方法, 也是基本的分析方法。
4 隧道监控量测数据的实际案例分析
某地进行工程建设, 在高速公路规划中, 需要穿过隧道22座, 其中有几座情况比较复杂。隧道的围岩岩性主要是寒武系石灰岩, 且岩层接近水平, 而这些岩层产状为80°∠2°到5°, 岩性属于第四系粉土, 且结构呈现出散体结构和层状结构, 水文地质主要是溶岩水。为围岩的级别属于V级。在进行开挖的过程中, 比较容易有塌方出现, 且伴随着变形和掉块等情况发生。
隧道在设计时按照四车道设计, 时速定为80km/h, 而对于路基宽度在25m。采用施工开挖的方式进行, 主要运用台阶法和全断面法进行施工, 并支护运用的是复合式支护, 监控量测项目有地表下沉和周边位移, 加上洞内外观察和拱顶下沉等。还有几个选测项目, 主要是钢架内力和衬砌内力, 以及支护衬砌内力等。
对回归处理时, 采用的是B隧道的右端出口, 其长度在2789m, 并随机选取4断面进行量测。选取拱顶下沉量测数据, 通过临界相关系数而得出, 这一段的围岩主要是粉质粘土, 在断面位置为K8+900, 距离洞口我80m, 洞顶埋深为40m, 数据组数为33, 自由度达到31, 临界相关系数在0.3295。而断面位置在K8+908, 洞口距离为72m, 洞顶埋深为39m, 数据组数为34, 自由度为32, 临界相关系数为0.3345。对K8+900的指数函数为a为48.8554, b为1.7439, r为0.8391, 对数函数a为-7.9373, b为18.9760, r为0.9430, 双曲函数a为0.0683, b为0.0201, r为0.8841, 。而K8+908断面位置的指数函数a为67.6057, b为1.7034, r为0.9055, 对数函数a为0.9916, b为21.0671, r为0.9873, 而双曲函数a为0.0488, b为0.0136, r为0.9639。
通过以上分析其回归结果都大于系数r的置信度 (0.05) , 都属于强相比关系, 能够反映出量测数据的具体统计规律。在各个断面的回归结果分析中, K8+900的断面中指数函数回归系数较大, 比对数函数还要大。
5 结语
通过对对数函数以及指数函数, 和双曲函数, 能够很好的对隧道监控量测数据进行分析。而在具体的现实应用中, 可以先对这三种函数进行分析和总结, 采取量化评判分析, 找出较好的回归模型, 并预测量测值, 为工程安全和质量提供保障。
摘要：隧道监控量测作业非常重要, 尤其是对量测数据的分析属于重要的环节。在进行检测数据的时候, 不仅要进行一般图示数据进行分析, 还要加强对回归分析和应用, 采用对数以及双曲函数和指数等数据进行分析和应用。本文就对隧道监控量测数据进行分析, 并探讨具体的应用。
关键词：隧道监控,侧量测数据,分析,应用
参考文献
[1]杨绍战, 陈建勋, 赵超志, 等.隧道监控量测数据分析处理系统的研发与应用[J].公路隧道, 2011 (1) :55-58.
监控和数据采集 第10篇
关键词：视频监控,屏幕DC,内存映射文件,颜色量化
0 引言
随着计算机技术、网络技术以及视频压缩技术的飞速发展, 以其为基础的远程视频监控技术因为可以为人们提供真实、实时的监控画面而在政治、经济、军事、文化等领域设施安全防范中得到广泛的应用[1]。
监控画面视频帧的实时采集作为视频监控的一个关键部分之一, 一般有两种方法:创建屏幕设备描述表DC[2]方法以及Direct X中的Direct Show方法[3,4], 其中屏幕DC方法技术实现比较直接, 对应用环境没有特殊要求, 但是截图速率低, 越来越难以满足实时性视频监控的需求;Direct Show方法截图速率高, 但是需要Direct X库支持, 在实现上相对于直接Windows设备上下文编程显得繁杂, 给程序开发和应用带来不便。同时所采集到的视频帧文件远程传输时会因为应用场景的不同, 采用不同压缩算法, 后端硬件解码程序也会随之变动, 这样会加大整个远程视频监控系统包括时间在内的维护成本, 所以一般情况下的工程实践中, 会采用在视频采集端直接对视频帧文件进行颜色量化, 将量化后的视频帧直接保存在数据帧中传输, 通过网络安全协议保证数据传输的可靠性的这种有效的低成本解决方案。目前颜色量化算法主要有:统一量化法、中位切分法、流行色法、八叉树算法等。其中统一量化法实现简单速度快, 但是经过该方法处理后的图形会出现明显的带状现象[5];中位切分法重建图像的细节表现得比较好, 但是该算法设计复杂的排序工作, 不适宜实时的应用环境[6];流行色法重建图像的显示效果有较大改善, 但是时空开销大, 会出现某些色彩因为频率小而被丢失的现象[7];八叉树算法是一种有效的颜色量化处理方法, 在实际应用中被广泛采用, 不过当八叉树的层级较深时, 也会带来地大量时空开销, 所以在应用中也受到一定的限制[8]。
本文将在屏幕DC截图的基础上, 利用内存映射文件技术MVF, 加快采集速度, 较好地解决了屏幕DC截图速度慢的缺点。在颜色量化方面本文提出了一种改建的八叉树算法, 该算法借鉴了限制八叉树深度以减少叶节点的思想, 首先利用统一量化算法对图像进行初步处理, 以减少八叉树中节点的数目;然后建立简化了的八叉树, 并对其裁减;最后对图像进行误差扩散处理以提高图像的视觉效果。
1 基于内存映射文件法的屏幕DC截图法具体设计
1.1 内存映射文件技术原理
内存映射文件允许在Win32进程的虚拟地址空间中保留一段内存区域, 并将物理存储器中目标文件提交给该区域, 映射到这段虚拟内存之中;然后通过指针就可以访问内存映射文件内容, 如同这些数据放在内存中一样, 从而可以不必对文件执行I/O操作, 所有的I/O交互都在内存中以标准内存寻址方式进行。另外Win32系统的虚拟内存管理采用“页”的方式进行数据管理, 每页为4KB大小, 由虚拟内存管理器进行统一管理, 每次存盘读写时都以4KB页大小的秩序进行读写, 这样可以减少读写次数, 极大地提高读写能力[9]。
1.2 优化后屏幕DC读写屏工作流程设计
远程视频监控软件系统是运行在计算机上, 通过软件技术将在监控主机上成像的数据在其实时播放时截取下来。因为截取是一个完整的视频, 所以在抓取的速率上我们不能低于24帧/s, 因为人能够领受的画面显示速度普通为每秒24帧, 低于这一速度, 人就会感到画面阻滞而不适, 这也是优化读写屏的速率需求之一。同时为兼顾整体系统实时处理负载能力, 在抓取图像时, 能够根据视频的刷新率, 设置截图速率, 控制所抓取图像的数据量。优化后的屏幕DC读写屏的工作流程原理如图1所示。
在屏幕DC截图法中引入了Win32提供的一个函数CreateDIBSection () , 通过它可以创建一个存储DIB位的内存区域[10], 既可以执行相应的GDI操作[11], 又可以直接通过指向DIB位区域的指针方位DIB位区域。避免了图片资源选入后, 转化为DDB在时间和空间上的开销, 加快了读屏速度。Create File Mapping () 函数用来创建文件映射内核对象, 不分配进程的地址空间, 不占用内存空间, 因此在实际应用中通常是一次性把整个文件创建为内存映射对象。
Map Viewof File () 函数把文件中的数据映射到进程的地址空间中, Unmap View Of File () 函数解除文件内存映射, 系统将内存中的数据回写到磁盘。最后通过Close Handle () 函数关闭映射文件, 释放内存空间[12]。
在从内存中写文件时, 使用内存映射文件法可以节省页面空间和程序启动的时间, 特别是有利于方便应对同一台计算机上运行的多个进程能够相互之间共享数据的需求, 从而文件资源能被多个进程所共享。
2 基于八叉树颜色量化改进算法设计与实现
在监控网络通信能力不变的情况下, 每个像素点的颜色数据量越少, 网络负载压力就越小, 对远程实时视频监控系统可靠性的改善起到相当有效的作用, 例如, 将24位的彩色数据转换成8位色, 转换后的数据量相当于转换前的1/3。但是单纯直接地减少图像像素点数据量会不可避免地造成图像的细节失真, 严重影响图像的视觉特性, 为了使颜色量化重建的图像尽可能接近原始图像的效果, 尽可能减少人眼的视觉差异, 本文采用在基于频度量化算法中对均匀分布图像的量化效果上比较好的八叉树算法[13], 在统一量化算法对图像初步处理的基础上, 构建简易八叉树, 并通过限制八叉树层数减少叶节点简化量化处理过程, 降低算法的时间和空间复杂度, 提高处理速度, 以适应远程视频监控实时性应用环境。
2.1 八叉树颜色量化原理
如图2所示, 八叉树由根节点、内部节点和叶子节点组成, 在其内部的每个节点中最多有八个子节点。应用八叉树可以将立方体剖分为八个子立方体。如果剖分至第8层, 那么位于八叉树结构第8层的每个子立方体或叶节点表示了1 680万可能的颜色中的一种 (256256256) 。
假设所需量化的颜色数目C是2的幂次方, 如果连续地对低层次的子立方体所表示的颜色进行平均, 直到保留的子立方体的数目等于C, 则可得到一个均与量化的结果。但是许多立方体可能是空的, 因此量化的颜色空间没有被充分地利用, 这样就会在所得量化图像中出现颜色带状效应和走样现象。八叉树颜色量化算法在量化图像颜色的同时, 以增量的方式建立八叉树, 算法只存储那些表示量化颜色的叶节点。这样子八叉树颜色量化算法就充分利用了八叉树数据结构与三维空间的对应关系。对于C个量化颜色, 至多产生C个叶节点和C-1个中间节点, 所需的内存空间也就跟着极大地减少[14]。
2.2 构建八叉树
在前文屏幕图像采集中, 获取的是RGB信号, 但是原理上, LUV空间是与人的视觉相关联的, 如果在LUV空间上量化能得到更好的视觉效果。考虑到RGB空间与LUV空间中进行转换需要经过非线性运算, 消耗大量的系统资源, 为保证算法效率, 直接采用RGB颜色空间进行颜色量化。
在设定构建八叉树时, 本文采用一种改进的八叉树的存储结构[15], 其数据结构如下所示:
其中每个节点的数据结构中包括一个指向父节点的指针, 一个指向8个子节点向量的指针。另外还包括该节点对应的颜色出现的次数, R、G、B三位的颜色值以及节点代表的颜色在调色表中的索引值等五个字段。同时带有三个成员函数, 分别用于判断该节点是否为叶子节点;该节点是否为倒数第二层的节点;把子节点的R、G、B三位的颜色值及其颜色出现次数累加到父节点中。这种结构可以有效平衡空间和操作效率之间的关系, 能够适用于实时性要求较高, 内存空间有限的视频监控系统中。
在设定的RGB颜色空间建立八叉树包括两个过程:
1) 通过统一量化法对24位颜色数据取高位
即将R8∶G8∶B8量化成12位的R4∶G4∶B4, 获取的12位颜色信息作为八叉树中节点的坐标值, 其中RGB数据信息按照从高到低分别对应八叉树中的浅层级节点与深层级节点, 以此循环处理, 可以确保得到的八叉树的深度为4层。
2) 确定八叉树节点的坐标信息后, 从根节点纵向遍历八叉树
如果遍历到的坐标位置中不存在八叉树的节点时, 则生成该八叉树节点, 否则继续以RGB低1位的组合作为节点坐标。深入到八叉树的叶节点时, 应统计目前八叉树中存在的颜色数, 同时把该节点对应的颜色出现的次数, 以及颜色的RGB值累加到节点数据结构相应的字段中。
图像中每个像素均做以上两步处理, 直至图像中的每个像素均与八叉树中的叶节点一一对应, 此时便建立了整个如图3所示的八叉树。
2.3 八叉树的裁剪与图像质量恢复
在八叉树的裁减中, 对相同深度的节点取舍有两个标准, 即选择具有最少像素的节点或者悬着具有最多像素的节点。前者可以使图像的误差最小, 但是缺少对图像细节支持;后者可能在大范围的光滑区域中产生带状效应, 但是可以较好地保持图像中的细节, 达到反走样的效果[16]。在远程实时监控的应用环境中, 图像的轮廓和层次感对监控图像的视觉效果有着重要的影响, 我们要保证图像的误差尽可能的小, 因此, 在裁减具有相同深度的节点时, 本文采用首先删除具有最小像素的节点, 对图像细节的支持可以通过后续的误差扩散处理解决。
裁减八叉树的过程是以八叉树的颜色数是否大于256色作为裁减完毕的判断依据。当八叉树的颜色数大于256时, 便从具有最小像素点的节点开始裁减, 直到颜色数小于等于256。这样处理得到的调色表的颜色数的范围介于249至256之间, 能够符合调色表的设计要求。
八叉树的裁减过程先考察第3层的节点数是否大于256, 如果大于256, 则先把所有第4层的叶节点合并到其父节点中, 并对其进行裁减。然后进行自下而上的裁减过程。其设计思想是删除颜色次数出现最小的最底层父节点的所有子节点[17], 直到八叉树的颜色数小于等于256。关键步骤如下:
1) 从根节点开始遍历八叉树, 搜索出所有最底层的父节点;
2) 把这类节点存储在一个链表当中, 并以节点的颜色数作降序排列;
3) 把这类节点子节点的颜色数和RGB的值累加到该类节点中;
4) 此时在链表末尾端是颜色次数出现最少的最底层的父节点, 在链尾删除这种父节点所对应的所有的子节点, 这种最底层的父节点就变成了叶节点, 其本身所对应的父节点就成了底层的父节点, 重复步骤1) 向下循环操作, 直至八叉树的颜色数小于257为止。
对图像八叉树颜色数据结构进行裁减后会出现失去图像层次感, 轮廓现象明显等视觉上的不适反应, 本文又在颜色量化处理的基础上设计一个负反馈系统, 通过Floy-Steinberg误差扩散算法[18], 对当前像素的量化误差按一定比例扩散到邻接像素上, 局部的误差就在相邻像素上得到补偿。这种算法运算简单, 处理速度快, 所以适用于实时性的远程监控系统。
3 实现效果测试
3.1 优化后的屏幕DC截图法效率测试
为了测试优化后屏幕DC法的截图效率, 在同一软硬环境下, 以正在播放的Flash文件模拟需要截取的连续的监控画面。软件做了四次捕捉实验, 每次捕捉尺寸不同, 每次连续捕捉1 000帧, 捕捉一帧所需要的平均时间见表1所示。
如表1所示, 可以清晰比较出屏幕DC和优化屏幕DC二种截图法的效率。在传统DC屏幕截图法中, 即使是在尺寸比较小的时候 (如200200) 时, 抓取每一帧的时间是0.0625 s, 也就是说一秒钟抓取16帧, 其效率仍没有满足24帧/s以上, 结合文件内存映射技术后的屏幕DC法, 在截取尺寸在330240以内时, 基本上可以做到每秒钟抓取24帧以上, 所以在一定的条件下, 用基于MVF改进的屏幕DC截取法可以抓取监控屏幕中连续播放的视频图像, 这样子就完全可以满足监控画面的实时连续播放的需求。
3.2 基于改进型八叉树颜色量化算法静态效果测试
为了检验对所截取的监控图像的量化效果, 特别是检验图像经过颜色量化以后在层次感、颗粒感与轮廓变化上给人的视觉感受, 本文选择如图4 (a) 所示的原图进行静态图像试验, 分别对原图做了统一量化处理、改进后的八叉树裁减处理及最后误差扩散处理, 由图4可知改进的八叉树算法在颜色的数据量减为原来的1/3的情况下, 能够有效减轻在颜色渐变区域存在的带状现象, 颜色更有层次感, 在经过Floyd-Steinberg误差扩散处理后, 图像增加了颗粒感, 同时带状现象也进一步弱化, 从而进一步提高视觉效果。
为进一步验证改进八叉树算法在颜色量化算法上的良好性能, 根据图4所得实验结果, 利用式 (1) 来计算统一量化算法和改进的八叉树算法的均方差其中, M、N表示图像的大小, 即纵横两个方向上的像素点个数:R、G、B表示原始图像中每个像素的颜色RGB值, R'、G'、B'表示经过颜色量化处理后每个像素的颜色RGB值, 以上两种算法均方误差值如表2所示。如图4 (a) 所示, 进行均方误差分析的原图是24位的真彩色图, 具有了丰富的细节、平滑和阴影区域, 在检测算法性能方面很有代表性。从表2可以看出, 改进的八叉树算法比统一量化算法均方误差要小很多, 与人眼所观察到的图4 (b) 与图4 (c) 效果是一致的, 在改进的八叉树算法基础上所配置的Floyd-Steinberg误差扩散处理后, 均方误差增大了。这与误差扩散算法的原理是一致的, 它实际上只是把一个像素点的量化误差扩散到相邻的像素点上, 该过程并没有减少颜色量化带来的均方误差值, 但是它利用人眼的积分特性和低通特性, 在这种特性下, 人眼面对误差扩散后的像素群, 反而感到视觉效果获得提升[19]。
3.3 优化后的屏幕DC法与改进型八叉树颜色量化算法联合动态效果测试
经过以上对改进后的屏幕DC截图法和改进型八叉树算法分别测试后, 发现达到预想中的效果。下面把这两种方法结合起来, 通过所设计的PC端软件, 以桌面连续播放的视频来模仿工程应用上视频监控画面 (其中所播放的视频是播放速率达到30 fps (即每一秒钟播放30帧文件) ) , 进行整体性能测试。本文所设计的联合动态效果检测平台如图5所示, 使用基于MVF优化的屏幕DC法截图后, 经过如图5中的基于改进型八叉树颜色量化模块处理后, 紧接着根据图像的每个像素中存储的调色表的索引值查找对应的颜色值。经过重复以上操作, 把处理后颜色值保存在BMP的位图中。因为本方法设计的前提和目的是在远程视频监控通信网络传输负载能力不变的情况下, 降低网络通信负载, 保障实时性, 因此为不使网络通信协议以及后端硬件程序变动, 本方法直接把每个像素量化处理后的颜色值保存到数据帧中, 根据需要发送到后端网络, 即PC端软件同时完成数据解码。
如图6 (a) 所示, 经过联合动态测试实验平台所获得连续视频序列截图, 图6 (b) 是上述图像中第一帧图像的放大图。从图6 (a) 所示的软件系统在实时运行环境下在基于MVF优化的屏幕DC方法和改进的八叉树颜色量化算法联合对图像处理的情况下, 能够得到较为流畅的视频图像序列, 由图6 (b) 可见, 利用该改进的八叉树算法在实时环境中对图像进行颜色量化处理, 能够得到在静态环境下的图像效果。
4 结语
监控和数据采集 第11篇
【关键词】 大数据 通信网络监控 感知度
前言
在大数据的时代背景下，传统的通信网络体系设计已经不能满足客户随时随地进行高质量网络通信需求。运营商为达到随时随地的通信服务，就要快速的发现问题，及时派单，迅速修复。传统的通信网络体系只能通过对设备采集到的信息产生的报警进行分析，发现问题，形成工单派给各维护岗位，这需要通过工单的接受，执行、回复等一系列过程才能应急补救、消除报警、保持网络质量的现状，为了提高用户的感知度，提高网络通信的质量就必须改进通信网络监控的设计。
一、大数据的概念及研究应用价值
大数据就是收集海量信息，形成一个庞大的数据库，并对这些数据进行处理分析。数据化改变了人们传统的认识，把一切内容转化为数据，把不可能变成了可能，对引导商业行为，以及发展的方向有着重大的决策意义。大数据具有下载速度快、数据真实，数量庞大，数据类型多四个方面的显著特点，拥有大数据就是拥有信息。大数据应用范围非常广泛，不仅可以应用在计算机行业，而且还可以应用到医疗、能源、通信等行业。在大数据时代背景下，与之相关的数据分析、数据挖掘、数据安全等相关技术也得到开发，对计算机行业、通信技术等的应用具有重要的意义。良好的数据信息是政府，企事业单位做出决策的依据，是各个生产部门和管理部门生产发展方向的基础依据，通过对数据的交易处理获得巨大的经济效益在提高企业利润的同时也促进了GDP的增长。
二、大数据采集渠道、分析处理
大数据收集到的客户信息量巨大，数据有的来自网络通信的最底层，反应的是整个网络运行的情况，对分析问题，得出准确可信度的结论十分有利。同一个客户端在同一个点上会产生大量不同的信息，又在不同点上产生不同的上报信息。通过对大量数据的横向、纵向进行对比，这样更能得出真实的数据结果。实现以客户端为出发点和终结点的通信网路监控体系的设计，可以通过多种渠道对大量信息进行收集。①在大量的客户无线端上安装软件，它能够记录客户的经纬度，接收信号强弱，下载数据的速率，连接站点的标示，通话的质量，以短信或其他数据渠道方式上报给感知信息接受平台。②在宽带终端或客户计算机上安装软件，在记录客户位置的同时还能记录可上网的速率，丢包率。③设计能够完成无线、宽带、市电测试功能的模拟客户端的软件。把它安装在通信网络中的节点上，目的是记录客户位置，了解接受信号的强度，下载速率，通话质量，接通率以及丢包率。也可以把它安装在客户的接入点上，收集大量的网络情况信息，还能安装在车上，可以随时向感知信息接收平台发送收集到的路径信息，得知客户感知度。
在整个通信网络运行的过程中，通信设备、客户终端、感知终端，网络等都会产生大量的数据。收集大量的客户感知信息数据进入到承接各个节点的网络数据处理设备上，把信息进行区域划分，分类后存入数据库，然后结合已经有的网络数据结构库，资源库，和设备报警库进行对数据的处理，从而形成区域网络服务质量监控层。所以进行大数据分析是优化通信网络的最有效的方法之一。
三、大数据下的通信网络监控体系的设计
我们通过多种渠道采集客户感知信息数据，把采集到的大量客户感知信息整理存入数据库，进入区域网络服务质量系统，结合网络结构库，综合报警系统对数据进行处理。在区域服务质量数据处理层可以把各区域网络服务的质量用不同的颜色代替不同的等级，在一定的时间内，可以根据不同颜色的对比变化，迅速对产生这一变化的位置进行迅速的定位。进入工单控制层，针对找到的问题点，提出维护方案，每一个工单对应起岗位进行任务派送，优化了网络建设，促进了网络发展。通过对工单的接受，执行，回单过程的监控，保障了网络质量，提高了客户的感知度。
四、结束语
随着科技的发展，技术的更新以及智能设备的普及，网络通信发展越来越迅速。对数据的大量收集、功能分析、以及数据处理的分析，把客户感知度作为出发点和终结点的网络监控体系不仅改善了传统的通信网络监控设计的不足，也能够快速的发现问题，及时派单，迅速修复，满足了随时随地的客户感知，适应了时代对移动通信行业的发展需求，提高了网络通信质量，促进了通信行业的发展。
参 考 文 献
[1]冯登国，张敏，李昊.大数据安全与隐私保护[J].计算机学报，2014，01：246-258.
监控和数据采集 第12篇
关键词：地球物理,远程质量控制,地震施工
随着国内外石油勘探的发展, 施工的主要方向越来倾向于沙漠、沼泽、山区等地表情况负责, 通讯条件落后的地区。施工难度日益增大, 资料的获得越来越困难。因为, 为了最大程度避免物探生产因为质量问题发生复工, 提高监控、分析资料品质的水平, 野外地震数据质量远程控制系统成为施工单位的迫切需求, 也成为业内重要的研究方向。
一、地震数据采集质量监控的现状
1、物探野外生产多在自然环境恶劣, 交通、通讯条件差的地区, 给质监人员进行现场监控造成巨大困难。
尤其在海外勘探市场, 由于我国的项目多分布在安全形势不好的国家和地区, 为了保障中方员工的安全, 中石油、中石化等石油工程公司日益强调从管理上逐步开始推行用工当地化的理念, 虽在一定程度上降低了我方人员的安全风险, 但是同时也带来了无法实时查看生产记录质量的问题。利用无线网络传输技术, 实现远程监控野外现场采集到的地震数据将大大降低人员发生危险的概率, 提高数据监控水平, 能够及时发现问题, 避免复工出现。
2、长期以来, 野外地震数据采集主要的质量监控手段就是采用现场回放监视记录。
但由于不能进行量化的判断, 不同经验或不同知识背景的人员, 对于噪音的表现常常有不同的认知, 直接造成对于资料品质有一些不一样的评价。同时, 对于由于现场缺乏一些数据分析的手段, 对于直接决定资料品质的主频、信噪比等重要指标无法进行科学、量化的评价, 造成对于一些资料评价不准的现象出现。
3、近年来, 随着油公司越来越要求精细刻化勘探目标, 地震采集的越来越倾向于大规模、高精度, 高精度高分辨勘探采集的道数动辄上万道, 传统的记录回放方式已远远无法满足现在的地震数据采集工程的需求。
虽然目前采用抽取少量排列来绘图的方式来解决了绘图仪速度低和消耗大量纸张的问题, 但监控地震数据的力度也大幅降低, 不利于快速分析数据质量, 达到监控生产质量、快速反应解决问题的目的。
4、在复杂地表、复杂地质条件工区施工时, 数据易收到各种干扰的影响, 及时通过多种技术手段进行数据分析, 才能确保对地震采集数据有直接的、有效的监控。
采集操作者所要管理、操作的设备量及要分析、监控的数据量都随之剧增, 仅仅依靠人工分析、监控的手段越来越不能满足科学化、高效化监控数据的要求。在现在的野外物探生长中, 越来越迫切希望在保证远程数据监控的同时, 充分利用计算机处理技术, 针对现场生产记录进行定量分析和智能判断。
由此可见, 传统的地震仪器采集质量监控方法和手段已不能适应地震仪器记录容量的迅速扩张和当前对采集质量现场实时监控的要求, 制约了生产效率的提高。因此, 考虑如何通过计算机技术、网络技术和地震数据处理技术的结合实现真正的实时质量监控和数据分析, 通过系统的远程访问与共享改变传统的现场操作人员分析地震数据的情况。
二、当前国际技术现状
近年, 法国SERCEL公司针对远程数据访问和管理专门研制了相关的服务软件:Esqc-pro, 通过互联网或局域网, 任何经过授权的PC机终端可以对地震采集数据进行质量监控。该软件在经过多年的测试, 证明了其性能的可靠性, 在越来越的地震队伍上得到应用, 大大提高了远程数据监控的水平。
在目前, 凡是配备了SERCEL408UL及更先进的SERCEL采集系统的地震队伍, 均可以利用安装在工作站上的SQC-PRO软件对野外地震数据进行监控和数据分析。通过以太网连接到中央记录单元, SQC-Pro在地震数据记带的同时, 读出SEGD格式的文件。此外, SQC-PRO还具有分析数据的能力, 如由于仪器的原因出现的坏道都能用红颜色标志出来;在每一地震道上方, 可以实时计算几个地震属性, 如环境噪音、信噪比和频率成份;可以进行故障分析, 有历史数据统计显示, 显示炮记录属性, 如坏道的数目, 平均噪音和f-k滤波后对连续炮记录相关, 所有这些属性都会作为ADS文件, 以SEG规定的格式存储, 以备用于报告和数据处理。
e SQC-Pr o是在SQC-PR O软件基础上发展起来的, 它具有更为强大的功能, 就是利用网络实现远程实时地震数据控制和分析, 它由服务器软件包和客户端软件包组成。在仪器上, 服务器软件包安装在独立工作站或普通计算机上, 可以对SEGD格式数据进行分析, 显示并可分析地震数据属性, 同时在客户端上, 可以获取并显示出相应的分析结果和数据, 从而达到远程数据监控的作用。
三、野外地震数据质量远程监控系统应用实例
e S QCP r o系统比较典型的应用是在SA震源采集项目中的应用。SA区块位于沙漠中, 由于采用了2组震源同时施工, 施工速度很快, 因此甲方对于采集数据质量高度重视。为了确保远程数据监控, 以达到实时监控的目的, 施工方在仪器上安装了e SQC-Pro系统, 并安排了专人进行现场数据分析和监控, 并在基地中安装了多台客户机实时跟踪监控数据和分析记录。在数据连接方面, 采用了网络服务商提供的卫星通讯系统介入INTER NET, 以满足远程监控系统的通讯问题。
硬件配置完全按照企业网远程结构标准分布, 为了保证仪器车移动灵活, 在仪器车上没有安装专用的VSAT VAN, 而是安装了便携式RBGAN天线。RBGAN天线具有重量轻、转发信号强的特点, 克服了使用VSAT VAN时限制仪器移动速度的问题。由于借助公共网络联人企业内部网, e S QCP r o系统登陆时使用HTTP协议, 在使用代理服务器时还需要启用1E浏览器使用的80端口, 因此使用客户机登录到e S QCP r o系统服务器时需要使用远程登陆方式, 并正确设置代理服务器, 再将代理服务器的地址作为服务器地址登陆, 即可联入e S QCP r o系统。这样投资方的技术人员在自己的公室内就可对几百公里以外采集的地震数据进行实时分析和质量控制。
e S QCPr o在SA的野外试验和应用证明了其可靠性, 通过互联网、局域网而实现对数据的远程监控对于当今物探行业人员安全方面将起到巨大的作用。事实证明, 该技术在生产中具有很大的潜力, 在作业过程中, 实时监控的实现有利于甲方发现施工问题, 及时更正、知道作业方;而乙方总部技术人员也可进行远程数据操控, 有利于进行高效管理和科学的实时的质量监控。
四、结论
全新的地震数据现场质量监控模式及其强大的现场监控能力, 正在颠覆着几十年来地震勘探数据采集现场质量监控的传统模式和习惯。借鉴国外的先进经验, 充分利用Sercel428XL仪器的支持远程传输的功能, 配套相应设备, 实现远程地震采集质量监控系统, 将大大提高我国物探行业远程质量控制的水平, 对于保障资料质量, 确保施工进度, 将起到不可估量的作用。
参考文献
