存储访问范文（精选7篇）

存储访问 第1篇

关键词：图,算法,存储

0图的算法

关系数据库可以用结点表和边表来表示图，可以执行简单的操作，例如get—Successor()。然而，基于关系代数的查询语句对许多图操作，如最短路径，就无能为力了，这些操作要用到传递闭包。图遍历算法是所有路径查询的计算基础，它沿着图的边，通过从一个结点到另一个的遍历来搜索路径。路径搜索是一个递归的操作，因而要不断把结点的邻接表从磁盘读到内存缓冲区中。所以，为了使图操作的查询处理更加快速、有效，必须对图算法进行特别的设计，以使其I/O代价达到最小。

常用的图遍历算法例子有：广度优先、深度优先和Dijkstra算法。

1 图算法的趋势：空间网络存取方法

查询语言中增加的图操作影响到许多数据库组件，如查询处理策略、存储和访问方法。传递闭包的处理可以采用BFS或者DFS策略，而计算部分传递闭包更多地是用Dijkstra算法。最短路径计算还有专用的策略。CRR是一种与数据结构无关的度量，其最大化的存储和访问方法可以提高图操作的I/O效率。专门的聚集方法CCAM采用最小分割的图分区算法来聚集结点记录，以使CRR最大化。

CCAM(一种连接性聚集的空间网络存取方法)通过图的分区来对网络中的结点进行簇集。此外，可以采用一种辅助的二级索引来支持Find()、get—a—Successor()和get—Successor()操作。可以针对具体的应用来选择二级索引，有些采用带Z序的B+树。为了适于应用，还可以创建其他存取方法(如R树和网格文件)作为CCAM的二级索引。CCAM的思想是：对于每个结点来说，一条记录保存了结点数据、坐标值、后继列表和前驱列表。一个后继列表(前驱列表)包括一组引出(引入)边，每条边用其终止结点(起始结点)的结点ID和关联的边的代价表示。

CCAM通过最大化CRR的图分区方法把结点分配到数据页中，尽量让每个数据页保持至少半满的状态。数据文件的记录不是按结点ID值进行物理排序的，若不对结点进行重命名来使结点ID中包含磁盘信息，就无法创建一个主索引，并且在更新操作会有一些额外开销。因此，可以在数据头文件上创建一个二级索引，数据文件中的每条记录对应一个索引项。

如果网络嵌入到地理空间中，则每个结点的坐标(x,y)也保存在记录中。因而，在坐标(x,y)上的空间索引方案就可以作为二级索引，这样的二级索引可以支持空间数据库上的点查询和范围查询。

路径计算查询和网络数据库的一般管理，都需要高效支持下列查询：

前四个操作不仅适用于图，也适用于许多常见的数据结构。Get-Successors和Get-a-successor操作是图应用所特有的，因为这些应用要通过连通性和遍历顺序来访问数据，而邻近关系在网络操作中起着次要的作用。Get-a-successor操作检索给定结点的一个后继结点，Get-successors则检索给定结点的所有后继结点。Get-a-successor主要用于图搜索算法，例如Dijkstra算法。尽管Get-successors和Get-a-successor操作可以实现对相关后继结点的一系列Find操作，但通过定义其单独的操作，实现可能更为有效。网络的许多路径查询(包括线路评估和路径计算)的I/O代价中，get-successors和Get-a-successor操作占了很大一部分。

2 网络操作的I/O代价度量

对于空间网络来说，光有点查询和范围查询的I/O度量方法显然是不够的。这是因为网络中的关系是受连通性而不是受接近性关系影响的。就网络操作的I/O代价而言，一种简单并且直观的度量方法与非分离边的数目有关。如果一条边的两个端点位于同一个磁盘页中，那么它是非分离的;如果一条边的两个端点位于不同磁盘页中，就说它们是分离(split)的。

考虑图一所示的图以及它的结点关系和边关系。结点关系的属性包括结点ID、x和y的坐标值(未在图中给出)。边关系的属性有源、目的和权重。权重属性可以用来表示边的空间、时间和统计信息，如距离、旅行时间和边的使用频率。

假定结点关系是按结点ID属性值进行物理聚集(如图一所示)，并且一个磁盘页可以容纳node关系的两个元组，即结点1和2在同一个磁盘页中，另外有两个磁盘分页分别包含结点(3,4)和结点(5,6)。这时，检索结点1的邻近结点表的操作get-Successors(1)就要遍历一个非分离边(1,2)和两个分离边(1,5)、(1,6)。如果我们可以簇集使非分离边的数目达到最小的结点，那么就可以减少网络操作的I/O代价。连通性剩余率CRR(Connectivity Residue Ratio)的定义是:

CRR=非分离边总数/边的总数

可以看出，最大化CRR将会最小化像get-a-successor()这样的网络操作的平均I/O代价，并且也常常能减少get-successors()的代价。作为示例，考虑刚才提及的分页模式的CRR，对于图一给出的页(1,2)、(3,4)、(5,6)，它的CRR为3/8=0.375。如果每个页面可以容纳三个结点，那么就可以获得更高的CRR。例如，CRR((1,2,3)，(4,5,6))为4/8=0.5;CRR((1,5,6)，(2,3,4))为5/8=0.625。

参考文献

大容量图片的存储和访问 第2篇

目前大部分企业所使用的单片机测试平台为MCS-51系列单片机中的AT89LV52[1]。在图片显示测试中, 单片机用来存储经过编译的主程序部分, 如果待显示图片数据很小, 可以和主程序 (不能超过8 KB) 一起烧录在AT89LV52中。但图片数据较大时, 特别是彩色图片, 大小往往达到几兆, 此时就无法实现图片的存储和显示。为解决这个问题, 则需要片外扩展EPROM, 单独存储图片数据。本文选用的IC型号为W27E040[2]。与此同时, AT89LV52片外寻址能力达不到W27E040的512 KB。为充分利用EPROM的资源, 需考虑实现EPROM的512 KB片外寻址地址完全用于图片的存储。

1512 KB片外寻址的实现方法

AT89LV52为Atmel公司生产的低电压8位MCU, 带8 KB可重擦写闪存。W27E040为Winbond公司生产的可电擦除的EPROM, 容量大小为512 KB。它们的引脚定义分别如图1所示。

AT89LV52片外最大寻址能力为64 KB, 采用外部扩充存储器时, 单片机的P0口和P2口分别兼作地址总线的低八位 (AD0～AD7) 和高八位 (AD8～AD15) 。为了使单片机能够访问到W27E040的所有地址, 单片机的P0和P2口同W27E040的地址总线A0～A15相连接, 单片机的端口P3.4, P3.5, P3.6分别和W27E040的地址总线A16, A17, A18相连接。这样, 就可以通过在软件中对端口P3.4～P3.6进行控制, 分步实现对所有512 KB内存地址的访问。实现及对应关系如表1所示。

在显示过程中, 需要存储较多的图片数据时, 可以采用在编程过程中分别控制P3.4, P3.5, P3.6数据口, 来实现多达8幅不同的图片显示[3]。

2存储容量和点阵数的关系

64 KB内存的总容量为:64×1 024=65 536 B;

512 KB内存的容量 (W27E040) 为:512×1 024=524 288 B;

换算成可存储的显示像素分别为:65 536/2=32 768个和524 288/2=262 144个;

128×160点阵, 像素共有20 480个;

176×220点阵, 像素共有38 720个;

240×320点阵, 像素共有76 800个。

点阵越多, 需要占用的存储器容量就越多[4], 显示图片时, 要实现65K色显示效果, 512 KB内存的容量理论上最多可以存储128×160点阵的彩色图片为12张, 176×220点阵的彩色图片为6张, 240×320点阵的彩色图片为3张[5]。

3大容量图片的存储和访问

假设彩色LCD屏如果为128×160点阵, 共有20 480个像素, 对应的显示图片完全可以存储在64 KB容量的存储器中。如果大小为176×220点阵的, 就有38 720个像素点, 占77 440 B, 超过了64 KB, 采用P3.4～P3.6的单一组合来寻址访问已经满足不了要求, 可以采用下面的方法来解决。

把图片分割成两幅, 例如可以分为176×120, 176×100两幅图, 或者可以分为176×180, 176×40两幅图, 并分别转换成数据烧录进W27E040, 同样可以用程序实现对整幅图片的显示, 以一幅图片分为176×180, 176×40两幅图为例, 具体实现过程如下:

(1) 用Windows附件中自带的画图软件把大小为176×220个像素点的图片, 分割成大小为176×180及176×40的两幅图 (图片格式为24位位图) , 如图2所示;

(2) 用转图软件分别转换成65K色显示的数据, 一般转为二进制格式的文件[6];

(3) 用烧录器把176×180对应的数据烧写到W27E040中开始地址为000000H的空间, 176×40对应的数据写到开始地址为068000H的空间[7];

(4) 通过编程控制端口P3.4～P3.6, 先后访问两处地址, 实现整幅176×220图片的正常显示[8]。

在现有的主控板和IC芯片的情况下, 采用上面的分割方法和指定数据存储地址的不同, 可以最多实现6幅图片的显示 (176×220点阵) , 实现过程如表2所示[9]。

表中的Bi和Si分别代表较大的图片 (176×180) 和较小的图片 (176×40) , 当然, 图片的储存位置也可以有其他组合方法, 上面的组合只是其中的一种。

4程序实现

第1幅图片 (176×180) 存储在开始地址为000000H的空间, 第2幅图片 (176×40) 存储在开始地址为068000H的空间, 下面的程序实现了对两个不同地址的访问[10], 从而形成一整幅图片 (176×220) 的正常显示 (程序中PIC1 () , PIC2 () 分别为显示176×180, 176×40的图片子程序, Delay () 为延时子程序, A1, A2, A3分别代表P3.4, P3.5, P3.6) :

5结论

本文通过扩展EPROM实现单片机超过8 KB图片的显示, 通过简易的AT89LV52加 W27E040组合, 使用单片机的P3.4～P3.6口作为控制口, 运用图片分割的思想, 充分发掘W27E040的存储资源, 实现大于64 KB图片的存储和访问。

参考文献

[1]At mel Coporation.8-bit microcontroller with 8 K bytesflash[M].USA:At mel Corpation, 2009.

[2]Winbond Electronics Corp..W27E040, 512K X8 electrical-ly erasable EPROM, winbond[M].Hongkong, China:Winbond (H.K.) Ltd., 2007.

[3]胡汉才.单片机原理及其接口技术[M].3版.北京:清华大学出版社, 2010.

[4]冷星星, 何小海, 刘凤民, 等.高压缩低损耗图像编码算法研究[J].成都信息工程学院学报, 2008, 23 (2) :182-186.

[5]李维褆, 郭强.液晶显示应用技术[M].北京:电子工业出版社, 2000.

[6]刘洋, 白瑞林, 支强.基于C#的图片点阵数据提取和转换软件的开发[J].计算机应用与软件, 2009, 26 (5) :169-171, 197.

[7]黄璜, 胡志桐, 贺汀兰.控制芯片的烧录装置及方法:中国, CN101470410[P].2009-07-04.

[8]温称兵, 汪波涛, 陈学刚.一种液晶显示模组及液晶显示面板:中国, CN101571631[P].2009-11-04.

[9]郭改枝, 张鹏举.单片机控制液晶屏接口电路的设计与实现[J].内蒙古师范大学学报:自然科学版, 2010, 39 (4) :425-427.

光传输网管海量数据存储访问研究 第3篇

随着光传输网络的发展,网络规模越来越大,业务越来越复杂。采用传统关系数据库,通过数据库接口直接与其他模块进行交互的方法已经不能满足急剧增加的网元数量。因此,提高网管数据库系统的容量和效率迫在眉睫。本文提出一种基于缓存和主从技术的分布式数据库系统构架,能有效地解决此问题。

1 光传输网管数据库发展现状

光传输网管系统包括GUI(图形用户界面)、后台处理单元和数据库3大模块。数据库模块为满足对网元设备的实时监控,承担了所有网元的配置数据、告警数据和性能数据的增删改查操作。传统的数据库模块是单数据库服务器模式,所有网元的告警性能数据都放在一个数据库服务器上。对于百万级的告警性能数据,此种模式还能勉强承受。但随着入网网元的增加,告警性能数据呈线性增加。如某运营商的传输本地网管理的网元数量达到3 000时,性能数据一天就能达到500万条,一个月的性能数据量就是1亿5千万。单服务器模式下,就会经常出现插入、删除速度太慢,用户无法忍受甚至宕机的情况。

目前,网管系统常用的海量数据库处理方法是对数据库进行分表,将一个海量的数据表拆分成若干个较低量级的表,以减轻单表处理的负担。虽然此方法能在一定程度上提高数据库的插入和查询效率,但并没有从根本上降低数据库系统的压力。数据库仍为单服务器模式,整个数据库的数据总量并没有减少,一旦数据量继续增加,系统仍会出现效率低下的问题。而且,分表后数据的处理逻辑更加复杂,增加了编码时间和难度。因此,如何存储如此海量的数据,从根本上解决告警表的查询删除效率和性能表的插入查询效率是我们需要关注的。

2 海量数据库系统的架构

针对以上问题,本文提出了一套海量数据库系统,如图1所示。该系统由客户端、数据库接口层、数据库服务层和数据存储层4部分组成。数据存储层采用分布式存储的多数据库服务器模式,将性能和告警数据分别存储在多个相对独立的计算机中,让多个计算机共同分担数据库的存储压力。此种方式较传统的分表法,能从根本上降低单个数据库的存储压力,解决海量数据的存储问题。同时,为了进一步优化数据的插入查询速度,数据存储层运用主从技术和Memcached缓存技术结合的方式,以实现读写分离并缓存常用查询。在传统的单服务器模式下,当数据库正在进行写操作,同时有几个读指令发出时,如果此时写操作效率很低,则读取操作将一直处于等待状态。对用户而言,这是很难忍受的。主从架构中,主服务器只负责处理数据的写入及更新操作,所有的查询操作则交给从服务器协同负责,以此分离数据的读取和插入操作。这种方式能有效地降低传统方法中读写线程间的互斥几率,提高数据库的处理速度。缓存技术将常用的查询结果缓存至内存,当再次用到此查询时,客户端无须再从本地磁盘中检索,而是直接从内存中返回结果。由于访问内存的速度远远大于磁盘,因此缓存方式能进一步加快数据的查询。与传统单服务器架构相比,这种主从方式与缓存技术相结合的架构在读写效率上得到了很大的提高。

3 海量数据库系统的实现

3.1 集群策略

集群技术[1]即松耦合的一组计算机,其中每一台计算机称为集群中的一个节点,这些节点通过高速网连接起来,统一作为计算机资源工作,对外部世界形成一个透明的系统映像。集群技术可以将一个大的逻辑表划分为多个物理表。比如一个1亿数据量的性能表分别存储在10个数据节点上,每个节点上的性能数据就只有1 000万,表的负载减轻为原来的1/10。但数据以何种拆分策略分布式地存储于各个数据节点,又以何种合并策略返回查询的数据,成为集群技术考虑的关键问题。

3.1.1 数据拆分策略

集群技术主要运用水平分片的方式,对于表中的某个分区字段,按一定的规则将数据横向切分,放入不同的数据节点中。常用的数据拆分策略有Range[2]、Hash和Consistane Hash等3类。

Range分区简单易行,但是扩展性不好,也可能出现数据分布不均匀的现象。Hash算法虽然具有分布均衡的特点,但增删数据节点后,数据将重新分配到数据节点,从而影响缓存的命中率。Consistant Hash算法弥补了二者的不足,当新增一台数据节点服务器时,只有在增加服务器地点的逆时针方向的第一台服务器会受到影响。此种算法最大限度地抑制了数据的重新分布,海量数据库系统就是采用这种拆分策略。

3.1.2 数据合并策略

数据合并策略相当于数据拆分策略的逆向操作。首先求出SQL(结构化查询语言)语句条件的Hash值序列,然后在此Hash值对应的一系列节点中查询,最后将每个节点返回的数据合并后按照一定的顺序排列即可。

3.2 主从策略

主从架构是指通过复制将一份原数据复制出若干个副本。当请求量很大时,主服务器只负责数据的写入操作,而读取操作由从服务器一起承担。在海量数据库的访问中,此种方式能提高系统查询处理的并行度,有效地提高数据查询的效率。这一切的前提是主服务器和从服务器的数据是一致的。当数据更新时,仍然保持主从服务器数据的一致性,是主从架构关注的重点。

一致性分为强一致性和弱一致性[3]。强一致性是指对数据的任意修改都将同时作用到该数据的所有副本上,所有的副本在任何时刻都保持一致。弱一致性是指修改消息首先传送给一个副本,然后异步地传送给其他副本,最终每个副本都会接收到修改消息,从而达到一致状态。强一致性对硬件的要求非常高,一旦某个副本不可用,则可能导致整个系统瘫痪。与强一致性相比,弱一致性在副本之间传播更新的速度更快,我们的应用中采用了弱一致性。

3.3 Memcached策略

Memcached[4]是高性能的分布式内存对象缓存系统。每个被存取的对象都有一个唯一的标识符key,存取操作均通过这个key进行,保存对象到内存中,这也是为什么Memcached能够如此高效快速的原因。对于访问很频繁的数据,Memcached可以大大降低数据库压力,提升系统执行效率。当对Memcached中的数据更新和删除时,需要同时在Mysql数据库中进行同样的操作,因此在光传输网管系统中仅对性能数据进行Memcached缓存,对需要频繁删除的告警数据不缓存。

3.4 数据库访问处理机制

海量数据库系统查询更新机制流程图如图2所示。首先,客户端发送Select/Update语句。数据库接口层根据SQL语句判断其是否为查询语句。然后分别处理如下:

(1) 更新机制

若SQL不是以“Select”开头,则此任务为更新。将SQL传递给Mysql API,在Mysqld(Master)主服务器上更新相应的数据库表。同时,修改日志记录当前更新的情况。Mysqld(Slave)从服务器通过读取日志信息进行数据复制更新。

(2) 查询机制

若SQL是以“Select”开头,则判断为查询语句。对此SQL语句进行MD5算法处理,使输出为一定长的散列值。以此散列值作为键key,调用Memcached的接口Libmemcache,查找内存中是否存在此key。若在内存中查到了数据结果,则返回结果集;若在内存中查不到所需数据,则通过Mysql的接口Mysql API在Mysqld(Slave)从数据库中查询,返回查询结果集并将此结果集作为value,将此key-value通过Libmemcached缓存至内存,等待下次查询时调用。

4 实验内容与结论

为了获得海量数据库系统在光传输网管中的效率,我们在相同配置的计算机上对传统的数据库分表法和本文提出的基于缓存和主从技术的分布式系统做了对比实验。实验中对一个拥有3 000个网元的光传输网管进行测试。其中,分布式系统中计算机节点数为4,Memcached分配1 GB内存,通过以下几个方面进行比较:(1) 告警查询:查询1 000条告警数据;(2) 告警删除:删除1 000条告警数据;(3) 性能插入:插入1 000条性能数据;(4) 性能查询:查询1 000条性能数据;(5) 读写并发:在运行(4)的同时,插入1 000条性能数据。实验结果分别如表1和表2所示。表1中,告警表数据量为1千万,性能表为2百万,两表均无索引。表2中,告警表数据量为1亿,性能表为3千万,两表均无索引。

对比表1、表2发现,Consistane Hash策略的分布式主从法较其他方法在告警查询删除、性能插入查询、读写并发方面效率明显提高。并且随着数据量的继续增加,分布式主从法的优势更为突出。分析数据可知,查询删除速度与分布式数据库的个

数成反比,与“整个数据压力由各个计算机节点共同分担”的理论分析一致。传统架构中,读写并发速度相当于插入和查询的和;主从架构中,读写并发速度与插入速度接近。

实验结果表明:海量数据系统中,Consistane Hash策略的分布式架构能有效地将海量数据压力分散到各个计算机节点,具有较高的查询、删除效率。在读写并发比较频繁的系统中,主从技术能分离读写操作,减小读写数据库的互斥几率,有效地提高读写并发的效率。

5 结束语

信息迅速发展的今天,海量数据是发展的必然趋势。本文提出了一套支持扩展的海量数据存储访问的系统。当数据量继续增大时,可以通过增加数据节点和Memcached缓存的方式来满足要求。同时,主从的方式使系统可靠性大大提高,当某个服务器宕掉时,数据库服务仍然可以继续工作,不影响系统的运行,具有很强的实用价值。

参考文献

[1]赵瑞峰,汤晓安,干哲.基于集群技术的海量数据存储技术研究[J].微计算机信息,2010,26(6-1):196-198.

[2]李文杰,周剑华.分布式应用层中间件的设计[J].微型机与应用,2011,30(5):12-14.

[3]周婧,王意洁,阮炜,等.面向海量数据的数据一致性研究[J].计算机科学,2006,33(4):137-140.

存储访问 第4篇

关键词：Android 数据库,网络,JDBC

引言

Android手机的广泛应用,与Google公司提供了开放源代码和方便程序员使用的API密切相关。与此同时,硬件容量的不断增大和其成本的降低,也导致越来越多的人选择智能移动设备。网络化时代的到来,要求移动设备具备快速、准确、安全地从网络中获得和发送数据。人们生活节奏的加快,导致了手机与手机之间,手机与网络服务器之间的交互异常频繁。传统的文件存储数据,轻量级的SQLite手机本地数据库存储,以及简单的Shared Preferences存储和Content Provider存储,已经不能满足人们的需求。基于超大容量的网络应用将为移动开发带来新的生机和活力。

1 传统的数据存储与访问

传统的数据存储与访问主要运用到了文件存储技术,小容量数据可采用Shared Preferences存储技术,对SDCard卡中的数据进行读写操作。SQLite数据只能对数据库进行简单的CRUD操作,数据类型也不能太复杂和数据容量不能太大。对数据存储的优化和系统调优非常困难,手机的数据处理速度较慢。多个应用之间的通信采用Content Provider数据传输技术。但这些存储数据都是相对小容量的简单数据。

手机中数据传统的存储方式是,把数据存储在手机自带的存储空间中(可以运用java的IO技术来对其进行数据的处理),数据以文件的形式存放到手机自带的存储空间或者SDCard中。但用户需要这些数据时,就可以从其进行读取。在软件开发过程中,如果要使用SDCard进行数据的处理,首先要判断其是否存在和写保护。还要在属性文件中配置SDCard的权限配置。这样繁杂的操作,对用户和开发者都很痛苦。即使现在的硬件很便宜,而且手机也支持大容量的硬件设备,但这与海量的网络数据是无法相提并论。

2 网络的数据存储与访问

尽管手机的硬件容量在不断地提高,但是相对而言,其对数据的处理能力还是比较小,在手机上扩大硬件容量的成本是比较高的。现在大多数的Android项目都是基于网络的C/S模式,通过强大的网络服务器对数据的预处理后显示在手机上。这样做不仅仅解决了手机处理数据的负担,对数据的及时更新发布也带来很多便利。对于程序开发人员来说,可以分离基于Android的网络开发和基于Android的客户端开发提供了很好的分工。

因为Android手机已经安装有一个SQLite数据库,对于一些小型单机版的软件开发可以使用其进行数据的基本处理。SQLite由于其轻量级在移动平台开发得了广泛的应用,但是它对数据的处理能力和对事务的操作相对于服务器的数据库来说,是非常的逊色。正如本文前面提到的,服务器的数据库对数据进行预处理后,再交给Android手机来处理,这样就能各尽其责。

3 网络的数据存储与访问的技术实现

网络数据采用数据库存储(比如Oracle、DB2、SQLServer、My SQL等数据库),通过JDBC(或者是基于JDBC的ORM产品,如My Batis、Hibernate等)建立起数据库和服务器间的连接。然后服务器对数据进行处理后发布到网络上,数据在网络里传输到达手机,手机在对来自服务器的数据进行相应的协议解析数据。手机通过服务器提供的Uri对服务器进行访问,服务器端的应用程序根据发过来的Uri信息处理数据。这样就建立起了从数据库到服务器再到手机客户端的连接。

其中,现在服务器和手机之间传输的数据格式比较流行的有XML和JSON。很多服务器都提供以上两种格式,但由于Android系统已经对JSON的数据格式进行了封装,所有处理JSON格式的数据要比XML效率高。本文也就采用了JSON数据格式,来把服务器端的数据传输到手机中,手机接收到信息后解析JSON数据。

4 结语

本文从实际开发的角度来研究的Android手机网络数据的存储与访问。通过Android手机访问具有超大容量的网络数据库,可以实现手机数据的无限化。使人们能够在任何地方,任何时候及时获得需要的数据。

参考文献

[1]Michael Galpin,Software architect,eBay.UsingInternet data in Android applications(Parse XML,JSON,and protocol buffers data)

[2]Wishal Rampal on May 25th 2012.How to DoubleYour Data Plan for Free With Onavo Extend

[3]黄锦川,金炜东.基于Android平台Web服务的应用研究.西南交通大学

[4]张富,江冰,黄佳,乔彬彬.基于Android的个人云安全存储系统.河海大学

[5]尹京花,王华军.基于Android开发的数据存储.成都理工大学

存储访问 第5篇

云存储是在云计算(cloud computing)的概念基础之上延伸和发展而来,它是指通过高速网络技术、分布式文件系统以及集群技术,将网络内部不同类型的存储设备通过应用软件集合起来协同工作,共同对外提供数据存储和业务访问功能的一个系统,企业或者个人用户则可以通过云服务提供商(Cloud service pro vider,CSP)购买云存储服务,用来存储自己的数据。云存储具有显著的优点,如可以很好的弥补客户软硬件的不足,减少因为技术问题而造成的数据损坏或丢失的风险,同时由于云存储系统均为分布式架构,可以给用户提供更好的跨区域数据存储和使用体验。

1 系统总体设计

1.1 问题定义

现有密钥管理方法主要是基于密钥推导图LHG(LHT)[4]方法来进行密钥管理,但是这类方法仅着眼于对单个用户的推导图进行优化,以便达到用户的密钥管理代价、用户推导图的最小化。然而,这种方法从系统全局的角度考虑,却存在如下问题:无法避免系统中不同的数据拥有者和使用者之间存在着大量的权限覆盖、重叠现象,从而导致系统的全局数据密钥和系统全局的密钥推导图存在大量的冗余信息,造成管理密钥难度增加,效率降低的问题。

针对以上问题,本文提出基于全局逻辑层次图的密钥管理和推导机制来对云存储环境下的多用户密钥进行高效的管理。本方法在保证文件的安全(即密钥安全保存)的前提条件下,实现最小的全局密钥使用量和最少的密钥传输量。

1.2 设计方案

首先本文使用矩阵来表示全局用户的密钥访问授权策略。其中表示用户集合, 表示用户发布的数据集合。即得到公式(1)。

并且表1展示了一个全局访问控制矩阵的示例。在表1的中,的访问控制列表可以表示为公式(2)。

同时本文定义每个用户所能访问的数据集合(access capab lity,ac)可以表示为公式(3)。

同时为了区分用户,我们按照用户的不同性质,定义了以下用户类别:

(1)数据加密用户:数据加密者是数据的拥有者,同时也一定是数据的发布者或者是数据的更新者。

(2)密钥管理用户:密钥管理用户负责生成和管理数据密钥,其拥有该数据密钥的访问权限,但不一定是数据加密用户。

(3)代理重加密用户:其主要利用转换密钥对密文执行代理重加密操作,从而得到可以利用新生成的密钥解密的新密文。代理重加密技术详见文献[9]。

同时我们对密钥推导图进行建模,得到其模型,该模型具有如下属性:

(1)我们使用R来表示系统中的所有密钥管理者。则系统的设计目标是:

即R中所有用户的的并集可以覆盖整个系统的数据集D,同时也可以保证R中的用户数量最少。

(2)用V表示G中所有数据节点的集合。其可以被分为3类:根节点、实节点和虚节点。根节点表示其由上一属性中的用户R集合直接生成,实节点则由数据的ac直接生成,虚节点则是根据数据节点G中密钥推导的需要而生成。

由于可信云存储系统本身具有高计算能力、大的存储空间和高系统稳定性,因此密钥推导图的结构构建、存储和更新处理等任务均在云系统中执行和存储,具体的实现步骤如下:

第一步:根据计算最小用户集合R。寻找最小用户集的本质是计算最小集合覆盖问题,本文通过改进贪心算法获得最小用户集R。

第二步:根据和R集合构建等价密钥推导图结构{V,E}。构建等价密钥推导图则需要按照步骤1 的R集来生成初始点集合V,其中包括了所有的根节点和实节点。得到集合V之后,需要构建边E,在本文中采用了边集合构建算法[2]来完成。

第三步:根据密钥推导图结构,在云存储平台的各个前端执行自己所负责的数据的密钥生成,分发任务,并且完成定期的更新操作。基于以上两步已经构造了等价密钥推导图之后,在可信云存储平台为每个节点生成一个公开的密钥值,记作Pubi,继而由所有的KM生成并分发各自所负责节点的密钥值。

第四步: 根据密钥生成并分发后,完成动态访问控制支持策略。

2 安全性分析

本文基于全局逻辑层次图的访问控制机制,其安全性主要通过以下保障得以实现:

(1)密钥推导函数的安全性;

(2)用户密钥的唯一性;

(3)密钥推导路径的正确性和完备性。

其中1 和2 保障了任何用户只有具备用户密钥,才可以推导出该密钥可以推导的其他密钥。而保障3 则确保了任何用户在使用其自身的用户密钥的时候,可以推导出任何其所需要的密钥,并且整个系统的全局的路径达到最小化。

3 总结

本文针对现有云存储系统中访问控制在多数据用户环境下性能和安全性方面的不足,提出了一种新的基于全局逻辑层次图的密钥推导和高效密钥管理机制。本系统从系统全局优化,和密钥管理的角度出发,实现了相同用户组对相同数据的同一密码策略,从而大大减少了密钥的数量,提高了系统的效率。同时对系统的安全性进行分析,保证了系统的安全性能。下一步,作者将对系统进行实际的实验分析,以便进一步验证系统的稳定性、安全性和效率。

参考文献

[1]Atallah M J,Blanton M,Fazio N,et al.Dynamic and Efficient Key Management for Access Hierarchies.[J].Proceedings of the Acm Conference on Computer&Communications Security,2005.

[2]程芳权,彭智勇,宋伟等.可信云存储环境下支持访问控制的密钥管理[J].计算机研究与发展,2013.

[3]李美云,李剑,黄超.基于同态加密的可信云存储平台[J].信息网络安全,2012.

[4]项菲.面向环境可靠和体系可靠的云存储关键技术研究[D].北京邮电大学,2013.

[5]WANG,Yan,王岩,等.基于可信第三方的安全可问责云存储方案[C]//第九届中国通信学会学术年会.2012.

[6]王岩.基于可信第三方的安全可问责云存储方案的研究与实现[D].北京邮电大学,2012.

[7]杨欣.基于可信计算的云存储中密钥安全机制的研究与实现[D].北京大学,2012.

[8]Hacigümüs H,Iyer B,Mehrotra S.Providing Database as a Service[C]//Proceedings of the 18th International Conference on Data Engineering.IEEE Computer Society,2002.

存储访问 第6篇

随着计算机技术的不断发展, 可移动 USB 存储设备的应用越来越广泛, 它具有易于携带、容量大和使用方便等特点, 给计算机之间的数据交换带来了极大方便。同时可移动 USB 存储设备也给非法访问计算机数据, 复制和泄漏涉密或敏感数据提供了机会, 并且普通USB设备并不包含自我信息保护功能, 使存于其中的涉密或敏感数据等受保护信息容易被非法使用和泄漏。

对USB存储设备访问控制有采用禁用USB设备接口的方法, 这虽然直接杜绝了数据从 USB 口泄漏出去的可能, 但也牺牲了 USB 设备使用的方便性;也有采取访问控制技术对内部数据资源进行角色控制, 分级访问管理, 这样就降低了USB 设备的使用效率;还有采用专门具有软硬设备的USB存储设备, 其更多关注于存储设备自身安全, 而且成本较高, 专用性高。目前, 对USB设备采用身份鉴别方面, 身份码安全性较低;数据安全方面, 使用单一加密技术保证敏感数据安全性也存在不足。

针对上述情况, 本文结合USB设备接入控制技术、身份鉴别技术、数据隐藏技术、加密技术、数据覆写技术, 设计了一种USB存储设备的访问控制与数据安全系统。

2系统设计

本系统主要由USB存储设备访问控制模块和USB存储设备数据安全模块组成, 而且两大模块基本相互独立。图1为USB存储设备访问控制模块结构图, 图2为USB存储设备信息保障模块总体结构图。

存储设备的访问控制模块注册中心实现流程如图3所示, 存储设备的访问控制模块接入控制与身份鉴别实现流程如图4所示, USB存储设备数据安全模块实现流程如图5所示。

3系统测试

USB存储设备访问控制部分测试由一台主机模拟注册中心, 一台主机模拟受保护主机, 进行USB存储设备的接入控制与身份鉴别过程。两个USB存储设备, 一个模拟合法注册用户, 一个模拟非法用户。主机操作系统平台采用Microsoft Windows NT架构的操作系统, 包括:Windows 2000、Windows 2003和Windows XP等。

USB存储设备数据安全部分测试由一个USB存储设备和一台Windows操作系统主机组成。

3.1注册中心测试

注册中心负责向USB存储设备写入特定身份标识, 以供接入控制与身份鉴别模块使用。同时为了提高注册过程效率, 注册中心提供弹出U盘的功能, 每次注册完毕后, 可直接点击“弹出U盘”, 待USB设备小图标消失后, 拔出USB设备, 进行下一个USB设备的注册过程。

当USB设备接入注册中心并经系统确认设备可用后, 在输入身份标识栏中填入标识如“jsj”, 然后点击写入标识按钮, 如果写入成功, 则在状态显示中输出目前写入状态, 否则输出写入失败。

3.2接入控制与身份鉴别测试

其主要功能为保护主机, 使非法USB存储设备无法接入主机, 从而消除非法用户通过USB接口获取信息资源的可能性。对合法用户则进行透明操作, 对用户不进行任何干涉。

在接入控制与身份鉴别部分运行后, 在输入主机允许接入USB身份标识栏中输入字符串, 点击确认标识按钮, 主机便进入保护状态。进入保护状态后, 如果接入USB存储设备合法, 系统并不作出任何提示或干涉, 对合法用户进行透明操作。如果USB存储设备不合法, 则在状态描述中提示, 并立即弹出所有接入主机的USB存储设备, 其结果是在操作系统状态栏中的USB接入图标消失。

经上述过程对注册中心和接入控制与身份鉴别进行测试完毕后, 能有效地对USB存储设备进行管理, 确保只有经过注册后的USB存储设备才能访问主机。

3.3 USB存储设备数据安全测试

本系统对USB存储设备数据安全提供3重保护:信息隐藏, 信息加密以及信息安全删除。本模块流程图如图5, 它是一个独立程序, 将其放入USB存储设备根目录下, 运行程序在输入密码正确后, 即可进行有关操作, 否则3次错误后, 系统将安全删除敏感信息。

对USB存储设备数据安全运行后, 需要输入口令密码。系统在USB存储设备根目录下建立两个文件夹:“hide”和“..”, 用户将敏感信息放入hide中, 以待保护, “..”文件夹为隐藏文件夹, Windows无法正常访问。

初始完毕后, 用户输入密码, 选择操作模式, 进入敏感信息隐藏加密测试。hide文件夹已经不在USB存储设备根目录下, 而是存入”..”文件夹下面, 且其中文件数据已经加密完毕。敏感信息恢复测试是隐藏加密测试的逆操作, 程序运行如图6所示, 效果如图7所示。

在进行恢复操作后, ”hide”文件夹重新看见, 并且数据已经解密可以正常使用。在USB数据安全模块中还包括敏感信息安全删除, 其程序运行如图8所示, 效果如图9所示。

通过对比图7和图9可见, 数据安全删除后, “hide”和 “..”文件夹消失, 同时其数据部分也被覆写。由此可见, 本系统结合访问控制技术、数据隐藏技术、加密技术、设备接入与控制, 实现USB存储设备的访问控制和数据安全, 在一定程度上抵制了非法USB访问, 有效地保证了数据安全。

4结束语

本文提出的USB 设备访问控制与数据安全系统, 特点如下:

(1) 根据不同计算机所允许访问用户不同, 可自主安排可接入的USB 移动存储设备, 并对接入设备进行一定身份控制。

(2) 通过注册中心的身份标识分类, 可实现计算机与USB设备的访问组合多样化, 将不同的USB设备进行分类管理。

(3) USB设备接入系统时, 进行身份鉴别, 保证了USB设备接入的可控性, 使不合法的USB设备无法接入计算机。

(4) USB 存储设备中的数据进行分类保护, 对受保护数据进行隐藏和加密措施, 同时对普通数据不采取措施, 如此可方便USB设备的使用, 在保证安全的基础上不失便捷。同时在USB存储设备中提供自我销毁功能, 在密码验证3次失败后, 立刻删除受保护信息。

摘要：针对USB存储设备接入与控制, 结合访问控制技术、数据隐藏技术、加密技术, 提出了一种USB存储设备的访问控制与数据安全系统, 在一定程度上抵制了非法使用USB事件, 有效地保证了数据安全。

关键词：USB存储设备,访问控制,数据安全

参考文献

[1]刘一鸣.文件系统浅谈[J].晋中师范高等专科学校学报, 2002, 19 (2) :113-114

[2]柏森, 廖晓峰.信息安全新领域信息隐藏[J].重庆工学院学报, 2006, 20 (8) :7-14

[3]中国信息安全产品测评认证中心.信息安全理论与技术[M].北京:人民邮电出版社, 2003

[4]李培修, 敖勇, 贾永强.内网涉密信息泄漏途径及防范[J].计算机安全, 2005, 7:75-76

[5]王兰英, 居锦.NTFS文件系统结构分析[J].计算机工程与设计, 2006, 27 (2) :417-418

[6]姚罡, 李大军, 梅顺良.硬盘分区链表结构分析与应用[J].微计算机信息, 2006, 21 (3) :206-208

[7]朱珍民.硬盘数据逻辑结构及其数据恢复[J].湘潭大学学报, 2002, 17 (2) :101-103

存储访问 第7篇

过去10年间, 地理信息科学在数据存档和发布方面取得了多项进展。最近的研究焦点是基于互联网、万维网和专用因特网开发GIS系统功能, 又称为Web GIS (基于网络的地理信息系统) 。有了WebGIS, 世界范围内的用户均可以访问分布式地理信息。互联网用户利用浏览器, 不需购买专用GIS软件就可以访问GIS应用[1]。

开放地理空间联盟 (OGC) 经深思熟虑后采用了Web处理服务 (WPS) [2]。Google Earth[3]和PyWPS[3]均是前面提到的Web GIS和WPS系统的应用示例。在广域网环境 (WAN) 下通过传统的超文本传输协议、网络文件系统协议和文件传输协议共享或访问地理空间数据, 往往会遇到等待时间较长、效果不佳等问题。本文主要对地理空间数据存储和发布时存在的网络延时问题展开研究, 重点是针对大量Earth远程遥感数据, 基于网格技术开发的系统。提出了高性能远程批量数据发布/存储, 并与当前网格验证授权工具集成的安全数据管理[3]。Grid Jet新技术对当前互联网架构和协议进行拓展, 满足了前述迫切需求, 同时通过对当前协议进行版本控制, 可以适应WWW/网格的未来需求。

1 相关工作

无论是技术缺陷还是架构设计, 现有的GIS系统均产生了一些根本性的性能问题。为了提供访问进程, 服务器需要对大量的空间数据进行组合。这些数据不止存储在服务器上, 还由于地理空间数据的分布式特性而经常在网络上传播[4]。大部分情况下, 所需数据规模达到千兆字节甚至更高。存储或者传输如此大量的数据, 难度非常大。当然, 同样问题也存在于通过WWW浏览地图时简单的WebGIS服务上。目前, 从远程资源获取数据主要通过HTTP或者FTP协议, 效率低, 安全性差。FriisChristensen等人[5]对基于空间数据基础设施面向分布式服务的地理信息处理的可行性进行了研究[5]。该文证明了使用分布式地理信息处理环境具有多项优势 (比如数据无需复制、可重用性) 。Jagery等人[6]提出一种完整的Web服务注册、发掘、开发和执行框架, 以便为在线服务提供支持, 该技术将地理信息处理看成一个流程, 并使用流程工具通过网络获取分布式地理空间数据。

一般情况下, Web GIS和WPS使用HTTP协议传输数据和请求。与HTTP/FTP/NFS/Grid FTP协议不同, 本文Grid Jet协议支持数据流并行传输和单系统映象 (SSI) 。它可作为独立的工具运行, 或者与Web GIS/WPS技术集成。下面将对本文协议的技术细节进行详细阐述[7]。

2 Grid Jet协议:底层WAN/网格优化协议

2.1 总体设计

本文将展示Py WPS和Google Earth如何与所开发的Grid Jet协议通过界面连接, Grid Jet当前支持Linux, 下步工作将把它拓展到Windows和Mac OS X系统。

2.2 Grid Jet的实现

Grid Jet通过使用并行流, 只以很小的内存消耗代价, 就可取得非常高的传输速度。Grid Jet为应用程序在发送方和接收方间开启了多个socket流。然后应用数据被分成多个段, 段的数量等于流的数量。数据段通过不同的线程在socket流中并发传输, 然后在接收方组装[8]。最终数据传递给应用程序, 似乎这些数据是通过一个socket传输的。下面同时显示了为什么分段数据通过多个socket流传输可以获得近似最优的带宽性能。在该图中, 阴影部分表示socket的缓存大小, 面积较大的空白矩形表示TCP管道容量 (带宽*时延) 。通过一个socket流进行传输的应用程序无法充分利用TCP管道的容量。若缓存大小取其默认值64 KB, 则容量利用率只有1%左右。如果应用程序使用一个socket流时的缓存大小最优, 或者使用多个socket流, 则可以填满TCP管道。

2.3 Grid Jet安全机制

网格应用程序不仅要求大量数据在广域网上高效传输, 还要求相应的安全和验证服务, 以提高数据的完整性和数据访问控制效果。Grid Jet及以其为基础的其他协议使用GIS公共密钥基础设施, 以验证WAN/网格成员的身份, 提高为这些成员分配资源的安全性[9]。Grid Jet服务器请求从证书认证机构接收大量主机证书。Grid Jet (服务) 也需在虚拟组织注册轻量级目录访问协议 (VO-LDAP) 。另外, VO-LDAP根据LDAP数据库生成Grid Jet服务器网格地图, 以便进行验证和制图。除了负责认证注册外, VO-LDAP还为虚拟组织履行其他重要职责, 比如服务搜索引擎和用户授权[10]。

3 地理空间真实数据的存储和分布

本节研究的目的是考察和测试基于Grid Jet的Web GIS/WPS原型系统, 对其与标准的单流HTTP传输协议性能进行比较评估。选用Py WPS来实现一种基于Grid Jet的WPS系统, 典型的地理数据处理操作包括:数据传输、发布/存储和叠加分析。Grid Jet的应用不仅限于WPS系统, 还可用于常见的GIS系统。于是, 使用Google Earth做了一些试验, 一个客户端通过Grid Jet协议将带有directory/earth/map.tiff的远程地图服务器加载到本地tree/mnt/Grid Jet/, 然后Google Earth客户端可以实现“本地化”在线浏览。

3.1 欧亚网格配置

以下真实测试可以证明基于Grid Jet的WebGIS/WPS在欧亚网格网络资源上的通信性能。欧亚网格项目由欧共体资助, 涉及10多个欧洲和亚洲研究机构。

有5个欧亚网格城市加入测试:剑桥、伦敦、朴次茅斯、穆尔西亚和北京。每座城市使用安装了Grid Jet客户端网关的Linux/Globus设备作为客户端来访问, 剑桥安装了Grid Jet服务器网关的专用WPS或Web地图服务器:Cranfield高性能计算设备 (CCHPCF) , CCHPCF设备通过剑桥East Net结点, 使用5-Gb/s Super JANET中枢, 以155-Mb/s速度与互联网稳定连接, 穆尔西亚、伦敦、北京和朴次茅斯的连接速度分别为10 Mb/s、2 Mb/s、100 Mb/s、100 Mb/s。

3.2 测试方法

为了给Py WPS和其他系统提供支持, Grid Jet设立于Globus库的顶端, 于是, 引入附加层来抽象表示通信基础设施[11]。为了定量描述各种开销, 使用不同的传输工具: (地理信息处理期间用于远程数据传输和存储的HTTP和Grid Jet协议) , 对CCHPCF WPS服务器和北京远程数据中心间的在线地理信息处理服务数据传输时间 (s) 进行比较。在实验时选择地理空间数据传输、重叠分析和地图发布/存储, 因为这3种操作在WPS危机和紧急情况处理中经常使用[12]。同时, 用同样方式, 对使用Google Earth/Py WPS远程在线浏览地图时的传输时间 (s) 进行了测试, 地图服务器在CCHPCF, 客户端在北京。在实验中对每种协议运行3次。

3.3 欧亚网格空间数据存储和发布

我们做了大量性能测试来衡量基于Grid Jet的Web GIS/WPS在用户响应时间提升方面的性能。选择HTTP作为标准的传输协议。加速效果定义为HTTP协议的传输时间与基于Grid Jet协议的Google Earth/Py WPS传输时间之比。Grid Jet安全性已经经过验证。

(1) 基于Grid Jet的Google Earth:衡量了客户端在有线广域网环境下通过100 Mb/s链路在线浏览41.8 MB地图的访问时间。使用HTTP协议时, 地图传输和显示时间是400 s, 广域网延时是539 s。当将Grid Jet服务器/客户端网关 (在浏览器地址栏选择Grid Jet而不是HTTP或其他协议) 添加到#tcp=16链路上时, 同样的41.8 MB地图在线显示只需73s, 速度提升了5.5倍。当#tcp=64时, 41.8 MB地图的浏览 (传输) 时间是52 s, 响应时间提升了7.7倍 (如表1所示) 。

我们发现, 当#tcp=1时Grid Jet的初始传输时间 (448 s) 大于HTTP (400 s) (没有添加加速) , 当#tcp增加时传输时间差距将会下降。当#tcp大于4时, Grid Jet超越HTTP;当#tcp=128时, 速度提升了7.8倍。Grid Jet功能的额外开销是因为Grid Jet在Globus库之上的附加抽象层。

响应时间相对TCP流数量 (#tcp) 的提升情况。41.8 MB地图通过往返时间 (RTT) 为539 ms的链接传输。从图中可以看出, #tcp数量上升时, 响应时间提升倍数也在上升。当有128个并行流时, 最大提升倍数达到7.8倍。然而。当进一步提高#tcp数量时, Grid Jet将要花费大量的时间管理大量的TCP流, 因此提升步伐放缓。

(2) 基于Grid Jet的Py WPS:为了考察Py WPS通过Grid Jet在地理空间数据存储和发布方面取得多大的性能提升, 在剑桥和北京间展开测试。网络主要参数与Google Earth测试相同, 但是数据集做了变更, 以进行更加复杂的地理数据处理。选择3幅地图:5.2 MB的shapefile文件, 5.4 MB的光斑图像文件, 5.6 MB的另一幅光斑图像文件。

实验内容包括3种操作:远程地理空间数据变换、在线叠加分析和地图发布/存储。为了进行远程地理空间数据转换, 通过Grid Jet来访问和转换远程数据。对在线叠加分析, 通过互联网/网格向分析服务器发出请求, 分析数据集来自远程数据源。通过Grid Jet读取远程数据结点的分布式地理空间数据, 本地运行叠加分析服务来对数据进行分析。人们经常需要将他们处理过的地理空间数据存储在远程设备上。可能原因包括:有限的使用权限, 有限的本地存储空间, 或者是需要把数据传输给第3方。在测试中, 叠加分析生成的一幅新地图通过Grid Jet存储到远程数据服务器上。

Grid Jet的设计目的就是为了处理远程、跨域、单像数据访问和传输任务。在数据变换测试中, 选择在有线广域网环境下通过100 Mb/s链路在线转换5.4 MB的地理空间数据 (从向量变换为光栅格式) 。当RTT=80 ms且#tcp=16时, 性能相比于HTTP协议提升1.63倍。在叠加分析测试中, 读取远程服务器上的3份异构空间数据文件, 然后叠加到本地显示器上。这3份数据文件分别是一份shapefile文件 (失量格式) , 2份光斑图像 (光栅格式) , 每份文件均大于5 MB。当RTT=320ms且#tcp=16时, 性能提升2.3倍。在分发/存储测试中, 先前叠加分析生成的一幅新的叠加地图存储到原先相同的存储了前面提到的3份异构空间数据文件的远程数据器上。对4组数据进行了测试, RTT时间在40~320 ms范围内, Grid Jet相对HTTP的性能提升了1.5~2.3倍。表2显示了执行前述地理数据处理操作时, 响应时间方面的性能提升。当有16路并行TCP流时, 平均提升效果为2倍。

4 结果分析

我们发现, 基于Grid Jet的Py WPS和Google Earth表现出不同的性能特点。Google Earth的性能提升了7.8倍, 而Py WPS提升了2.3倍。这主要是因为:底层Grid Jet架构必须要高效地提高传输带宽, 以加快Web GIS/WPS I/O速率。这也是WebGIS/WPS服务器比较青睐经过WAN/网格优化的架构的原因。直观来讲, 当请求规模足以允许GridJet通过多个TCP流高效传输时, 开发的基于GridJet的Web GIS/WPS, 性能将更优。我们还对WebGIS/WPS收集空间数据请求的能力进行了验证。Web GIS/WPS用同步 (阻碍请求的物理读写) 和异步 (无阻塞的预取预冲) 两种方式发出请求。其结果就是如下折衷:Web GIS/WPS应该提交尽可能多的异步请求以提升吞吐量, 同时需确保每当提交请求时文件系统已经准备好处理同步请求。当前, GRASS为数据文件和缓冲区使用4 KB硬页面大小 (一个数据块) 。Grid Jet提供的传输带宽更高, 可以为规模较大的这些请求带来许多益处。不幸的是, 据通过Strace所做的观察, 它们所占比例不高。

5 结束语

提出了一种面向地理空间数据的访问和存储方案, 该方案可提高GIS服务支持的结构性、连接性、移动性和质量。测试结果表明, 与使用单流HTTP协议相比, 使用底层Grid Jet引擎可以显著提高Web GIS/WPS的传输速率。基于Grid Jet的WebGIS/WPS创新性地将高速通信与异构有线/无线网络结合在一起, 提升了WPS和Web GIS的功能和可用性, 可轻松访问网格技术。基于Grid Jet的端到端服务支持技术解决了广域网文件在WAN/网格上的“局域网化”共享难题, 对GIS领域带来了极大的便利。下一步研究工作的重点是在现有系统的基础上, 进一步考虑地理空间数据的传输可靠性和安全性问题。

摘要：目前, 由于用户、WPS服务器和数据资源总是分布在多个地点, 在广域网环境 (WAN) 下通过传统的超文本传输协议、网络文件系统协议和文件传送协议访问和存储GIS地理空间数据往往会遇到等待时间较长、效果不佳等问题。为了获得类似本地访问的性能, 在优化算法的基础上开发了基于WAN/网格优化的Grid Jet协议作为WPS服务器和客户端间的底层引擎, 该协议通过采用远程文件并行访问等技术对软件使用方式不做任何改变。最终, 对上述协议算法利用现实世界中的Py WPS和Google Earth进行仿真测试和分析, 对超过10 000 km的发布/存档距离, 基于Grid Jet协议的Py WPS和Google Earth性能比基于传统协议时的性能高出2~8倍。

关键词：批量数据传输,数据存档,地理数据集,网格计算,Web处理服务

参考文献

[1]CROMLEY E K, MCLAFFERTY S.GIS and Public Health[J].Guilford Press, 2012, 3 (24) :35-39.

[2]HERRING J.Open GIS Implementation Standard for Geographic Information-Simple Feature Access-Part 1:Common Architecture[J].OGC Document, 2011, 4 (21) :122-127.

[3]BODZIN A, ANASTASIO D, KULO V.Designing Google Earth Activities for Learning Earth and Environmental Science[J].Teaching Science and Investigating Environmental Issues with Geospatial Technology:Designing Effective Professional Development for Teachers.Dordrecht:Springer, 2012, 10 (37) :105-110.

[4]CEPICKY J, BECCHI L.Geospatial Processing Via Internet on Remote Servers-Py WPS[J].OSGeo Journal, 2007, 1 (5) :11-17.

[5]FRIIS-CHRISTENSEN A, BEMARD L, KANELLOPOULOS I, et al.Building Service Oriented Applications on Top of a Spatial Data Infrastructure–A Forest Fire Assessment Example[J].AGILE-Shaping the Future of Geographic Information Science in Europe, Visegrád, Hungary, 2006, 33 (24) :27-34.

[6]JAEGER E, ALTINTAS I, ZHANG J, et al.A Scientific Workflow Approach to Distributed Geospatial Data Processing using Web Services[C]∥SSDBM, 2005, 3 (42) :87-90.

[7]GADGIL H, CHOI J Y, ENGEL B, et al.Management of Data Streams for a Real Time Flood Simulation[J].Community Grids Lab Technical Report, 2004, 44 (32) :237-240.

[8]MILLINA G R, EKINA P, KITMITTO K.Proving Spatial Data Support and Access to Freely Available Satellite Imagery for the UK Academic Community:A Review of Data Acquisition and Data Delivery Infrastructure[J].In Proc.RSPsoc Annu, 2007, 22 (20) :1-5.

[9]LIU W, KETTIMUTHU R, TIEMAN B, et al.Grid FTP GUI:an Easy and Efficient Way to Transfer Data in Grid[J].Networks for Grid Applications.Springer Berlin Heidelberg, 2010, 2 (23) :57-66.

[10]CHEN J, AKERS W, CHEN Y, et al.Java parallel secure stream for Grid computing[C]∥Computing in High Energy and Nuclear Physics, CHEP, 2005, 12 (28) :103-108.

[11]Globus WORLD, 2007.[Online][DB/OL].Available:www.globusworld.com/program/program.php 2007, 22 (24) :111-114.