适用于大规模地形分析计算的网格服务 (GSED)

  目前在分析方法和计算结果等工作中，研究者在空间数据共享上仍然局限在文件传输和复制上。随着地理信息数据的不断膨胀，要求我们必须采取一些更有效的数据和计算共享手段。什么样的方式可以让对数据感兴趣的研究者可以轻松调用数据呢？ 地理信息系统(GIS)是存储、管理、分析与地理位置相关信息的计算机系统。地理信息数据量巨大、存储分散，其分析计算有很强的数据密集和计算密集的特点，因此GIS是网格计算的一个重要试验场和应用领域。<BR><BR>　　目前在分析方法和计算结果等工作中，研究者在空间数据共享上仍然局限在文件传输和复制上。随着地理信息数据的不断膨胀，要求我们必须采取一些更有效的数据和计算共享手段。本文主要研究通过提供系列网格服务，把计算和数据资源开放到Internet，并使用SRTM数据在这个系统上进行计算实验，这样凡是对数据感兴趣的研究者都可以直接调用服务来获得感兴趣的结果，也可以编写自己的计算方法并开放出来，从而形成数据、计算共享的研究环境。<BR><BR>　　我们知道，DEM是进行各种地学分析计算的重要基础数据，其发展趋势是不断趋于精确，网格间距会越来越小（<3米分辨率），相应的，数据量也越来越庞大。一般地，基于DEM的地形分析是数据和计算都非常密集的过程。例如水系提取计算要经过若干个重要的步骤：去除伪洼地、确定坡度、确定流向、计算累积汇水量、划分流域等。这些计算都需要大量的迭代、递归，而且还会产生几倍于原始数据的各种中间结果，随着数据量的增长，计算量和数据吞吐量的增长十分惊人，是比较典型的数据密集、计算密集型的地学分析过程。此外，DEM数据因其提供源比较广泛，既数据是分布存储的，而且对于DEM的各种分析方法是由各相关领域的研究者们针对实际问题分别提出，不同领域的专家之间也很难有机会交流分析计算的结果。因此如何把各种分析方法进行有效的集成和管理以促进对DEM各种分析计算的利用，也是一个很重要的问题，而这些问题恰恰是GRID所试图解决的。 SRTM数据是目前我们能够得到的最高精度的规则网格地形数据，它是基于DEM模型的建立的一种数据格式。本文中用于计算试验的SRTM（Shuttle Radar Topography Mission）数据是NASA和NGA(National Geospatial-Intelligence Agency)共同组织的国际项目所获取的近全球尺度的雷达高程数据。SRTM采集的高程数据覆盖了80%的地球陆地表面和95%以上的人类居住区，数据的绝对高差控制在5米之内。2004年下半年，数据已经全部公开发布。SRTM虽然具备前所未有的高精度，但是也存在一些难题：<BR><BR><FONT color=#0066ff size=1>◆</FONT> 数据量过于庞大。<BR>　　以网格间距为3秒为例，全球的DEM数据以短整型（双字节）存储，那么全球的数据量就达到432000*216000*2字节的规模，约合173G的数据。其数据量超出了目前一般商业GIS软件的处理能力。<BR><FONT color=#0066ff size=1><BR>◆</FONT> SRTM的高程数据是直接从雷达干涉影像输出而来。由于雷达后向散射不均，在很多地区造成了数据的空洞，水体的高程也不是平的。<BR>　　利用网格技术可以有效地解决大规模数据共享、海量数据存储、高性能计算等问题，而且能够提供较好的系统扩展能力和数据管理和更新能力，从而能够形成一个开放合作的研究环境，为解决目前和将来的大规模复杂地形分析及其相关研究提供了可能。<BR><BR><BR>　　为了解决上文中所提到的计算量庞大、数据的分布式存储和共享、计算服务的提供等问题，我们设计并实现了GSED。这里我们使用SuperMap SDX+5 for Oracle空间数据库技术存储和管理全球的SRTM3的栅格数据。经过压缩处理和增加索引机制后，我们已经能够方便的对数据进行浏览、访问，初步解决了计算资源共享，获取计算服务、传输和显示计算结果等问题。同时，系统还具备很强的扩展功能，凡是基于DEM数据的分析功能都能够非常容易的作为新的服务方式提供出去。整个计算和数据传输过程的安全性，可以通过GT3所提供的安全机制得到保障。GSED的结构由对外的服务接口、空间分析计算、数据存取和服务管理四部分组成。我们使用空间数据库集中存储全球范围的SRTM数据。然后我们封装了三个主要的服务工厂：<BR><FONT color=#0066ff size=1><BR>◆</FONT> 数据访问服务工厂<BR>　　它通过调用一个封装了空间数据库访问功能的Java接口来实现空间数据的访问。我们规定了一致的数据访问接口，实现了数据访问的透明性。<BR><FONT color=#0066ff size=1><BR>◆</FONT> 分析计算服务工厂<BR>　　分析服务工厂所创建的分析服务对外提供一系列分析计算接口，可以完成对地形数据的各种分析处理功能。<BR><FONT color=#0066ff size=1><BR>◆</FONT> 地图发布服务工厂<BR>　　地图发布可以使用OpenGIS的WMS标准，也可以使用GIS厂商的WebGIS产品。我们这里使用SuperMap IS.NET提供的地图发布功能，完成了计算结果（地图）在Internet上的发布。<BR>服务管理器封装了注册服务、发现服务、安全管理、资源分配和规划等功能，帮助用户使用最优的资源组合进行计算。<BR>
<br>
<P align=center><IMG src="http://www.gisforum.net/magazine/images/picrdjs01.gif"><BR>图1 GSED 的体系结构 </P>
<P><STRONG>  试验结果与分析</STRONG><BR><BR>  1.1 试验环境和过程<BR><BR>　　我们使用一台运行红旗Linux的PC服务器和一台运行Sun Solaris的服务器提供数据服务；使用若干台运行Redhat9 Linux的PC机作为群集的计算服务器，通过一台装有Web服务器向外提供地图发布服务。整个实验主要经过四个阶段：<BR><BR>　　1、 数据准备<BR>　　2、 地形因子计算<BR>　　3、 相关地形要素统计<BR>　　4、 计算结果的发布<BR><BR>1.2 初步的计算结果和分析<BR><BR>　　通过计算试验，我们得到以下一些重要的计算结果：</P>
<P>　　1、 高程对比<BR><BR>　　　　图2 SRTM3青藏地区高程图<BR><BR>　　　　图3 SRTM3和GTOPO30的高程直方图对比<BR><BR><BR>　　2、 青藏地区坡度计算结果的对比<BR><BR>　　　　图4 SRTM3 Slope<BR><BR>　　　　图5 GTOPO30 Slope<BR><BR>　　　　图6 histogram 坡度直方图对比</P>
<P><BR><FONT size=2>　　两套数据的坡度计算结果的差别是比较明显的。因为SRTM3的分辨率比GTOPO30高很多，所以一些相对细微的地表起伏都能够得到体现。但是SRTM数据由于存在较多的数据空洞，水体也没有得到标明，因此在高原湖泊上的一些坡度计算是没有意义的。<BR><BR>　　从计算结果来看，两套数据的结果虽然非常类似，但是由于数据来源不同存在着不同的系统误差。<BR><BR>　　为能够满足GIS及其相关研究领域中对大规模DEM数据处理和计算共享的要求，我们采用基于OGSA协议的GT3网格工具软件，构建了一个用于从DEM计算地形因子的网格服务（GSED），并使用SRTM3数据在大洲规模上进行了计算试验。同时，我们还针对我国青藏地区的计算结果和使用我国基础地形数据、使用GTOPO30数据的计算结果作了对比分析，这对于生态环境、地质地理等科学研究都有一定的意义。GSED的关键是使用了网格和面向服务的设计思想，使地理上分布的数据和计算能力得到容易的共享，构建了一个开放的计算环境。我们将继续使用GSED对SRTM数据作进一步的计算分析，期望得到一些更有意义的结果。</FONT><BR></P>
<P align=center><IMG src="http://www.gisforum.net/magazine/images/picrdjs02.gif"></P>
<P align=center><IMG src="http://www.gisforum.net/magazine/images/picrdjs03.gif"></P>
<P> </P>

<img src="images/post/smile/dvbbs/em01.gif" />