空间数据库引擎（海量空间数据存储）

本文目录

• 海量空间数据存储
• 空间数据库技术
• 空间数据库引擎ArcSDE
• 空间数据库引擎的介绍
• 空间数据引擎技术
• sdx 传输网是什么意思怎么理解是空间数据库引擎、还是卫星数据交换请详细解答
• 地理空间数据库引擎怎样管理矢量
• GIS空间数据库的发展经历了哪些阶段

海量空间数据存储

(一)空间数据存储技术

随着地理信息系统的发展，空间数据库技术也得到了很大的发展，并出现了很多新的空间数据库技术(黄钊等，2003)，其中应用最广的就是用关系数据库管理系统(RDBMS)来管理空间数据。

用关系数据库管理系统来管理空间数据，主要解决存储在关系数据库中的空间数据与应用程序之间的数据接口问题，即空间数据库引擎(SpatialDatabase Engine)(熊丽华等，2004)。更确切地说，空间数据库技术是解决空间数据对象中几何属性在关系数据库中的存取问题，其主要任务是:

(1)用关系数据库存储管理空间数据;

(2)从数据库中读取空间数据，并转换为GIS应用程序能够接收和使用的格式;

(3)将GIS应用程序中的空间数据导入数据库，交给关系数据库管理。

空间数据库中数据存储主要有三种模式:拓扑关系数据存储模式、Oracle Spatial模式和ArcSDE模式。拓扑关系数据存储模式将空间数据存在文件中，而将属性数据存在数据库系统中，二者以一个关键字相连。这样分离存储的方式由于存在数据的管理和维护困难、数据访问速度慢、多用户数据并发共享冲突等问题而不适用于大型空间数据库的建设。而OracleSpatial实际上只是在原来的数据库模型上进行了空间数据模型的扩展，实现的是“点、线、面”等简单要素的存储和检索，所以它并不能存储数据之间复杂的拓扑关系，也不能建立一个空间几何网络。ArcSDE解决了这些问题，并利用空间索引机制来提高查询速度，利用长事务和版本机制来实现多用户同时操纵同一类型数据，利用特殊的表结构来实现空间数据和属性数据的无缝集成等(熊丽华等，2004)。

ArcSDE是ESRI公司开发的一个中间件产品，所谓中间件是一个软件，它允许应用元素通过网络连接进行互操作，屏蔽其下的通讯协议、系统结构、操作系统、数据库和其他应用服务。中间件位于客户机/服务器的操作系统之上，管理计算资源和网络通讯，并营造出一个相对稳定的高层应用环境，使开发人员可以集中精力于系统的上层开发，而不用过多考虑系统分布式环境下的移植性和通讯能力。因此，中间件能无缝地连入应用开发环境中，应用程序可以很容易地定位和共享中间件提供的应用逻辑和数据，易于系统集成。在分布式的网络环境下，客户端的应用程序如果要访问网络上某个服务器的信息，而服务器可能运行在不同于客户端的操作系统和数据库系统中。此时，客户机的应用程序中负责寻找数据的部分只需要访问一个数据访问中间件，由该中间件完成网络中数据或服务的查找，然后将查找的信息返回给客户端(万定生等，2003)。因此，本系统实现空间数据库存储的基本思想就是利用ArcSDE实现各类空间数据的存储。

目前，空间数据存储技术已比较成熟，出现了许多类似ArcSDE功能的中间件产品，这些软件基本上都能实现空间数据的数据库存储与管理，但对于海量空间数据的存储，各种软件性能差别较大。随着数据量的增长，计算机在分析处理上会产生很多问题，比如数据不可能一次完全被读入计算机的内存中进行处理。单纯依赖于硬件技术，并不能满足持续增长的数据的处理要求。因此需要在软件上找到处理海量数据的策略，并最终通过软硬件的结合完成对海量数据的处理。在海量数据存储问题上，许多专家从不同侧面进行过研究，Lindstrom在地形简化中使用了外存模型(Out-of-core)技术;钟正采用了基于数据分块、动态调用的策略;汪国平等人在研究使用高速网络进行三维海量地形数据的实时交互浏览中，采用了分块、多分辨率模板建立模型等方法。这些技术、方法已经在各自系统上进行了研究和实现。本系统采用的ArcSDE软件基本上也是采用分块模型的方法，具体存储和操作不需要用户过多了解，已经由ArcSDE软件实现。因此，对海量数据的存储管理，更需要从数据的组织方式等方面进行设计。塔里木河流域生态环境动态监测系统采集了大量的遥感影像、正射影像等栅格结构的数据，这些数据具有很大的数据量，为适应流域空间基础设施的管理需要，采取一种新的方式来管理、分发这些海量数据以适应各部门的快速浏览和管理需要。

(二)影像金字塔结构

影像数据库的组织是影像数据库效率的关键，为了获得高效率的存取速度，在数据的组织上使用了金字塔数据结构和网格分块数据结构。该技术主导思想如下:

(1)将数据库中使用到的纹理处理成为大小一致的纹理块;

(2)为每块纹理生成5个细节等级的纹理，分别为0、1、2、3、4，其中1级纹理通过0级纹理1/4压缩得到，2级纹理通过1级纹理1/4压缩得到，…，以此类推;

(3)在显示每个块数据之前，根据显示比例的大小，并以此决定该使用那一级的纹理;

(4)在内存中建立纹理缓冲池，使用LRU算法进行纹理块的调度，确保使用频率高的纹理调度次数尽可能少。

(三)影像数据压缩

影像数据压缩有无损压缩和有损压缩两个方法，具体采取哪种压缩方法需根据具体情况确定。对于像元值很重要的数据，如分类数据、分析数据等采用无损压缩(即LZ77算法)，否则采用有损压缩(即JPEG算法)。通过对影像数据的压缩，一方面可以节约存储空间，另一方面可以加快影像的读取和显示速度。影像数据的压缩一般与构建金字塔同时进行，在构建影像金字塔过程中自动完成数据的压缩。

空间数据库技术

提到空间数据库，首先想到的一定是Esri公司的ArcSDE（SDE即Spatial Database Engine，空间数据库引擎），ArcSDE主要支持的数据库包括Oracle，SQL Server，IBM DB2。功能好，性能好，但是价格也好。
国内很多大型活互联网公司已经转向MySql阵营。对于有实力的大公司，使用开源的MySql，可以针对自己的业务对MySql源码进行修改及优化。对于业务量不大的初创公司，直接使用开源MySql，PostgreSQL等数据库，也可节约成本，未来数据库扩展也有很多可参考的资料。
PostgreSQL由于具备PostGIS扩展而在开源GIS中有广泛地应用，可视化工具包括pgAdmin、Quantum GIS（类似ArcGIS Desktop）
从MySQL4.1开始，也对空间数据库进行了支持

空间数据库引擎ArcSDE

空间数据库引擎：ArcSDE9.0（arc spatial database engine）；此软件被用作系统后台（Server），其优势在于能按照用户需求合理地管理大规模甚至超大规模的空间数据库，为系统前端提供高效的空间数据和复杂的空间分析服务。

选择空间数据库引擎SDE作为空间数据库管理系统，是一套管理空间数据并提供访问这些数据接口的软件，通过ArcSDE可以把地理空间数据应用到商用的关系型数据库中，SDE融入DBMS后，提供了对空间数据进行高效率操作的接口，大量用户可以同时针对同一数据进行操作，更重要的是ArcSDE客户和服务器之间的通讯建立在TCP/IP协议上，这使得ArcSDE不但能满足局域网的应用，而且能满足远程网的应用。

通过ArcSDE，能够管理具有数百万空间要素的大型空间数据集。ArcSDE对各级企业均能适用，这归功于其在客户与服务器间协同处理。ArcSDE通过TCP/IP协议，提供网络上的开放数据访问；同时，ArcSDE可运行在不同的操作系统环境中，如UNIX，Microsoft Windows的客户端与服务器端。

为了实现以关系数据库管理系统（Oracle）为基础的空间数据管理，需要使用空间数据库引擎。良好的空间数据库引擎能够为数据库的应用系统开发提供高性能的支持。ESRI公司的ArcSDE for Or-acle 是一个基于Oracle的空间数据库引擎，它的空间数据管理高效而稳定，将作为本项目综合数据库的必须软件产品之一。其特点：

（1）对地理数据的开放式系统访问

ArcSDE利用开放系统结构，使得地理数据易于获得，可以把地理数据的管理与使用同其他传统的多媒体数据库合并到一个平滑的计算机环境中。利用ArcSDE的开放性，用户可以进行从简单到复杂的空间数据分析，从几个到许多地理特征的提取，访问超大规模的数据库，高效完成各种复杂任务。

（2）进行高效查询分析

ArcSDE提供一组可靠的几何处理与空间分析功能，通过此功能确定各地理实体间的相互关系，如相交于一点、共一条边界、共一个区域或一个实体包含另一个实体。而且还可以把空间分析嵌入到一个非GIS的应用程序中去。

（3）理想的空间对象模型

ArcSDE把线特征表示成一条不能自相交的线，或只能在终点相交的线；面特征表示成一个简单的多边形或多边形组合。空间对象类型有点、点集、串、线串、环、多边形、环纹多边形（donut polygon）以及网络数据，一个组合数据集称为一个层。层是具有相同形式对象类型的一组地理特征，地理特征通过图层这种空间连续策略进行索引，提高数据管理效率。

（4）快速实现过程

ArcSDE对于复杂空间查询的处理的效率体现在对次要特征（Subsecond Feature）的检索上，快速访问与检索是在C/S模式上实现的，客户端主要是响应空间分析操作，服务器则进行数据搜索和检索。这种互操作处理方法使得动态空间叠加成为可能，当大量增加客户端的时候，利用这种处理可以把客户机带来的性能下降降到最小。

（5）其他

客户端可以通过TCP/IP协议访问Arc/Info数据，不用通过传统的直接挂到数据库所在的磁盘上进行访问，这样系统就可以建立在广域网上，数据分布将不受地域限制。同时允许将一部分数据放在RDBMS中，另一部分数据以传统Arc/Info数据格式保存。而客户端的应用将以同一种方式进行访问，即数据源的不同对客户而言是完全透明的。

ArcSDE本身并没有专用数据库，而是通过与其他通用的DBMS的集成来管理空间数据。根据DBMS的类型，ArcSDE与DBMS的集成可分为两种：①与传统的关系型数据库管理系统（RDBMS）的集成，由于传统的RDBMS不支持数据类型的扩展，无法管理空间数据，只能通过ArcSDE对空间数据和空间操作进行解释和管理。②与面向对象关系数据库（OORDMS）的集成。由于面向对象的关系支持新的数据类型和函数的扩展，ArcSDE可以直接在数据库中定义空间数据类型和空间函数。于是可以通过基于SQL的函数对空间数据进行操作，并在数据库层次建立空间索引。

空间数据库引擎的介绍

空间数据库引擎，即SDE（Spatial Database Engine）。 SDE是一种全新的空间数据库管理软件，它用以支持超大型空间数据库管理以及在网络环境中对多用户并发空间数据访问的快速响应方面的应用。

空间数据引擎技术

空间数据库的研究始于20世纪70年代的地图制图与遥感图像处理领域。由于传统数据库在空间数据的表示、存储和管理上存在许多问题，从而形成了空间数据库这个多学科交叉的数据库研究领域。空间数据库（Spatial Database）是指地理信息系统在计算机物理存储介质上存储的与应用相关的地理空间数据的总和，一般是以一系列特定结构的文件的形式组织在存储介质之上的（黄杏元等，2001）。

ArcSDE可看成是一个连续的空间数据模型，借助这一模型，就可用关系型数据库（RDBMS）管理空间数据库。在关型数据库中融入空间数据后，通过ArcSDE实现空间、非空间数据高效率操作服务。ArcSDE提供了应用程序接口（API），开发人员可将空间数据检索和分功能集成到自己的应用系统。ArcSDE具有如下一些特点。

1）高性能的DBMS 通道。ArcSDE 是多种DBMS 与应用程序（如ArcGIS）的通道。它本身并非一个关系数据库或数据存储模型。它是一个能在多种DBMS平台上提供高级的、高性能的GIS数据管理的接口。

2）开放的DBMS支持。ArcSDE允许你在多种DBMS中管理地理信息：Oracle、Oracle with Spatial/Locator、Microsoft SQL Server、Informix，以及IBM DB2。

3）支持多用户GeoDatabase。ArcSDE为用户提供大型空间数据库支持，并且支持多用户。

4）连续、可伸缩的数据库。ArcSDE可以支持海量的空间数据库和任意数量的用户，直至DBMS的上限。

5）GIS工作流和长事务处理。GIS中的数据管理工作流，例如多用户、历史数据管理、Check-out/Check-in，以及松散耦合的数据复制等都依赖于长事务处理和版本管理。ArcSDE为DBMS提供了这种支持。

6）丰富的地理信息数据模型。ArcSDE保证了存储于DBMS中的矢量和栅格几何数据的高度完整性。这些数据包括，矢量和栅格几何图形、支持X，Y，Z和X，Y，Z，M的坐标、曲线、立体、多行栅格、拓扑、网络、注记、元数据、空间处理模型、地图、图层，等等。

7）灵活的配置。ArcSDE通道可以让用户在客户端应用程序内或跨网络、跨计算机地对应用服务器进行多种多层结构的配置方案。ArcSDE支持Windows、UNIX、Linux等多种操作系统。

对空间数据的管理职责是由GIS软件和常规DBMS软件所共同承担的。某些空间数据的管理功能，如磁盘存储、属性类型定义、查询处理，以及多用户事务处理等是由DBMS来完成的。而对空间数据索引和搜索功能主要由ArcSDE 负责实现。一般在服务器端有SDE服务器处理程序、关系数据库管理系统和实际的数据。

ArcSDE通过SQL引擎执行空间数据的搜索，将满足条件的数据在服务器端缓冲区中存放并返回到客户端。缓冲区处理收集一批数据，然后将整个缓冲区中的数据发往客户端应用，而不是一次只发一条记录。在服务器端处理并缓冲的方法大大提高了效率，使网上荷载大大降低，这在应用操作数据库中成百上千万的记录时体现其优势。ArcSDE采用协作处理方式，即处理可在SDE客户库或服务器端实现，但取决于处理在哪一端更快。有的功能不需要与服务器通信，像多边形叠加和分割这类主要耗费CPU资源的任务，则由客户库来完成，可避免大量的网上操作。所有的服务器任务都是在SDE服务器所在的平台上完成的。而客户端应用则可运行于多种不同的平台和环境中，去访问同一个SDE服务器和数据库。

sdx 传输网是什么意思怎么理解是空间数据库引擎、还是卫星数据交换请详细解答

应该是sdh吧，OLT设备一般放置在局端机房，作为一种光线路终端设备，它负责把来自用户的IP信号（该用户信号可为语音业务、数据业务、视频业务等，只不过都转换成IP信号）汇集，并通过OLT设备的上联板连接至SDH设备或者PTN设备从而进入传输网络进行传输，这是上行流程，下行流程相反。说明：1、与OLT上联板相连的SDH设备或者PTN设备均需配置GE接口或以上接口，这个看OLT上联板的接口速率是多少；2、SDH是传统的传输设备，基于语音业务传送设计，也可传数据业务，PTN是新兴的传输设备，基于分组业务传送设计，也可传语音业务；3、SDH与PTN组网模式均以环形为主，可以理解为两种技术的组网模式雷同；4、至于SDH设备型号和PTN设备型号，各大厂家都有推出

地理空间数据库引擎怎样管理矢量

随着地理学的发展,用于表达地理信息的矢量数据呈现出类型多、操作复杂、数据量大等特性。这些特性给地理信息系统的软件开发、数据共享、互操作等带来很大困难。如何将这些数据进行合理的组织与管理,是地理信息系统软件研究的重点。这其中,由于矢量空间数据来源不同,不同数据格式也不同,如何将多种格式数据存储到数据库中,通过规范化访问,实现数据的共享和互操作,更是一个十分迫切的问题。矢量空间数据库引擎通过隔离数据服务层与用户客户端,屏蔽后台数据库的复杂性和异质性,解决了这个问题。

GIS空间数据库的发展经历了哪些阶段

　　如果你问的是GIS的空间数据库的话：GIS空间数据库的发展经历三个阶段——
　　Geographic Information Systems (1980s)
　　Geographic Information Science (1990s)
　　Geographic Information Services (2000s)
　　第一个阶段GIS主要的使用者是一些专业人员，例如地图制图人员等，比如ESRI Arc/Info，GIS厂商所定位的客户群体是那些只关注于空间数据分析的用户。这块特定的市场相对较小，其中包括科学界和政府部门的专家。与其他信息技术的用户相比，GIS用户更多是在封闭的环境中工作，使用特别为他们设计的专用数据库；
　　第二个阶段GIS则进行了一系列的规范化，比如提出了较为完善的理论、框架等，出现了数据模型、数据操作等。
　　第三个阶段随着Internet时代的到来，出现了另一批使用空间数据的用户群，他们更喜欢在一个非常高级的、用户界面非常友好的层次上使用空间数据。比如百度地图，google earth 支持空间查询，能够迅速定位，选择路径等。

　　如果你只是单纯问数据库的话：
　　总体说来，数据库技术从开始到现在一共经历了三个发展阶段：第一代是网状、层次数据库系统，第二代是关系数据库系统，第三代是以面向对象数据模型为主要特征的数据库系统。
　　第一代包括网状和层次数据库系统，是因为它们的数据模型虽然分别为层次和网状模型，但实质上层次模型只是网状模型的特例而已。这二者都是格式化数据模型，都是在60年代后期研究和开发的，不论是体系结构、数据库语言，还是数据的存储管理，都具有共同特征，所以它们应该划分为一代。
　　第二代数据库系统支持关系数据模型。关系模型不仅具有简单、清晰的优点，而且有关系代数作为语言模型，有关系数据理论作为理论基础。因此关系数据库具有形式基础好、数据独立性强、数据库语言非过程化等特点，这些特点是数据库技术发展到了第二代的显著标志。虽然关系数据模型描述了现实世界数据的结构和一些重要的相互联系，但是仍然不足以抓住和表达数据对象所具有的丰富而重要的语义，因而它属于语法模型。
　　第三代数据库系统的特征是数据模型更加丰富，数据管理功能更为强大，能够支持传统数据库难以支持的新的应用需求。
　　不过你提到了GIS那应该是问空间数据库吧？就是在普通关系数据库上加入了对空间数据的处理操作，应该是关系数据库的进一步发展，GIS就是空间数据库的一个应用~

　　呵呵，我的专业就是GIS，今天刚结束空间数据库原理专业课考试，希望能够帮到你。