时空云平台支持GIS应用的构建研究
作者及发表信息
本研究由W.W. Song(昆明理工大学)、B.X. Jin(云南省测绘地理信息中心,通讯作者)、S.H. Li(云南省测绘地理信息中心/云南师范大学)、X.Y. Wei(云南省测绘地理信息中心/南京师范大学)、D. Li(云南省测绘地理信息中心)和F. Hu(美国乔治梅森大学智能空间计算中心)合作完成。论文发表于《ISPRS Annals of the Photogrammetry, Remote Sensing and Spatial Information Sciences》2015年第II-4/W2卷,是2015年7月13-15日在美国弗吉尼亚州费尔法克斯举办的“国际时空计算研讨会”的同行评审成果。
学术背景
研究领域与问题
本研究属于地理信息科学(Geoinformatics)与云计算交叉领域,聚焦传统地理空间信息平台在大数据时代面临的三大挑战:
1. 数据密集型问题:多源异构地理数据(如DLG数字线划图、DOM数字正射影像、DEM数字高程模型)的存储与管理效率低下;
2. 计算密集型问题:空间分析(如拓扑检查、缓冲区分析)耗时过长;
3. 高并发访问问题:政府多部门协同使用时平台响应延迟甚至崩溃。
技术背景
- 云计算技术:通过虚拟化资源池(如Eucalyptus框架)实现弹性扩展;
- 大数据技术:Hadoop生态系统(HDFS分布式存储、MapReduce并行计算)处理PB级数据;
- 云GIS(CloudGIS):将ArcGIS Server等服务迁移至云端,支持按需调用。
研究目标
构建一个三层的时空云平台(Spatiotemporal Cloud Platform),整合上述技术以解决传统平台的性能瓶颈,并通过实际案例验证其可行性。
研究流程与方法
1. 平台架构设计
采用分层架构:
- IaaS层:基于Eucalyptus 4.0开发动态计算云(DC2),优化资源调度与自动扩展算法;
- PaaS层:
- ArcGIS Server集群提供空间分析服务链;
- HDFS存储多时相遥感影像,设计时空索引(Spatiotemporal Index)加速查询;
- Skyline集群实现三维场景建模;
- SaaS层:部署土地管理、统计分析和“天地图·云南”等应用。
2. 关键技术实现
(1)HDFS大数据管理
- 数据预处理单元:开发基于MapReduce的时空索引生成器,将影像数据分割为键值对(),采用PMMI(预定义多索引机制)优化查询效率;
- 性能测试:22TB影像数据在5节点集群的读写速度分别达229 MB/s和77.3 MB/s,远高于单机(4.3 MB/s读取,1.3 MB/s写入)。
(2)MapReduce空间分析服务链
- 工作流引擎:基于Oozie构建服务链组合引擎,支持多步骤空间分析(如地理国情统计中的格式转换→HDFS上传→统计分析→报告生成);
- 案例验证:10节点集群处理大规模统计数据时,耗时呈线性增长,效率显著高于单机。
(3)自动扩展机制
- DC2弹性计算:根据并发请求量动态增减虚拟机(VM),例如100用户并发时自动扩展10个VM;
- ArcGIS Server集群:采用点对点(P2P)模型,单节点故障不影响整体服务。
3. 原型系统搭建
硬件配置:10台x86服务器(CentOS 6.5系统,KVM虚拟化),10Gb网络。软件栈包括Cloudera Hadoop、ArcGIS Server集群和DC2管理界面。
主要结果
- 影像管理系统:成功管理云南省多分辨率、多时相影像数据,HDFS写入效率提升约18倍;
- Hadoop地理统计系统:10节点集群处理复杂统计任务的时间较单机缩短90%;
- 天地图系统:支持高并发访问(如节假日峰值),通过动态资源调整实现服务稳定性。
结论与价值
科学价值
- 提出首个面向地理信息的私有云平台架构,验证了云计算与GIS深度融合的可行性;
- 开发的DC2调度算法和PMMI索引机制为时空大数据处理提供新方法。
应用价值
- 为政府决策(如灾害应急、国土规划)提供实时地理分析能力;
- 降低IT运维成本,硬件利用率提升40%以上。
研究亮点
- 技术创新:
- 自研DC2模块实现GIS专属资源调度;
- 将Oozie工作流引擎首次应用于空间分析服务链。
- 跨学科整合:融合云计算、大数据与GIS技术,推动地理信息服务的“社会化普及”。
- 可扩展性:平台架构支持未来接入物联网(IoT)实时数据流。
其他贡献
论文提及的云GIS服务链和弹性地图服务设计,为后续智慧城市平台建设提供了参考范式。