２０１ ８年第１７卷第１ ３期 大数据背景下的数据共享关键技术研究 口徐骏骅卢雪峰 【内容摘要】在信息技术飞速发展的不断推动下，水利行业信息化程度不断提高，行业内积累的数据资料呈级数增长。然而不 同的系统间数据类型、数据存储结构、功能接口等存在着巨大差异，导致数据间的共享率不高，数据重复开发严重， 形成“信息孤岛”，无法进行数据的资源化和充分利用。本文将结合元数据管理、Ｗｅｂ Ｓｅｒｖｅｒ以及分布式存储等技 术，从模型架构、元数据库设计、功能和模块设计等方面，实现各单位间数据的共享服务，对推动水利大数据资源化 进行探索。 【关键词】大数据；异构数据；数据共享 【基金项目】本文为２０１７年度浙江省水利厅科技项目“大数据背景下（水利）领域数据共享关键技术的研究”（编号：ＲＣ１７５３）成果。 【作者简介】徐骏骅（１９８４．１０～），男，浙江杭州人；浙江同济科技职业学院讲师，硕士；研究方向：电子商务、计算机应用技术 卢雪峰，浙江同济科技职业学院 一、水利行业大数据现状分析 会生活的各个方面，成为推动国民经济创新创业发展的巨大 动力。在水利行业内，虽然近几年行业各部门纷纷投入大量 人力物力开发了各类水利信息管理系统，并通过系统在运行 近年来，大数据已经成为全球关注的热点。据统计， ２０１１年全球创造的数据为１．８ＺＢ（约１．８亿ＧＢ），并以每两 年翻一番的速度不断积累，数据已经成为一种新的战略资 源。 信息技术发展的焦点由“Ｔ”（技术）转变为“Ｉ”（信息）。 基于跨平台的数据共享技术使数据间实现重复利用、自由整 合，并被广泛用于智慧交通、运输、商业、物流、统计调查等社 （四）平衡分析。平衡分析法是指将对立统一的双方按 照其构成要素一一排列起来，塑造一种整体的概念，进而便 于观察它们之间的平衡关系，最终确立全局发展动态，是一 种研究社会经济现象数量变化对等关系的方式方法。在现 实的社会经济运行中，既包括全国宏观经济，又有个体 经济，而平衡分析则广泛应用于各种经济分析行为当中。综 合来看，平衡的种类相当繁杂，包括财政平衡、能源平衡、收 支平衡以及劳动力平衡潜力等等，其作用发挥体现为反映社 期间积累了海量的行业数据，为水利大数据的形成提供了数 据基础。但是由于数据多点采集、分散处理、分布存储以及 数据间类型结构不同等问题，使大量数据无法实现深层次的 数据共享，也了后期数据分析和数据挖掘的进行，制约了 数列中各相关指标之间的可比性，应保证总体范围、计算方 法、计算价格以及计量单位等前后一致，同时一般情况下亦 需在相同的时间间隔条件下进行，以消除由此产生的指标数 值不可比。 三、结语 总而言之，科学的社会统计分析具有十分重要的现实意 义，是现代社会经济发展的重要基础和依据。在具体的实践 过程中，社会统计分析作为一项系统化工程，所关联到的信 会真实的经济现象，同时揭示不平衡因素及发展潜力，并由 此制定科学化的发展目标及规划。在此基础上，则需用到综 合评价分析法，对整个社会经济运行状态进行了解，并得出 各种因素变动方向及程度的结果，继而作出宏观性的调整 战略。 （五）时间数列。随着时间延展，相同指标会发生一系列 息内容众多，所应用到的方式方法多种多样。未来，相信人 们对于社会发展的认知愈加深刻，所应用到的统计分析方法 不断更迭。因此，希望学术界大家持续关注此课题研究，结 合实际情况，有针对性地提出更多有效社会统计分析策略。 【参考文献】 ［１］胡臻．“十二五”以来我国图书馆、情报与文献学研究态势 分析——基于国家社会科学基金资助项目的统计分析［Ｊ］． 图书馆研究与工作，２０１７，１２：３７—４ｌ 的数值变化，在经过一定的顺序排列之后，可形成时间数列， 能够在一定程度上反映社会经济现象的发展变动情况，继而 找出其中运行规律，用以预测未来的社会经济发展趋势。根 据功能作用的不同，时间数列又分为绝对数时间数列、相对 数时间数列以及平均数时间数列等几种。在此过程中，时间 数列统计分析最重要的指标是速度，即根据时间变化来计算 速度指标，包括发展速度、增长速度、平均速度等。此外，在 ［２］李晓宏．加强统计分析工作服务社会经济发展［Ｊ］．全国 商情（理论研究），２０１３，１９：２７ ［３］单伟勋．试述统计分析的作用及提高方法［Ｊ］．中国证券 期货，２０１３，３：２９４，２９６ 社会统计分析学中，单纯地依靠某一时期的指标数值，很难 作出判断，而基于时间数列编制，则可进行动态发展分析，进 而反映其实际发展水平和变化规律。在此过程中，着重注意 ［４］程中兴．社会统计分析中的悖论与变换问题［Ｊ］．统计与 决策，２０１１，６：２４—２５ ｌｎｄｕｓｔｒｉａｌ＆Ｓｃｉｅｎｃｅ Ｔｒｉｂｕｎｅ ．４１． ２０１ ８年第１ ７卷第１ ３期 数据资源化的发展。 二、水利数据资源化技术路线 件类型直接访问相应服务器，提高了系统对于海量数据并发 访问情况下的处理能力。该平台结构层次清晰，各功能间分 工明确，能有效实现系统数据间的分布式存储和集中管理， 为数据共享提供了技术保障。 （二）元数据库设计。元数据库是数据共享平台的核心， 数据资源化的基础和本质是实现数据的共享和服务。 通过建立基础数据服务平台，实现海量分布式异构数据间的 数据共享，是实现数据资源化的一种有效途径。 数据资源 化包括数据收集、数据整合、数据分析、数据服务四个阶段。 其中数据收集阶段主要由各部门涉水数据、水利行业内部数 据、其他数据等组成，主要进行原始数据的采集和积累。数 据整合阶段是资源化的重点，关键技术包括混合式数据云存 也是实现分布式异构数据共享的关键。元数据通过对异构 数据添加信息描述，以方便用户对相关数据进行访问。如何 精确地对数据进行描述是元数据库设计的重点。因此本平 台元数据库设计包括元数据标识、数据用户信息、数据描述 信息、负责人信息、数据类型信息、维护信息等多个子集信 息。其中元数据标识是元数据在数据库中的唯一标识符，保 证了数据的唯一性。数据用户信息主要包括了元数据采集 储技术、异构数据交换技术等，将海量异构数据整合为统一 数据资源。数据分析阶段包括了数据挖掘、数据接口开发、 分析建模等方面，负责从海量数据中获取有效信息。 数据 服务阶段直接与广大用户相关，通过应用服务、数据查询、资 源共享等方式使数据真正产生效益并为国民经济服务。 三、水利数据资源化关键技术 通过基础数据服务平台实现海量异构数据问的共享，将 主要依靠Ｗｅｂ Ｓｅｒｖｅｒ、元数据、ＡｒｃＧＩＳ Ｓｅｒｖｅｒ和混合式云存储 技术。其中Ｗｅｂ服务技术提供标准的接口访问，实现了异构 系统平台问的互操作性，通过服务的请求和调用完成异构数 据的访问。元数据又称中继数据，主要用来描述数据属性的 信息。元数据可以对数据进行信息描述和归类，用户可以通 过描述信息对异构数据进行访问和管理。ＡｒｃＧＩＳ Ｓｅｒｖｅｒ提供 了丰富的ＧＩＳ功能，能够实现在线地图预览等服务的开发和 ＧＩＳ数据资源的获取。水利行业数据结构复杂，既有普通的 文档数据，也有ＧＩＳ地图服务和空间数据、关系与逻辑数据 等等，利用混合式云存储技术将不同类型数据进行分类和分 布式存储与读取，可以有效提高数据的访问率，从而解决当 前云存储过程中存储利用率低、空间浪费严重等现象。 四、数据共享平台具体设计 ｌ 兰竺塑塑 ｌ ｌ兰苎兰 塑兰｝ｌ兰竺苎墨塑望１ 分布式数据存储节点 ｔ数据分类 蟊司 业内部系统擞据Ｉ ｆ其它相关系统擞据ｆ 子系统端 图１ 数据共享平台架构图 （一）系统架构设计。针对水利行业数据分布式异构的 特点，数据共享平台采用Ｂ／Ｓ三层结构，将系统核心功能最 大限度地集中在服务器上，从而简化平台的开发和维护。系 统总体结构设计如图１所示。其中，数据共享平台提供用户 和系统的接口，用户可以通过平台根据需求进行数据查询、 浏览和下载等操作。元数据库主要负责对所有异构数据添 加信息描述，是用户获取数据的桥梁，也是平台访问数据的 接口。在分布式数据存储节点中，由各子系统端上传的数据 被分为三种不同类型，分别被存放在三个不同的服务器中。 如文件、图片等文档数据，ＡｒｃＧＩＳ Ｓｅｒｖｅｒ服务器提供的地图信 息和空间数据，其他文件和关系型数据等。系统可以根据文 ．丑９． 人的姓名、单位、联系方式、采集日期等。数据描述包括数据 的类型、数据的说明、所属行业、录入系统的时间、数据资源 内容等，是数据库设计的主要信息部分。负责人信息包括了 对象资源拥有者的基本情况以及数据资源访问的权限情况 等。数据类型信息包括了数据的类型、文件的格式和资源大 小等信息。维护信息包括了数据资源的维护原因、维护时 间、维护内容等。从而在多个方面保证了对海量异构数据进 行正确描述和数据共享。 （三）功能和模块设计。根据数据共享平台的需求分析 和技术特点以及系统架构设计情况，可以将系统总体功能模 块分为用户管理模块、共享数据查询模块、数据在线预览模 块、数据下载模块、数据管理模块等功能模块。其中，用户管 理主要包括用户的注册、权限分配、密码管理等。共享数据 查询模块可以根据用户的需求提供相应的数据查询服务。 并根据查询结果提供共享数据的在线预览功能，以便用户获 取更多的数据信息。数据下载模块可以提供文件类的数据 下载服务。数据管理模块主要为数据管理者提供数据的录 入、数据描述的修改、数据的更新等功能。 五、结语 数据资源化是大数据时代发展的必然趋势，然而当前数 据资源化依然处于初级阶段，有着巨大的发展空间。实现跨 系统的异构数据共享作为数据资源化的关键技术成为当前 人们亟需解决的首要问题，随着信息化技术特别是Ｗｅｂ Ｓｅｒｖ— ｅｒ技术的不断发展，为问题的解决提供了新的可能。本文通 过Ｗｅｂ Ｓｅｒｖｅｒ、元数据、ＡｒｃＧＩＳ Ｓｅｒｖｅｒ和混合式云存储等技术 对水利大数据共享平台的整体架构、数据库和功能模块进行 详细设计，为解决水利行业海量异构数据间的数据共享，推 动水利大数据资源化和水利信息化的建设提供经验借鉴，并 为下一步水利资源共享平台的开发提供技术支撑。 【参考文献】 ［１］蔡阳．水利信息化“十三五”发展应着力解决的几个问题 ［Ｊ］ 水利信息化，２０１６，１：ｌ～５ ［２］陆佳民，冯钧，唐志贤等．水利大数据目录服务与资源共 享关键技术研究［Ｊ］．水利信息化，２０１７，４：１７～２０ ［３］冯钧，唐志贤，盛震字．水利数据中心数据交换平台设计 探讨［Ｊ］．水利信息化，２０１４，１：１５～１９ ［４］艾萍，吴礼福，陈子丹．水利信息化顶层设计的基本思路 与核心内容分析［Ｊ］．水利信息化，２０１０，４：９～１２ Ｉｎｄｌ１时ｒｉａ１＆ ｏｎｃｅ Ｔｒｉｈｌｌｎｐ
