智慧水利应用及其技术探讨范文

摘要：大数据技术在智慧水利的发展中具有核心地位，如何将大数据技术应用效率最大化，探究其技术特点特征是今后建设智慧水利工程中至关重要的环节。通过对云计算、数据挖掘和数据分析等大数据技术本身的研究，查找当前智慧水利与未来发现需求存在的差距，从而按图索骥，寻求解决智慧水利应用难题的方法，探索今后基于大数据技术搭建平台的可行性极其应用技术的发展。在设计平台和应用技术能够全面建立的理想情况下，智慧水利的效果可以得到显著地提升，能够真正的使智慧水利和大数据技术紧密结合起来，实现水利管理的数字化、智能化、规范化。

关键词：数据挖掘；数据分析；智慧水利；大数据

1引言

对于“大数据”（Bigdata），KusnetzkyDan在他的《Whatis"BigData?"》中在给出了定义，“大数据”是来自各种来源的大量非结构化或结构化数据，是传统数据处理应用软件不足以处理的大或复杂的数据集，必须使用在数十、数百甚至数千台服务器上同时平行运行的软件来进行处理。现代化的通信和信息网络技术，专业的大数据技术，让水利信息化走进了人们的视线。完善的信息化网络传输体系，共享和可利用的信息资源、在线的检测和实时动态查询等功能，让水利信息的时效性、及时性、准确性和可靠性得到了充分的保证，各项信息的传输更加及时和可靠，也由此形成了基于大数据的智慧水利[1]。当前，随着我国水利信息化现代化程度不断提升，相应的难题和以往存在的薄弱环节也暴露无遗[2]。由于水利信息采集类型多样，站点分布广泛，信息化项目的多事权特征，造成了资源整合难度大、共享利用不到位、数据分析难深入等弊端，因此需要在建立和完善数据采集、汇集交换、存储处理和数据服务能力的基础上，以开放的状态构建水利数据中心，实现分布异构数据的互联互通和高效利用。要想解决日益复杂的水利信息数据，只有高效运用大数据技术，才能满足水利信息化面向公众服务、面向行业应用、面向领导决策的需求[3]。本文重点通过对大数据分析技术概念、特点和应用领域的分析，阐述其在智慧水利中的重要作用。

2大数据技术特征及其应用

大数据从诞生到现在为世界带来了翻天覆地的变化。“小数据时代”向“大数据时代”的迈步，象征着由简至繁的计算方式，更意味着可以通过并行叠加的窗口去探索“新大陆”。大数据技术将在未来社会发展和科学进步中扮演着重要角色，而大数据分析将成为其中的关键。大数据分析的应用已经进入各行各业，这些行业利用大数据分析，解决了很多问题[4]。目前，不论是国计民生还是各行各业，都开始引进大数据技术，并将其作为主要分析手段，比如在智慧城市发展中的电力方面，我们可以通过对采集的数据进行分析，进一步确定用电的高峰期和热点区域，生成相应的管理调度决策，改进电网运行；在金融行业方面，大数据技术不仅仅是被运用在贸易往来，在客户情绪分析、行为推测方面也逐渐大显神威；在快速发展的互联网方面，大数据技术能够为用户提供贴心、精准的推荐服务。最常用方式是预测分析，通过采集数据、处理分析、预测结果，从而指导行动，一定程度上规避风险，提升未来事物发展的确定性。随着信息化发展不断横向拓宽、纵向加深，大体量、多种类、低价值的数据高速涌向数据库，如何从这些海量的数据中，快速准确地获得有价值的信息，则需要采用Map（映射）和Reduce（化简）两个阶段，对收集到的数据进行归类、关联、分析、重组，从而获取分析处理结果。整个处理过程，在大数据分析中占据了非常重要的一环。

2.1数据挖掘

数据挖掘（DataMining）是各类大数据分析，特别是预测分析的必经之路。一套成熟的预测分析模式可以帮助水利部门准确地把握下步工作重点，对预测到的水灾情况能够制定相关的防范措施，提高水利综合治理能力。尤其是在对水利数据具体的操作中，我们可以运用Hadoop的软件框架，对大体量的水利数据进行可靠、高效的分布式处理，利用机器学习（MachineLearning）的技术分析海量数据，采用MapReduce对节点间的通信与调度进行有效管理，并在各节点之间快速搜索筛选信息，再采用DataBlock技术对复杂多样的数据进行集成，在其管理下实现数据的汇聚与交换。2.2云计算云计算丰富的IT资源，其广泛分布的特性，给大数据带来了技术支持。而云计算中的云数据库，则大大增强了数据库的存储能力，在一定程度上消除了人力、物力的重复投入，使数据库具有高度的可塑性、实用性。IaaS（基础设施即服务）、PaaS（平台即服务）和SaaS（软件即服务）是云计算的三种商业服务模式。云计算意味着将计算能力当作商品进行流通，不论是取用还是存储，都极为方便，且价格低廉，因为它是通过互联网进行传输。当前，云计算应是最普遍、最大众的数据存储地，绝大部分软件必须主动与云平台有机结合，相配套的产业已基本健全，初具规模。目前，国内云计算已推广应用于生物医学、物流、城市规划、金融、汽车、能源、零售业等多个领域，水利行业也应该迎头赶上。云计算是大数据计算的一部分，是大数据的核心技术，能够在海量的数据中快速搜寻、筛选有价值信息，从而得出优化结果。

2.3可视化分析

大数据分析不单是数字化的体现，也可以利用可视化分析，将数据转换成图形或者图像，给人以直观的印象。数据可视化是信息化的关键技术，是从静到动、从单调到多元的重大跨越，数据的采集、信息的提取、决策的生成，一系列过程都能够以可视的状态呈现出来，有利于激发人们的判断力、创造力和洞察力[5]。大数据的可视化分析技术已经非常成熟，在工程、勘探、医学等方面得到了广泛应用。在水利信息化方面，我们能够将数据可视化的作用发挥到极致[6]。利用Tableau、IntelligenceDesigner等可视化工具，将全国的地理信息系统作为底板，实时数据和历史数据作为背景，对水利数据进行实时监控、动态分析、预警预报、决策生成，辅以水利资源管理系统和相关业务服务系统，实现跨区域、跨部门的数据共享和全国水利资源信息一体化，并绘制Dashboard控制面板图，对水利数据进行可视化展示。使大数据具备知识服务功能，推动我国水利信息化向深远发展。

3智慧水利的现状

目前，国内智慧水利还处于一个初步发展的阶段，发展速度很快，但与未来需求存在不小的差距，主要体现在以下几个方面。3.1在布局和互联上的工作不够全面在水利部门内部还存在共享难、格局小的现实情况，《中国水利》中“智慧水利现状分析及建设初步设想”一文指出：当前国内73%的县级水利部门是不能直接连接水利业务网的，基层水利部门较少使用水利信息系统[16]。数据库不连通，无法实现地域间的数据整合、分析，导致数据僵硬化，很难对于水资源的联合管理和洪涝灾情的联合整治。

3.2在水利数据应用上效果还不够显著

大数据虽然有数据多、种类杂的特点，但是对于数据本身也有要求。如今水利数据的采集缺乏标准，导致数据的质量得不到保证，从而在数据的应用上问题明显，并且对于基于数据生成决策的能力有待加强，对于数据价值的挖掘能力有待提高。

3.3在水利数据分析上技术还不够先进

大数据技术的最终目的在于生成分析处理结果，其中关于数据的分析至关重要。在水利信息化不断推进的情况下，水利数据分析技术缺乏针对性[1]。同水利专业最密切的水文系统，是地球上最大、最复杂的动态系统，包含了同样复杂的多个子系统，其中有大气层-海洋系统、坡面系统、河流系统、海岸线系统、冰川系统、地下水系统、风成沉积系统。即使其中的河流系统，流淌着的水流千姿百态，自然状态多为紊流，流动规律过于复杂[7]，更何况挟沙水流中含大量泥沙颗粒后，影响因子增多，问题更为复杂[8][9]。因此，水利专业大数据除具备大数据的一般特点外，还具有不少特殊性[1]。水利数据来源形式多样，存在大量内生性数据，加之其自身特殊性，现有技术难以挖掘其中价值，必须构建水利汐超算[1]，从海量数据中发现隐含规律。“汐超算”实际上就是具有水利专业特色的云计算，能够进行超级计算与处理复杂水利问题的趋势，用来解决水利数据分析技术不够先进的难题。

4大数据技术在未来智慧水利中的应用

当前是用数据说话的时代，水利行业作为关乎国家战略发展和普惠民生的关键，在数据增长方面也是几何式的，不管是黄河治理还是南水北调调控，不管是居民用水还是工、农业用水，日益增加的数据都必然引起人们关注。为应对日益增长的水利数据，增强水利行业部门之间的信息共享和联动能力，探索大数据技术在智慧水利中的应用已经迫在眉睫。需要进一步确立大数据技术的重要性，建立健全配套的采集、汇总机制，强化存储、更新能力，真正做到让数据“说话”。对于信息共享和数据服务要广开大门，打破地域、行业之间的限制壁垒，在数据流通中获取高价值回报。大数据分析下的智慧水利，从根本上打破了信息的壁垒，将大量的放置的数据变的不再“僵硬”，而是随时可以调用，数据从此也可以“说话”，对于水利部门来说，没有大数据分析的智慧水利，是没有“灵魂”的。大数据分析下的智慧水利，使水利数完成了由“静”到“动”的转变。各相关部门应按照水资源管理数据库建设规范标准，开发水资源、水功能区、水资源量检测、取用水量检测等实时水利数据平台，利用平台层提供的监控管理功能建立水利基本数据库，在实现水资源数据资源的集成管理、存储管理、安全管理的同时，整合水利信息资源，实现省市县之间的数据汇集、业务应用与数据库之间的数据交换，强化数据处理分析能力。以全国水利信息化架构为基础，以水利网络为载体，以通讯网络的互联互通为神经，以数据中心为中枢，以智慧服务的水利应用为核心，广泛应用物联网、视联网、泛在网、云计算、大数据、可视化新技术，促进“互联网+”与现代水利的深度融合，全面承载各类水利信息资源，真正将智慧化水利当作惠及民生的重点工程去建设，最终形成以物联网为技术支撑的水利数据采集监控体系，完善水利大数据的应用。下图为模拟水利大数据平台，其中包含信息采集、数据汇集、应用支持和分析决策4大模块。通过信息采集系统将各类水利数据采集汇总，传输到大数据平台中；利用汇集系统将数据清洗、分类，按需存储在云平台上；应用支持平台提取已存储的数据进行处理，进行日常办公等活动；分析决策平台通过建模将数据分析、预测，所得结果供用户决策。借助这四个平台，水利大数据才具有完整性、连续性和系统性。

4.1建立水利工程综合运行管理平台

利用互联网、云服务、大数据等对河流流域的市县级水利工程进行综合管理和开发，将目前我国各流域的水利工程“制度化、专业化、信息化、景观化”，保证水利工程的全面监管。初步完成大数据基础设施、大数据管理与应用平台、云数据库、物联网平台的搭建。打造使用NoSQL可扩展的、能与云计算紧密融合的互联互通、资源共享的水利数据库。

4.2建立防洪预报系统

以洪灾频发的黄河为例，虽然最近由于治理较好，特大洪水灾情基本上已经很少见，但是，“三年两决口、百年一改道”的黄河，依旧是世界上最为复杂难治的河流，据黄委水文局统计，仅2010—2017年，黄河中游便有7条支流9个站点出现建站以来最大洪水。其中，黄河一级支流无定河流域2017年遭遇特大暴雨，陕西子洲、绥德县城受淹，最大水深达4m，最大淤积厚度2.6m。（来源中国水利网，《黄河洪水，忧思仍在——汛来问黄河•专家访谈•之一》）。对于黄河来说，洪灾的预报比直接治理洪灾更重要，而报警系统的建立，可以依赖智慧水利对历史降雨洪水的过程进行模拟，同时通过输入降雨量等数据，利用高水平的水沙数学模型[10]，预测流域某出口的洪水流量等信息，从而进行预报。为了保证防洪预报的准确性和及时性，水利部门应完成水沙因子检测、水质监测等需要的基础性设施建设。此外，依赖于大数据技术建立的防汛防凌抗旱指挥系统，其数据不仅依赖当前的实际收集，也应该有历史洪水的参数模拟。同时，防洪预报对于黄河流域土壤侵蚀的治理也有很大的效果，通过对流域内水沙因子的数据分析，可以分析出不同地方的水土的侵蚀的程度，从而进行针对性的治理，对于整个流域的水土治理，在平台的数据监控下，也可以随时掌握[11]。

4.3建立智慧水电云平台

水资源的利用一直都是普遍关注的课题。对于水电的管理，也需要一个智慧化的管理平台，此平台的设立，需要云存储技术、移动互联网技术让水电站的运行和监管、监控一体化，实现水利大数据移动端应用全部上线，开展水务一体化管理系统、水利政务及公共服务等应用系统[12]。一个部门统筹和集中运营监管水电站，实现少人或者无人值班值守，完成Web端和移动端的全部上线运行。

4.4支持河长制任务落实

建立与河长制相配套的信息保障平台，包括数据整合、动态监控和预测预报，同时兼顾社会舆情监督服务，通过数据的采集分析，为河长制提供强有力的技术支撑。和传统的河长制对比，拥有信息保障平台的河长制任务，落实的过程中可以更加全面的依靠互联网手段，不管是数据的整合还是数据的分析和预测，都会更加全面和详实，对于提升数字化办公能力，起到十分关键的作用，更好的为河长制任务的落地生根服务。

4.5综合管理信息系统的效益

大数据技术加持下的智慧化黄河管理是全国水利信息化进程中的关键一环，通过管理、预警、治理、调度平台，强化了水利管理效能，使水利数据信息传递得到有效提速，一方面提高了预警预报的及时性、准确性，另一方面为管理人员决策提供了科学依据，管理效率得到提升，一定程度上降低了成本，形成了全面参与、共享共治的黄河水利管理新局面。综上所述，拥有大数据技术的智慧水利，具有大数据技术同样的属性，黄河智慧化的管理，就充分说明了智慧水利是可以跟随大数据技术发展而发展的，准确的和及时的预报，管理效率的提高，让智慧水利显得离不开大数据分析，而事实上也是这样。大数据技术不仅可以实现水文数据的自动采集、传输、处理和预报，更重要的是可以将采集到的数据和其他相关部门进行传输，比如水利可以和林业部门进行数据共享，不仅可以丰富数据分析依据，还可以共享处理结果，实现全平台的信息共享。且大数据技术还能够充分利用庞大的水文数据，按照优化后的计算方式，进行旱涝预报、风险评估、资源调度、管理协调等。智慧水利关键在于“智慧”，而大数据技术就是为用户提供知识型智能服务[12]，借助大数据技术的海量数据处理功能，提取有价值信息，形成分析结果，只有大数据技术能够在信息化飞速发展的今天，使水利走进数字时代。借助大数据技术，实现水利综合决策科学化、水利监管精细化、水利公共服务便民化。此外，为了响应国家战略规划，大数据与专业结合势在必行。智慧水利在将来的应用必然是全方位的，通过数据的深入分析，可以轻松的获取区域水域的监管信息，从而提高水资源的利用效率[13]。智慧水利不仅运用于灌溉农田和水资源共享管理，在洪涝灾害的预测预警方面，通过建立相应的水文数据库，将历史上的洪涝灾情、方向、流量、区域进行汇总分析，运用大数据分析对可能发生的灾情进行预警和评估[14]，通过可视化技术展示，制定各类方法措施、通过有线或无线通信手段，实现智能控制[15]。与此同时，有效利用水质监测站检测结果，对区域内水污染根源进行排查整治。

5.结语

智慧水利的进步，需要加强水利数据中心和分中心数据资源管理平台的搭建，推进各级数据中心的资源共享平台建设，并增强水利数据中心和分中心的容灾能力，从而保障智慧水利的业务应用和监管能力。依托大数据分析下的智慧水利，实现人水和谐的水利现代化建设。智慧水利的成功必须建立在大数据分析的基础上，没有科学分析过的数据，是僵化的，没有生命力的数据。水利数据来源形式多样，存在大量内生性数据，加之其自身特殊性，现有技术难以挖掘其中价值，必须构建具有水利专业特色的云计算平台——“汐超算”，从海量数据中发现隐含规律，用来解决水利数据分析技术不够先进的难题，实现智慧水利的目标。各种关键数据的实时监控和智能分析，让水利监管人员对于各种突发情况有更加全面的处理能力。智慧水利的发展和建设，都离不开大数据分析，只有将大数据分析全面落实到智慧水利的每一个方面，才能在智慧水利的理念和发展下，实现水利管理的数字化、智能化和规范化。

参考文献：

[1]张红武，赵晨苏，周祺，等.内蒙古自治区水利大数据顶层设计（2017-2020）[D].北京：清华大学，2017：51-98.

[2]张红武，仝华杰，穆方驰，等.内蒙古自治区水利大数据顶层设计调研报告[D].北京：清华大学，2017：126-167.

[3]张红武，赵晨苏，周祺，等.内蒙古自治区水利大数据应用可行性研究报告[D].北京：清华大学，2018：35-64.

[4]胡彦华.现代水利信息科学发展研究[M].北京：科学出版社，2016：5-25

[5]李德仁,龚健雅,邵振峰.从数字地球到智慧地球[J].武汉大学学报(信息科学版),2010,35(2):127-132.

[6]王仁礼,陈波,杨阳,等.3S技术在数字水利中的应用[J].测绘科学,2008,33(3):210-212.

[7]张红武，吕昕.弯道水力学[M].北京：水利电力出版社，1993：17-29

[8]张红武,张清.黄河水流挟沙力的计算公式[J].人民黄河，1992,14(11):7-9.

[9]张红武，江恩惠，白咏梅，等.黄河高含沙洪水模型的相似律[M].郑州：河南科学技术出版社，1994：62-77.

[10]张红武,江恩惠,刘月兰,等.黄河河道数学模型的研究[C]∥第二届全国泥沙基本理论研究学术讨论会论文集.北京:中国建材工业出版社,1995：135-142.

[11]肖建民,周惠成,王本德.防汛抢险物资调度决策支持子系统的设计[J].东北水利水电,2003,21(1):39-42.

[13]叶建栋.浅析物联网的发展与应用[C].中国通信学会2011年光缆电缆学术年会.2011.

[14]蒋云钟,冶运涛,王浩.智慧流域及其应用前景[J].系统工程理论与实践,2011,31(6):1174-1181.

[15]王忠静,王光谦,王建华,等.基于水联网及智慧水利提高水资源效能[J].水利水电技术,2013,44(1):1.

[16]水利部参事咨询委员会.智慧水利现状分析及建设初步设想[J].中国水事,2018,69(5):1-4.

作者：赵艺璇1,2 单位：1.美国哥伦比亚大学数据科学学院，2.清大动力（北京）水治理科学技术研究院有限公司