大数据下的水产养殖系统设计范文

摘要：大数据与各行业的快速融合正深刻改变着人们思考和解决问题的方式，快速推动着生产力的发展。水产养殖大数据作为渔业大数据的重要一环，对推动渔业转型升级有极强的现实意义。基于此，笔者首先阐述了水产养殖大数据的主要来源，然后对水产养殖大数据系统进行了需求分析和概要设计，最后展望了水产养殖大数据发展的前景和挑战。

关键词：水产养殖；大数据；系统设计

引言

我国的水产养殖量居世界第一位，水产养殖是我国农业经济的重要组成部分。传统的粗放式或小打小闹的养殖方式风险大、成本高、对环境资源的破坏较严重，已不符合经济高质量发展的时代要求。要提高水产养殖的效率、降低风险、增加效益，就必须进行科学管理、科学决策，向自动化和智能化方向突破。基于大数据的水产养殖系统应充分重视数据的作用，从数据中总结规律，挖掘价值，让将传统的经验管理逐渐转向精准管理，有助于突破修修补补、看摊守业和靠天吃饭的养殖观念。基于大数据的水产养殖将有力促进养殖手段自动化、高效化，管理模式科学化、智能化，生产方式规模化、集约化，从而打造一个全新的水产养殖模式，推进水产养殖的产业革命。

1大数据与水产养殖

著名研究机构Gartner与麦肯锡都对大数据给出了相关定义，都将大数据概括为一种重要的信息资产，但是依靠传统方式无法研究处理并提炼大数据的价值。大数据有重要的4V特征，即Volume（大量）、Velocity（高速）、Variety（多样）、Value（低价值密度），后有关学者在此基础上增加了Veracity（真实性）。迈尔-舍恩伯格指出大数据不是随机样本，而是全体数据；不是精确性，而是混杂性；不是因果关系，而是相关关系[1]。以上表明，大数据是一场思维与技术的革命。“用数据说话，用数据决策，用数据管理，用数据创新”，大数据将成为驱动经济发展和社会转型的重要力量。“水产大数据是把生产经营过程的相关数据进行采集，通过可追溯系统从生产到消费过程进行全方位的记录，如生产环境、水域状况、市场前景等数据，这些数据就构成了大数据的基础。此外，还需要智能决策系统，包括专家库、知识库、决策库等，指导水产业的生产经营活动，提高养殖生产效益”[2]。水产养殖大数据聚焦水产养殖环节，它利用大数据的理念和相关技术，对水产养殖全产业链产生的大量数据进行收集、处理和分析，借此来解决水产养殖领域风险大、成本高、管理水平低、资源利用水平低等普遍问题。在水产养殖中应用大数据是进行科学管理，提高效率和效益，最终实现智慧养殖的前提条件。

2水产养殖大数据来源

数据是基础，分析挖掘是核心，应用是目的。水产养殖环境多变且复杂，包括环境数据、生长数据和管理数据等，此外，历史数据、经验数据和来自互联网、各种知识库的数据都是构建水产养殖大数据的成分。足够丰富的数据能提高机器学习的效果，更能反映客观问题、预测趋势，从而为决策服务。水产养殖大数据来源主要有以下3个方面。（1）物联网数据，来自各类传感器，监控设备，如温度、水质、pH、溶氧、光照传感器、视频监控设备等。（2）互联网数据，通过网络接口、网络爬虫等从互联网获取的数据。（3）其他数据，如管理系统里已有的数据、各种水产养殖知识库、专业数据库等。表1对几类数据源从获取方式、数据类型和数据量方面做了简单比较。

3水产养殖大数据系统设计

3.1系统需求

水产养殖大数据系统是一个综合了数据获取、存储、分析和应用的综合系统，下面从数据采集、数据存储处理和数据应用3个方面加以分析。

3.1.1数据获取整个水产养殖链条的数据来源是广泛而复杂的，主要数据源如图1所示。传感器负责采集环境数据和个体数据，包括获取水温、pH值、化学需氧量、活性磷酸盐等水产养殖环境要素数据，通过视频设备获取宏观环境信息，通过个体标签采集个体的活动信息。通过水下传感器、浮标、遥感、设备获取的数据是本文进行数据挖掘和研究的主要数据来源；监控视频数据流是通过协议传输至服务器进行回调解析获取，包括通过各解析器解析的网络、文档数据，这些数据是构成水产养殖大数据信息平台的数据基础。计算机负责采集互联网数据，需要提前准备好采集库，包括行业权威网站、政府主管部门网站、其他专业数据库、数据包等与水产养殖有关的预报预警信息。联网采集数据需要安排好采集策略，合理分配时间，采集源要定期测试和分析，从而优化资源库，提高数据质量。其他数据主要来自水产养殖管理系统，或者线下数据。可以创造条件使同行交换或共享数据资源，打通信息孤岛。数据资源越丰富，越利于挖掘出其中的价值。对于线下获取的数据，整理和清洗后要及时录入系统，构建全面的数据资源。

3.1.2数据存储与管理由于水产养殖涉及的因素多，环境复杂，产生的数据量大，种类繁多，且大部分是流式数据。这种实时产生的连续性数据，需要一种高性能、高容量的数据存储方案。另外，水产养殖数据来源广泛，除了结构化数据还有大量的半结构化和非结构化数据。数据存储由关系型数据仓库和分布式数据仓库构成，遥感监测数据和非结构化数据体量大、增速快，此类数据采用HDFS进行分布式存储，HDFS的优点在于对存储设备要求不高，容错性好，可以通过添加节点的方式进行快速扩容，是存储大数据的理想解决方案[3]。HDFS存储机制和节点之间的互备份机制保证了水产养殖数据的安全性。由于水产养殖数据来源广且数据质量良萎不齐，为了更好地为后续挖掘工作供应优质数据，数据存储以前需要对其进行清洗，加工、融合后才能存入目标库做进一步处理。通过数据统计分析技术将高维数据降维，构建基于应用主题的数据仓库，为大数据的应用做好准备工作。Hadoop是一种开源的大数据解决方案，已成为该行业的事实标准，有大量的案例、参考资料和社区支持，同时Hadoop生态圈产品非常完善，涵盖数据抽取、转化、存储、分析整个链条[4]，是用于水产大数据管理的理想方案。HDFS和MapReduce是Hadoop的两大核心部件，分别用于分布式存储和分布式处理数据，基于Hadoop的大数据技术框架体系如图2所示。

3.1.3数据业务逻辑处理层该部分是整个平台的核心，业务逻辑处理要将数据变成可用的信息、知识，用于实现业务逻辑和提供分布式计算框架，用户可以通过调用对应的业务接口，获取相应的检索、统计、分析、模型管理等服务。需要注意的是，基于大数据的业务处理不仅仅是技术问题，也需要对行业知识有相当的了解，对人的综合能力要求较高，初期通常需要程序员和水产养殖专家协同工作。为了提高平台的响应速度，部分可并行化业务逻辑利用MapReduce分布式编程计算框架进行并行处理，为数据应用展示层提供相应接口。根据不同的需求可采用不同技术框架，如对实时性要求不高的管理决策可以采取MapReuce、Spark脱机分析，对实时性要求较高的可以采用Storm框架进行分析。

3.1.4数据应用展示层数据经过分析和处理后将给出系列结果，这种结果可能仍然不够直观。数据应用展示层通过调取不同的业务处理接口，获取对应的数据分析和查询结果。用户可根据筛选条件、需求进行水产相关信息检索，检索结果将以丰富的可视化展现形式进行展示。另外，平台会对检索、热点信息进行统计展示，同时提供风险预警、产量预测、疾病防控、水质评价、水产要素分析等服务，从数据挖掘的角度提供科学的预测、评价和指导。

3.2系统方案设计

整个系统包括3个部分，分别是获取数据的物联网部分，数据存储与处理的数据中心部分，承担管理功能的管理终端部分。来自互联网的数据通过软件直接在数据存储与处理的数据中心加以处理。系统整体逻辑架构如图3所示，该图为硬件分布的逻辑示意图，软件功能在后续说明。在水产养殖智能监控系统的设计中，根据物联网中感知层、网络层和应用层的三层体系架构，设计系统由无线检测和控制层、监控中心层与远程管理层3个部分组成。无线检测和控制设备包括水质气象等参数检测传感器、水质调节装置、自动投饲装置、摄像头等。根据传感器采集的数据，自动调节控制设备，规范养殖过程，优化养殖环境；并将各种采集数据和管理数据上传到数据中心，以供大数据分析和管理端查阅。管理层监控系统及水产养殖信息数据库，可在监控界面设置各种参数的范围，在数据异常时及时报警通知用户，并根据设定参数调节环境参数，实现对本系统的远程实时智能监控。远程管理层包括养殖状态检测、养殖环境调节、无线通讯、控制中心、上位机远程监控显示5个模块，其中安防监控系统可以实施智能识别并对进入防区的可疑人员进行警告及报警通知相关人员；环境监控系统是基于水产养殖大数据的指导，根据检测到的环境参数，自动或手动控制调节器的工作，以及给养殖人员提供有价值的信息来干涉养殖过程。数据的使用和管理是该系统的核心功能，整个系统软件架构可分为大数据平台和业务系统两大部分，系统软件架构如图4所示。大数据平台存储、管理和分析数据，构建模型与知识库，进而应用到业务系统上。目前，对水产养殖进行数据分析和建模的方法主要有ARIMA模型和神经网络训练[5]。业务系统根据用户需求呈现信息，形成决策。执行单元执行决策后继续产生数据，大数据平台收集到反馈数据后做对比分析，从而优化模型和知识库。以系统中的疾病预测与诊断功能为例，设计该功能的初衷是养殖户可根据常见疾病库和自身经验自查，也可邀请专家协助进行远程诊断，或者上传文字、图像信息让平台智能识别，协助诊断。

4面临的挑战与展望

目前，水产养殖的大数据研究和应用还处于初级阶段，没有成熟经验可以借鉴。同时水产养殖自身的复杂多变性，使其更不是一蹴而就的事情。但是水产养殖的自动化、数字化、精准化、智能化是时展也是行业的客观要求。大数据为实现这一要求提供了良好的切入点，成为其中的关键技术。政府大力支持，企业和科研院所的积极参与，为水产养殖大数据的发展提供了良好的机遇。

4.1建设和发展水产养殖大数据的挑战

（1）水产养殖积累的数据少、质量低长期以来我国水产养殖以粗放养殖、小规模养殖为主，不注重数据的积累,资料统计，我国水产养殖的数据收集比例不到美国、日本等发到国家的10%。近年来由于物联网技术的逐渐成熟和应用，信息收集效率大幅提高，但行业标准的缺乏造成收集的信息不规范、不全面，给大数据应用带来很大障碍。（2）水产养殖大数据的融合度不高影响水产养殖的数据不仅仅在养殖水域。为充分发挥大数据对于水产养殖的价值，必须要全面及地的获取一切相关数据。除了充分收集、了解水产水域信息，还要和气象、海事、政府主管部门、行业协会等互通数据，这至少有两方面的挑战：一是能否有便捷的数据获取渠道，二是这些部门数据是否及时、准确和全面。（3）水产养殖大数据面临人才难题目前，大数据蓬勃发展，但人才缺口巨大。大数据处理要求人才的综合能力强，要兼具统计分析、计算机和行业知识，这就造成人才的培养周期长，优秀的大数据人才极更具市场竞争力，而要在在涉农领域找到合格的大数据人才十分困难。水产养殖的复杂性要求高端人才的持续投入，这是制约水产大数据发展的最迫切因素。

4.2水产养殖大数据发展展望

（1）通过标准体系建设实现水产养殖设施标准化、数据规范化随着水产养殖业数据获取范围的扩展和数据获取技术的提高，数据规模化增长，制定普适的及特定场景的设施设备标准、数据采集标准、接口标准不仅有利于各系统之间的配合，更降低了部署相应软硬件的技术难度和时间成本，使大数据可以在水产养殖中快速应用。（2）通过制度建设打通数据的共建共享渠道基于数据管理的水产养殖仅依靠养殖个体的数据量和技术是行不通的，它需要打通和相关政府部门、行业、研究机构之间数据通道。只有实现了数据共建共享，保证数据丰富性和全面性，才具备利用数据进行科学决策的前提，而这一切需要相关职能部门及行业协会从制度上加以保障。（3）建立重点应用和典型案例，以点带面推动水产养殖大数据建设大数据在水产养殖领域的应用点很多，全面铺开去研究和建设未免投入资源过多，也无法取得实际成效，会严重打击从业者的积极性和信心。可将资源优先投入某一个领域，比如气象灾害预警，利用已有的部分研究基础和研究成果[6]对预测模型进行迭代优化，最终达到能应用于生产场景并产生实际价值的目的。

5结语

随着水产养殖从业人员素质的提高，数据的积累、完善受到广泛重视，物联网、大数据、人工智能等新技术的不断创新，使基于数据管理、数据决策和数据创新水产养殖正迎来快速发展时期，水产养殖时代终究到来。

参考文献

[1]（英）维克托•迈尔-舍恩伯格,肯尼思•库克耶.大数据时代:生活、工作与思维的大变革[M].盛杨燕,周涛,译.杭州:浙江人民出版社,2013:11-15.

[2]朱泽.智能化养殖开启渔业“大数据时化”[J].渔业致富指南,2015(2):3-4.

[3]刘军,冷芳玲,李世奇,等.基于HDFS的分布式文件系统[J].东北大学学报:自然科学版,2019,40(6):795-800.

[4]韩朵朵,刘会杰,许爱雪.基于Hadoop生态系统的大数据解决方案[J].石家庄铁路职业技术学院学报,2019,18(2):71-75.

[5]宋剑文.智能水产养殖系统的预测预警技术研究[D].海口:海南大学,2018:21-23.

[6]吴卫祖,刘利群,徐兵,等.基于物联网的水产养殖气象灾害监测与预警模型研究[J].电子技术与软件工程,2017(5):210-211.

作者：王彪 文燕 单位：成都农业科技职业学院