云计算下物联网的数据挖掘范文

摘要：随着我国信息技术产业日渐成熟，物联网这一新一代信息技术关键技术日渐受到学界重视，基于此，本文就物联网与云计算、物联网数据挖掘需要解决的关键性问题展开分析，并对基于云计算的物联网数据挖掘、实验验证进行了详细论述，希望由此能够为相关业内人士带来一定启发。

关键词：云计算平台；物联网；数据挖掘；Hodoop

随着2010年提出的“数字地球”概念影响力不断扩大，物联网技术与我国民众生活之间的距离日渐拉近，越来越多的物联网应用也开始进入人们视野，各界对物联网的要求也在不断提升，而为了解决物联网领域正面临的数据挖掘难题，正是本文就云计算平台下物联网数据挖掘展开具体研究的原因所在。

1物联网与云计算

1.1物联网

物联网作为学界公认的下一代网络发展方向之一，其本身由无所不在的小型传感器设备组成，无论是与我们日常生命联系紧密的计算机与智能手机，还是大型网络的服务器、超级计算机群，均属于物联网的重要组成部分，这也是很多学者将物联网称作新科技革命的原因。在S.Haller等业界权威学者的展望中，其认为物联网技术在未来将实现物理对象无缝集成到信息网络之中并成为参与者，而这些“智能对象”在保护安全与隐私的前提下，则能够在网络中找到任何问题的解决方法。对于物联网来说，其具备着全面感知、可靠传递、智能处理三方面特点，而结合现有技术获得基本信息、结合传感器网络和其他通信网络实现物体信息可靠传递、在云计算与模糊识别等技术支持下处理海量异构数据则属于物联网三方面特点的具体表现，由此可见电子元器件、数据处理中心、传输通道三方面可以视作典型物联网应用的组成。

1.2云计算

云计算本质上属于一种基于互联网的新计算方式，其能够结合互联网异构、自治服务较好满足用户的计算需要，云计算中的“云”也可以被视作对IT底层基础设施的一种抽象概念。本文研究应用的Hodoop属于典型的云计算基础开发平台，其本质上属于一个分布式系统基础的架构，Hodoop在云计算领域的地位可以说近似于IT产业的Linux系统。Hodoop的核心为分布式文件系统HDFS和MapReduce，前者具备高容错性、高伸缩性等优点，这些就使得Hodoop的布置能够较为简单且低成本的形成分布式文件系统，而后者则具备保证分析和处理的高效性能力，由此Hodoop即可轻松进行数据的整合。总之，Hodoop这一云计算基础开发平台能够通过轻松组织计算机资源实现分布式计算云平台搭建，并以此实现云计算相关功用。

1.3物联网数据挖掘需要解决的关键性问题

简单了解物联网与云计算后，物联网数据挖掘需要解决的关键性问题也应引起人们关注，这里的关键性问题主要由以下几方面构成：

1.3.1传统模式难以应用中央模式

属于较为传统的数据挖掘模式，不过物联网数据不同存储地点的特性则使得该模式的效用无从发挥。

1.3.2对中央节点硬件要求较高

物联网本身具备着数据规模、传感器节点庞大的特点，而为了同时满足其实时处理需求，高性能的中央节点硬件要求必须得到满足。

1.3.3节点资源有限

在有限的节点资源影响下，分布式节点必须负责原始数据的预处理与传递。

1.3.4外在因素影响

由于数据安全性、数据隐私、法律约束等因素的影响，物联网不能够将所有数据统一存放在相同数据仓库，这同样对物联网数据挖掘提出了较高挑战。总的来说，现有技术与方式并不能较好满足物联网数据挖掘需要，这也是本文研究开展的原因所在。

2基于云计算的物联网数据挖掘

结合Hodoop云计算基础开发平台进行基础平台搭建，选择用物联网数据集为例，构成了物联网感知层、传输层、数据层、数据挖掘服务层四部分模块组成的平台，各模块的实现思路与功能如下所示。

2.1物联网感知层

物联网感知层主要负责物联网数据的采集，这一采集需要得到目标区域布置的采集节点支持，这里的采集节点主要由摄像头、传感器、其他仪器仪表组成，而由此形成的物联网感知层无线传感器网络，便能够将各采集点采集到的网络数据汇集至节点，数据由此进行汇总储存则能够在传输层的支持下最终传递至云平台的数据中心。

2.2传输层传输层

本质上属于具备较高可靠性与高速性、较优无缝性特点的数据传输网络，而基于Hodoop云计算基础开发平台构建的物联网挖掘系统则结合传感器网络、有线网络、无线网络实现了数据传输网络的构建，这就使得物联网感知层所搜集的信息能够更快、更好的传递到云计算数据中心，由此实现的更高质量互通互联，则保证了系统中监测设备的网络化高速数据传输得以实现。

2.3数据层

物联网数据具备着异构性、海量性等特点，这就使得基于Hodoop云计算基础开发平台的物联网数据挖掘系统对于物联网数据的存储与处理存在着较高要求，而在本文研究所构建的物联网数据挖掘系统数据层中，该数据层主要由数据源转换模块与分布式存储模块两部分组成，其中前者主要负责物联网异构数据的转换，而后者则主要负责分布式存储物联网所产生的海量数据，由此本文研究的物联网挖掘系统的性能和可行性便得到了较好证实。值得注意的是，分布式存储模块需要结合Hodoop云计算基础开发平台中的HDFS文件系统实现。物联网中的不同对象往往会通过不同的数据类型进行表示，这就使得异构性势必属于物联网的根本性特征，一些相同对象使用不同数据表示便较为直观说明了这一点，而这就使得物联网对数据源转换器有着较高需求。在本文构建的物联网数据挖掘系统中，数据源转换器在其中发挥着保护数据存储完整、保证数据挖掘科学顺利等功能，数据包解码、数据的分布式存储也需要得到该转化器的直接支持，这也是物联网数据挖掘系统中各NameNode节点文件类型为PML的原因。PML能够通过一种通用的方式进行物体描述，而作为基于XML创建的语言，PML在与XML相同核心思想的影响下，其便能够在物品的详细信息提供、物品信息交换等领域发挥不俗的功能。例如，在本文研究所构建的物联网数据挖掘系统中，PML便在节点数据采集、传输、存储过程中发挥着建模功能，相关建模信息所收录的物体属性信息、位置信息、环境信息、历史元素等内容，便能够保证物品信息实现较高质量的表达，这对于物联网数据挖掘也将带来较为积极影响。

2.4数据挖掘服务层

数据挖掘服务层可以细分为数据准备模块、数据挖掘引擎模块、用户模块三部分，三部分模块的具体功用如下所示：

2.4.1数据准备模块

主要负责物联网搜集数据的清理、变换、数据规约。

2.4.2数据挖掘引擎模块

主要通过数据挖掘算法集、模式评估等功能为物联网数据挖掘系统提供服务，特征、区分、关联、聚类、局外者、趋势和演化分析、偏差分析、类似性分析等可以视作该模块功能的具体组成，这些功能的实现得益于数据挖掘引擎模块中的算法集，Hodoop云计算基础开发平台支持下实现的算法并行化处理则是该模块功能实现的基础。

2.4.3用户模块

实现对数据挖掘知识的可视化表示。用户模块是本文研究物联网数据挖掘平台面向使用人员的部分，因此在设计中笔者注重了系统操作的友好性，简单的数据挖掘任务开展、轻松获得可以被理解知识均属于设计的优势所在。值得注意的是，为了保证本文研究的物联网数据挖掘系统具备较高的可移植性，设计人员在设计之初便为数据挖掘服务层底层模块设计了开放接口，由此该物联网数据挖掘系统的应用丰富性就能够得到较好保障，表1对本文研究的物联网数据挖掘系统组成进行了直观展示。

3实验验证

3.1物联网数据挖掘系统工作流程

基于Hodoop云计算基础开发平台的物联网数据挖掘系统工作流程可以概括为：“用户→主控节点→主控节点允许用户请求→主控节点调用数据挖掘算法→调用数据挖掘算法成功→准备物联网数据→分布式数据挖掘→将结果传递给用户”，而结合这一流程本文将围绕以下几部分开展具体的物联网数据挖掘系统工作流程描述，具体描述如下：

3.1.1用户请求

在用户请求物联网数据挖掘系统进行数据挖掘后，系统的主控节点将判断该任务是否可以进行，而在确定可以进行后系统将首先向用户传递可以进行的信息，并随后开始具体的数据挖掘。

3.1.2数据挖掘过程

在确定物联网数据挖掘系统可以进行数据挖掘后，系统的主控节点将有针对性的选择数据挖掘算法满足用户需要，并结合MapReduce思想与Master/Slave结构进行数据挖掘任务的划分。

3.1.3具体节点任务

在数据挖掘任务的划分下，需要完成具体工作的节点将被分配任务，由此物联网数据挖掘系统的具体数据处理便由此开展，同时JobTracker负责的调度和执行则将最后将数据挖掘结果传递给用户。

3.2实验验证

为了能够直观判断基于Hodoop云计算基础开发平台物联网数据挖掘系统可行性和性能水平，明晰MapReduce数据挖掘算法在系统中发挥的作用，本文选择了结合Apriori算法开展实验验证的方法，实验验证的环境、过程、结果如下所示。

3.2.1实验环境

实验选择了4G内存、500G硬盘、Windows7系统的计算机作为实验基础，并在该计算机中通过虚拟机安装部署了多个分布式节点，其中共3个虚拟机中的一个为NameNodeLinux系统，其余两个则为DateNodeLinux系统。为了保证实验质量与效率，笔者还在该计算机中安装了专门用于Linux系统的Eclipse7.5集成开发环境，在Windows系统中安装了SSHSecureShellClient、各个虚拟机操作系统中安装了SSH服务，由此即可保证本文研究的基于Hodoop云计算基础开发平台物联网数据挖掘系统的顺利使用。

3.2.2实验过程完成

实验环境的搭建后，本文选择了一组用于关联规则算法的实验数据，并将该数据通过C++代码编写的程序通过关键字搜索方式转换成立标准类型大小为1G的PML文件，在HDFS命令下该文件被放入Hadoop平台进行分布式存储，而在运行Java语言编写的Apriori算法后，即可得到物联网数据挖掘系统的运行结果，通过查看系统使用中是否找到了实验数据集中的所有频繁项集便能够直观判断其性能。值得注意的是，为了提升实验的有效性，本文选择了不同大小的文件开展实验，由此实现对比物联网数据挖掘系统运行时间更深入了解其性能。

3.2.3实验结果

表2对基于物联网数据挖掘系统的实验结果进行了直观展示，结合该表不难发现，文件大小的提升直接导致物联网数据挖掘系统运行时间的增长，这种增长存在典型的线性趋势，而由于应用Apriori算法的物联网数据挖掘系统实现了频繁项集的发现，本文研究的基于Hodoop云计算基础开发平台物联网数据挖掘系统的扩展性便得到了较为直观展现，其所具备的物联网海量数据挖掘能力也得到了较好证实。

4结论

综上所述，云计算平台能够较好服务于物联网的数据挖掘。而在此基础上，本文研究所提出了完善性与科学性较高的基于Hodoop云计算基础开发平台物联网数据挖掘系统，便直观证明了全文的实践价值。因此，在相关领域的理论研究与实践探索中，本文内容便能够发挥一定参考作用。

参考文献

[1]汤勇峰.基于云计算平台的物联网数据挖掘研究[J].电脑知识与技术,2017,1307:218-219.

[2]陈俊丽.基于云计算平台的物联网数据挖掘研究[J].中国新通信,2016,1821:74-75.

[3]武桂云.基于hadoop平台的分布式数据挖掘系统研究与设计[D].天津大学,2012.

[4]林昕.基于云计算的大数据挖掘平台构建研究[J].山东工业技术,2015(17):104.

作者：徐少甫；姚湘