Hadoop平台数据挖掘论文范文

一、Hadoop平台数据挖掘技术的实现

针对Hadoop平台数据挖掘技术的实现，我们可以具体的进行以下的设计：

首先，选一个合适的编程模型，具体来讲，可以采用MapReduce的编程模型，这是一种相对简单的编程模型，在海量数据的计算处理方面有很大的应用。同时MapReduce具有很大的优点，比如：编程简单、易于扩展、容错性比较好等。MapReduce能够将混乱庞大的的数据系统划分为两个阶段，即：Map和Reduce阶段，而且在处理过程中只需要移动计算的方式即可，利用拥有众多优点的MapReduce编程模型作为设计Hadoop平台的载体，是非常有前途的选择。

其次，根据市场需求来设计所需要的前台模块。如今市场上无论各行各业竞争相对都比较激烈，尤其是在如今计算机技术的飞速发展，各大高校计算机人才的扩招，国家提倡高新技术产业发展的大背景下，计算机行业的竞争也是越来越激烈，而想要在日益激烈的市场竞争中争得一席之地，必须把握市场规律，掌握市场技巧，要是铲平有销路，则必须以客户需求为导向，从客户需求出发，设计出满足客户需求的产品。因此在设计平台的时候必须先进行用户需求分析，在真正了解了客户需求的基础上，再进行相关软件的开发。

最后，进行Hadoop平台具体的设计。就总体而言，在设计基于Hadoop平台的数据挖掘系统的时候可以采用自上而下分层的思维模式，利用上层的系统来调用下层的系统。并且依前段所言，要根据用户的具体需求来分层设计，且设计的各层之间的相互独立的，通过调用来实现数据间的传输与通信，之所以采用这种模式是因为这种模式具有很好的扩展性。

在设计基于Hadoop平台的数据挖掘系统时，主要包括：交互层、业务应用层、数据挖掘层三个部分，具体来讲：交互层主要的职责是完成用户与系统之间信息的传递，可以称为其交流的窗口，交互层能够提供清晰形象的图像，利用直观的图像信息将内容呈献给用户。业务应用层主要进行调度、处理、控制用户层的业务，通过调用数据挖掘算法层来进行用户层业务的处理。数据挖掘层作为整个系统的核心，利用并行的方式完成其任务，最后把最终结果返回到业务应用层中。

二、总结

本文站在如今互联网迅速发展，社会各界数据量越来越庞大的现实情况下，通过分析Hadoop平台的基本情况以及云计算的应用与特点，设计一个基于Hadoop平台的数据挖掘系统来完成企业云计算的实行，最终为处理庞大冗杂的数据提供一个切实可行的宏观方案。

作者：黄铭陈明单位：四川工商职业技术学院信息工程系