数据科学的统计学内涵探讨范文

一、统计学视角下的数据科学

统计学研究的对象是数据，数据科学顾名思义也是以数据为研究对象，这产生一种直观的错觉，似乎数据科学与统计学之间存在某种与生俱来的渊源关系。Wu(1998)直言不讳，数据科学就是统计学的重命名，相应地，数据科学家替代了统计学家这个称谓。若此，那是什么促成了这种名义上的替代?显然仅仅因为数据量大本身并不足以促成“统计学”向“数据科学”的转变，数据挖掘、机器学习这些概念似乎就已经足够了。问题的关键在于，二者所指的“数据”并非同一概念，数据②本身是一个很宽泛的概念，只要是对客观事物记录下来的、可以鉴别的符号都可以称之为数据，包括数字、文字、音频、视频等等。统计学研究的数据虽然类型丰富，如类别数据、有序数据等定性数据，定距数据、定比数据等定量数据，但这些都是结构化数据;数据科学所谓的数据则更为宽泛，不仅包括这些传统的结构型数据，而且还包括文本、图像、视频、音频、网络日志等非结构型和半结构型数据，即，大数据。大数据(以半/非结构型数据为主)使基于关系型数据库的传统分析工具很难发挥作用，或者说传统的数据库和统计分析方法很难在可容忍的时间范围内完成存储、管理和分析等一系列数据处理过程，为了有效地处理这类数据，需要一种新的范式———数据科学。真正意义上的现代统计学是从处理小数据、不完美的实验等这类现实问题发展起来的，而数据科学是因为处理大数据这类现实问题而兴起的。因此数据科学的研究对象是大数据，而统计学以结构型数据为研究对象。退一步，单从数量级来讲，也已发生了质变。对于结构化的大规模数据，传统的方法只是理论上的(可行性)或不经济的(有效性)，实践中还需要借助数据挖掘、机器学习、并行处理技术等现代计算技术才能实现。

二、数据科学的统计学内涵

(一)理论基础

数据科学中的数据处理和分析方法是在不同学科领域中分别发展起来的，譬如，统计学、统计学习或称统计机器学习、数据挖掘、应用数学、数据密集型计算、密集计算方法等。在量化分析的浪潮下甚至出现了“metric+模式”，如计量经济学、文献计量学、网络计量学、生物统计学等。因此，有学者将数据科学定义为计算机科学技术、数学与统计学知识、专业应用知识三者的交集，这意味着数据科学是一门新兴的交叉学科。但是这种没有侧重的叠加似乎只是罗列了数据科学所涉及到的学科知识，并没有进行实质性的分析，就好似任何现实活动都可以拆解为不同的细分学科，这是必然的。根据Naur(1960，1974)的观点，数据科学或称数据学是计算机科学的一个替代性称谓。但是这种字面上的转换，并没有作为一个独立的学科而形成。Cleveland(2001)首次将数据科学作为一个独立的学科提出时，将数据科学表述为统计学加上它在计算技术方面的扩展。这种观点表明，数据科学的理论基础是统计学，数据科学可以看作是统计学在研究范围(对象)和分析方法上不断扩展的结果。一如统计学最初只是作为征兵、征税等行政管理的附属活动，而现在包括了范围更广泛的理论和方法。从研究范围的扩展来看，是从最初的结构型大规模数据(登记数据)，到结构型的小规模数据(抽样数据)、结构型的大规模数据(微观数据)，再扩展到现在的非(半)结构型的大规模数据(大数据)和关系数据等类型更为丰富的数据。从分析方法的扩展来看，是从参数方法到非参数方法，从基于模型到基于算法，一方面传统的统计模型需要向更一般的数据概念延伸;另一方面，算法(计算机实现)成为必要的“可行性分析”，而且在很多方面算法模型的优势越来越突出。注意到，数据分析有验证性的数据分析和探索性的数据分析两个基本取向，但不论是哪一种取向，都有一个基本的前提假设，就是观测数据是由背后的一个(随机)模型生成，因此数据分析的基本问题就是找出这个(随机)模型。Tukey(1980，2000)明确提到，EDA和CDA并不是替代关系，两者皆必不可少，强调EDA是因为它被低估了。数据导向是计算机时代统计学发展的方向，这一观点已被越来越多的统计学家所认同。但是数据导向仍然有基于模型与基于算法两种声音，其中，前文提到的EDA和CDA都属于基于模型的方法，它们都假定数据背后存在某种生成机制;而算法模型则认为复杂的现实世界无法用数学公式来刻画，即，不设置具体的数学模型，同时对数据也不做相应的限制性假定。算法模型自20世纪80年代中期以来随着计算机技术的迅猛发展而得到快速成长，然而很大程度上是在统计学这个领域之外“悄然”进行的，比如人工神经网络、支持向量机、决策树、随机森林等机器学习和数据挖掘方法。若响应变量记为y，预测变量记为x，扰动项和参数分别记为ε和β，则基于模型的基本形式是:y=f(x，β，ε)，其目的是要研究清楚y与x之间的关系并对y做出预测，其中，f是一个有显式表达的函数形式(若f先验假定，则对应CDA;若f是探索得到的，则对应EDA)，比如线性回归、Logistic回归、Cox回归等。可见，传统建模的基本观点是，不仅要得到正确的模型———可解释性强，而且要得到准确的模型———外推预测能力强。而对于现实中复杂的、高维的、非线性的数据集，更切合实际的做法是直接去寻找一个恰当的预测规则(算法模型)，不过代价是可解释性较弱，但是算法模型的计算效率和可扩展性更强。基于算法的基本形式类似于非参数方法y=f(x，ε)，但是比非参数方法的要求更低y←x，因为非参数方法很多时候要求f或其一阶导数是平滑的，而这里直接跳过了函数机制的探讨，寻找的只是一个预测规则(后续的检验也是基于预测构造的)。在很多应用场合，算法模型得到的是针对具体问题的解(譬如某些参数是被当作一个确定的值通过优化算法得到的)，并不是统计意义上的推断解。

(二)技术维度

数据科学是基于数据的决策，数据分析的本质既不是数学，也不是软件程序，而是对数据的“阅读”和“理解”。技术只是辅助数据理解的工具，一个毫无统计学知识的人应用统计软件也可以得到统计结果，但无论其过程还是结果都是可疑的，对统计结果的解释也无法令人信服。“从计算机科学自身来看，这些应用领域提供的主要研究对象就是数据。虽然计算机科学一贯重视数据的研究，但数据在其中的地位将会得到更进一步的加强”。不可否认，统计分析逐渐向计算机科学技术靠近的趋势是明显的。这一方面是因为，数据量快速膨胀，数据来源、类型和结构越来越复杂，迫切需要开发更高效率的存储和分析工具，可以很好地适应数据量的快速膨胀;另一方面，计算机科学技术的迅猛发展为新方法的实现提供了重要的支撑。对于大数据而言，大数据分析丢不掉计算机科学这个属性的一个重要原因还不单纯是因为需要统计软件来协助基本的统计分析和计算，而是大数据并不能像早先在关系型数据库中的数据那样可以直接用于统计分析。事实上，面对越来越庞杂的数据，核心的统计方法并没有实质性的改变，改变的只是实现它的算法。因此，从某种程度上来讲，大数据考验的并不是统计学的方法论，而是计算机科学技术和算法的适应性。譬如大数据的存储、管理以及分析架构，这些都是技术上的应对，是如何实现统计分析的辅助工具，核心的数据分析逻辑并没有实质性的改变。因此，就目前而言，大数据分析的关键是计算机技术如何更新升级来适应这种变革，以便可以像从前一样满足统计分析的需要。

(三)应用维度

在商业应用领域，数据科学被定义为，将数据转化为有价值的商业信息①的完整过程。数据科学家要同时具备数据分析技术和商业敏感性等综合技能。换句话说，数据科学家不仅要了解数据的来源、类型和存储调用方式，而且还要知晓如何选择相应的分析方法，同时对分析结果也能做出切合实际的解释②。这实际上提出了两个层面的要求:①长期目标是数据科学家从一开始就应该熟悉整个数据分析流程，而不是数据库、统计学、机器学习、经济学、商业分析等片段化碎片化的知识。②短期目标实际上是一个“二级定义”，即，鼓励已经在专业领域内有所成就的统计学家、程序员、商业分析师相互学习。在提及数据科学的相关文献中，对应用领域有更多的倾向;数据科学与统计学、数学等其他学科的区别恰在于其更倾向于实际应用。甚至有观点认为，数据科学是为应对大数据现象而专门设定的一个“职业”。其中，商业敏感性是数据科学家区别于一般统计人员的基本素质。对数据的简单收集和报告不是数据科学的要义，数据科学强调对数据多角度的理解，以及如何就大数据提出相关的问题(很多重要的问题，我们非但不知道答案而且不知道问题何在以及如何发问)。同时数据科学家要有良好的表达能力，能将数据中所发现的事实清楚地表达给相关部门以便实现有效协作。从商业应用和服务社会的角度来看，强调应用这个维度无可厚非，因为此处是数据产生的土壤，符合数据科学数据导向的理念，数据分析的目的很大程度上也是为了增进商业理解，而且包括数据科学家、首席信息官这些提法也都肇始于实务部门。不过，早在20世纪90年代中期，已故图灵奖得主格雷(JimGray)就已经意识到，数据库技术的下一个“大数据”挑战将会来自科学领域而非商业领域(科学研究领域成为产生大数据的重要土壤)。2008年9月4日刊出的《自然》以“bigdata”作为专题(封面)探讨了环境科学、生物医药、互联网技术等领域所面临的大数据挑战。2011年2月11日，《科学》携其子刊《科学－信号传导》、《科学－转译医学》、《科学－职业》专门就日益增长的科学研究数据进行了广泛的讨论。格雷还进一步提出科学研究的“第四范式”是数据(数据密集型科学)，不同于实验、理论、和计算这三种范式，在该范式下，需要“将计算用于数据，而非将数据用于计算”。这种观点实际上是将数据从计算科学中单独区别开来了。

三、数据科学范式对统计分析过程的直接影响

以前所谓的大规模数据都是封闭于一个机构内的(数据孤岛)，而大数据注重的是数据集间的关联关系，也可以说大数据让孤立的数据形成了新的联系，是一种整体的、系统的观念。从这个层面来说，将大数据称为“大融合数据”或许更为恰当。事实上，孤立的大数据，其价值十分有限，大数据的革新恰在于它与传统数据的结合、线上和线下数据的结合，当放到更大的环境中所产生的“1+1＞2”的价值。譬如消费行为记录与企业生产数据结合，移动通讯基站定位数据用于优化城市交通设计，微博和社交网络数据用于购物推荐，搜索数据用于流感预测、利用社交媒体数据监测食品价等等。特别是数据集之间建立的均衡关系，一方面无形中增强了对数据质量的监督和约束;另一方面，为过去难以统计的指标和变量提供了另辟蹊径的思路。从统计学的角度来看，数据科学(大数据)对统计分析过程的各个环节(数据收集、整理、分析、评价、等)都提出了挑战，其中，集中表现在数据收集和数据分析这两个方面。

(一)数据收集方面

在统计学被作为一个独立的学科分离出来之前(1900年前)，统计学家们就已经开始处理大规模数据了，但是这个时期主要是全国范围的普查登记造册，至多是一些简单的汇总和比较。之后(1920－1960年)的焦点逐渐缩聚在小规模数据(样本)，大部分经典的统计方法(统计推断)以及现代意义上的统计调查(抽样调查)正是在这个时期产生。随后的45年里，统计方法因广泛的应用而得到快速发展。变革再次来自于统计分析的初始环节———数据收集方式的转变:传统的统计调查方法通常是经过设计的、系统收集的，而大数据是零散实录的、有机的，这些数据通常是用户使用电子数码产品的副产品或用户自行产生的内容，比如社交媒体数据、搜索记录、网络日志等数据流等，而且数据随时都在增加(数据集是动态的)。与以往大规模数据不同的是，数据来源和类型更加丰富，数据库间的关联性也得到了前所未有的重视(大数据的组织形式是数据网络)，问题也变得更加复杂。随着移动电话和网络的逐渐渗透，固定电话不再是识别住户的有效工具变量，相应的无回答率也在增加(移动电话的拒访率一般高于固定电话)，同时统计调查的成本在增加，人口的流动性在增加，隐私意识以及法律对隐私的保护日益趋紧，涉及个人信息的数据从常规调查中越来越难以取得(从各国的经验来看，拒访率或无回答率的趋势是增加的)，对时效性的要求也越来越高。因此，官方统计的数据来源已经无法局限于传统的统计调查，迫切需要整合部门行政记录数据、商业记录数据、个人行为记录数据等多渠道数据源，与部门和搜索引擎服务商展开更广泛的合作。

(二)数据分析方面

现代统计分析方法的核心是抽样推断(参数估计和假设检验)，然而数据收集方式的改变直接淡化了样本的意义。比如基于浏览和偏好数据构建的推荐算法，诚然改进算法可以改善推荐效果，但是增加数据同样可以达到相同的目的，甚至效果更好。即所谓的“大量的数据胜于好的算法”这与统计学的关键定律(大数定律和中心极限定理)是一致的。同样，在大数据分析中，可以用数量来产生质量，而不再需要用样本来推断总体。事实上，在某些场合(比如社会网络数据)，抽样本身是困难的。数据导向的、基于算法的数据分析方法成为计算机时代统计学发展无法回避的一个重要趋势。算法模型不仅对数据分布结构有更少的限制性假定，而且在计算效率上有很大的优势。特别是一些积极的开源软件的支撑，以及天生与计算机的相容性，使算法模型越来越受到学界的广泛重视。大数据分析首先涉及到存储、传输等大数据管理方面的问题。仅从数量上来看，信息爆炸、数据过剩、数据泛滥、数据坟墓、丰富的数据贫乏的知识……这些词组表达的主要是我们匮乏的、捉襟见肘的存储能力，同时，存储数据中有利用价值的部分却少之又少或尘封窖藏难以被发现。这除了对开采工具的渴求，当时的情绪主要还是迁怨于盲目的记录，把过多精力放在捕捉和存储外在信息。在这种情况下，开采有用的知识等价于抛弃无用的数据。然而，大数据时代的思路改变了，开始变本加厉巨细靡遗地记录一切可以记录的数据。因为:数据再怎么抛弃还是会越来越多。我们不能通过删减数据来适应自己的无能，为自己不愿做出改变找借口，而是应该面对现实，提高处理海量数据的能力。退一步，该删除哪些数据呢?当前无用的数据将来也无用吗?显然删除数据的成本要大于存储的成本。大数据存储目前广泛应用的是GFS、HDFS等基于计算机群组的文件系统，它可以通过简单增加计算机来无限地扩充存储能力。值得注意的是，分布式文件系统存储的数据仅仅是整个架构中最基础的描述，是为其他部件服务的(比如MapReduce)，并不能直接用于统计分析。而NoSQL这类分布式存储系统可以实现高级查询语言，事实上，有些RDBMS开始借鉴MapReduce的一些思路，而基于MapReduce的高级查询语言也使MapReduce更接近传统的数据库编程，二者的差异将变得越来越模糊。大数据分析的可行性问题指的是，数据量可能大到已经超过了目前的存储能力，或者尽管没有大到无法存储，但是如果算法对内存和处理器要求很高，那么数据相对也就“大”了。换句话说，可行性问题主要是，数据量太大了，或者算法的复杂度太高。大数据分析的有效性问题指的是，尽管目前的硬件条件允许，但是耗时太久，无法在可容忍的或者说可以接受的时间范围内完成。目前对有效性的解决办法是采用并行处理。注意到，高性能计算和网格计算也是并行处理，但是对于大数据而言，由于很多节点需要访问大量数据，因此很多计算节点会因为网络带宽的限制而不得不空闲等待。而MapReduce会尽量在计算节点上存储数据，以实现数据的本地快速访问。因此，数据本地化是MapReduce的核心特征。

四、结论

（一）数据科学不能简单地理解为统计学的重命名，二者所指“数据”并非同一概念，前者更为宽泛，不仅包括结构型数据，而且还包括文本、图像、视频、音频、网络日志等非结构型和半结构型数据;同时，数量级也是后者难以企及的(PB以上)。但是数据科学的理论基础是统计学，数据科学可以看作是统计学在研究范围(对象)和分析方法上不断扩展的结果，特别是数据导向的、基于算法的数据分析方法越来越受到学界的广泛重视。

（二）从某种程度上来讲，大数据考验的并不是统计学的方法论，而是计算机科学技术和算法的适应性。譬如大数据的存储、管理以及分析架构，这些都是技术上的应对，核心的数据分析逻辑并没有实质性的改变。因此，大数据分析的关键是计算机技术如何更新升级以适应这种变革，以便可以像从前一样满足统计分析的需要。

（三）大数据问题很大程度上来自于商业领域，受商业利益驱动，因此数据科学还被普遍定义为，将数据转化为有价值的商业信息的完整过程。这种强调应用维度的观点无可厚非，因为此处是数据产生的土壤，符合数据科学数据导向的理念。不过，早在20世纪90年代中期，已故图灵奖得主格雷就已经意识到，数据库技术的下一个“大数据”挑战将会来自科学领域而非商业领域(科学研究领域成为产生大数据的重要土壤)。他提出科学研究的“第四范式”是数据，不同于实验、理论、和计算这三种范式，在该范式下，需要“将计算用于数据，而非将数据用于计算”。这种观点实际上将数据从计算科学中单独区别开了。

（四）数据科学范式对统计分析过程的各个环节都提出了挑战，集中表现在数据收集和数据分析这两个方面。数据收集不再是刻意的、经过设计的，而更多的是用户使用电子数码产品的副产品或用户自行产生的内容，这种改变的直接影响是淡化了样本的意义，同时增进了数据的客观性。事实上，在某些场合(比如社会网络数据)，抽样本身是困难的。数据的存储和分析也不再一味地依赖于高性能计算机，而是转向由中低端设备构成的大规模群组并行处理，采用横向扩展的方式。

（五）目前关于大数据和数据科学的讨论多集中于软硬件架构(IT视角)和商业领域(应用视角)，统计学的视角似乎被边缘化了，比如覆盖面、代表性等问题。统计学以数据为研究对象，它对大数据分析的影响也是显而易见的，特别是天然的或潜在的平衡或相关关系不仅约束了数据质量，而且为统计推断和预测开辟了新的视野。

作者：魏瑾瑞蒋萍