第一节 大数据的发展历程

所谓大数据，是区别于过去的海量数据等概念而言的。随着当前社交网络、移动计算和传感器等新的渠道和技术的不断涌现和应用，互联网中越来越多的信息是不规则的半结构化甚至非结构化数据。大数据计算服务的目的，就是对当前互联网领域占据80%以上的非结构化和半结构化数据进行智能分析，并且实时地将计算结果通过网络反馈给终端用户。Gang-Hoon Kim等Gang-Hoon Kim，Silvana Trimi，and Ji-Hyong Chung，“Big-data Applications in the Government Sector”，Communications of the ACM认为，大数据技术属于第5代决策分析技术：1960年代的数据处理技术，1970～1980年代的信息应用，1990年代的决策支持模型，2000年后的数据仓库和数据挖掘技术，直到当前的大数据技术。现在大数据时代刚刚开始，大部分相关技术和分析应用仅仅是从2010年前后才开始出现Hen，H.，Chiang，R.H.L.，and Storey，V.C.，“Business Intelligence and Analytics：From Big Data to Big Impact”，MIS Quarterly 36，4 （Dec.2012），1165-1188.。大数据分析可以分为三类：一是描述性分析，主要是形成一些标准报告、应急性报告和报警性报告等；二是预测性分析，主要围绕预测和统计建模展开；三是定题性分析，主要关注优化和随机性测试研究T.H.Davenport，“What do We Tal