大数据

简介

　　“大数据”作为时下最火热的IT行业的词汇，随之数据仓库、数据安全、数据分析、数据挖掘等等围绕大数量的商业价值的利用逐渐成为行业人士争相追捧的利润焦点。
　　早在1980年，著名未来学家阿尔文·托夫勒便在《第三次浪潮》一书中，将大数据热情地赞颂为“第三次浪
　　著云台大数据(4张)潮的华彩乐章”。不过，大约从2009年开始，“大数据”才成为互联网信息技术行业的流行词汇。美国互联网数据中心指出，互联网上的数据每年将增长50%，每两年便将翻一番，而目前世界上90%以上的数据是最近几年才产生的。此外，数据又并非单纯指人们在互联网上发布的信息，全世界的工业设备、汽车、电表上有着无数的数码传感器，随时测量和传递着有关位置、运动、震动、温度、湿度乃至空气中化学物质的变化，也产生了海量的数据信息。
　　大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理。换言之，如果把大数据比作一种产业，那么这种产业实现盈利的关键，在于提高对数据的“加工能力”，通过“加工”实现数据的“增值”。且中国物联网校企联盟认为，物联网的发展离不开大数据，依靠大数据提供足够有利的资源。
　　随着云时代的来临，大数据（Bigdata）也吸引了越来越多的关注。《著云台》的分析师团队认为，大数据（Bigdata）通常用来形容一个公司创造的大量非结构化和半结构化数据，这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。大数据分析常和云计算联系到一起，因为实时的大型数据集分析需要像MapReduce一样的框架来向数十、数百或甚至数千的电脑分配工作。
　　大数据分析相比于传统的数据仓库应用，具有数据量大、查询分析复杂等特点。《计算机学报》刊登的“架构大数据：挑战、现状与展望”一文列举了大数据分析平台需要具备的几个重要特性，对当前的主流实现平台———并行数据库、MapReduce及基于两者的混合架构进行了分析归纳，指出了各自的优势及不足，同时也对各个方向的研究现状及作者在大数据分析方面的努力进行了介绍，对未来研究做了展望[3]。
　　对于“大数据”（Bigdata）研究机构Gartner给出了这样的定义。“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。
　　大数据”这个术语最早期的引用可追溯到apacheorg的开源项目Nutch。当时，大数据用来描述为更新网络搜索索引需要同时进行批量处理或分析的大量数据集。随着谷歌MapReduce和GoogleFileSystem（GFS）的发布，大数据不再仅用来描述大量的数据，还涵盖了处理数据的速度。
　　从某种程度上说，大数据是数据分析的前沿技术。简言之，从各种各样类型的数据中，快速获得有价值信息的能力，就是大数据技术。明白这一点至关重要，也正是这一点促使该技术具备走向众多企业的潜力。
　　大数据可分成大数据技术、大数据工程、大数据科学和大数据应用等领域。目前人们谈论最多的是大数据技术和大数据应用。工程和科学问题尚未被重视。大数据工程指大数据的规划建设运营管理的系统工程；大数据科学关注大数据网络发展和运营过程中发现和验证大数据的规律及其与自然和社会活动之间的关系。
　　大数据的4个“V”，或者说特点有四个层面：第一，数据体量巨大。从TB级别，跃升到PB级别；第二，数据类型繁多。前文提到的网络日志、视频、图片、地理位置信息等等。第三，价值密度低，商业价值高。以视频为例，连续不间断监控过程中，可能有用的数据仅仅有一两秒。第四，处理速度快。1秒定律。最后这一点也是和传统的数据挖掘技术有着本质的不同。业界将其归纳为4个“V”——Volume，Variety，Value，Velocity。
　　物联网、云计算、移动互联网、车联网、手机、平板电脑、PC以及遍布地球各个角落的各种各样的传感器，无一不是数据来源或者承载的方式。

技术

　　大数据技术将被设计用于在成本可承受（economically）的条件下，通过非常快速（velocity）的采集、发现和分析，从大量化（volumes）、多类别（variety）的数据中提取价值（value），将是IT 领域新一代的技术与架构。企业用以分析的数据越全面，分析的结果就越接近于真实。大数据分析意味着企业能够从这些新的数据中获取新的洞察力，并将其与已知业务的各个细节相融合。
一些相关技术
　　分析技术：
　　数据处理：自然语言处理技术
　　统计和分析：A/B test; top N排行榜；地域占比；文本情感分析
　　数据挖掘：关联规则分析；分类；聚类
　　模型预测：预测模型；机器学习；建模仿真
　　大数据技术：
　　数据采集：ETL工具
　　数据存取：关系数据库；NoSQL；SQL等
　　基础架构支持：云存储；分布式文件系统等
　　计算结果展现：云计算；标签云；关系图等
　　存储
　　结构化数据：
　　海量数据的查询、统计、更新等操作效率低
　　非结构化数据：
　　图片、视频、word、pdf、ppt等文件存储
　　不利于检索、查询和存储
　　半结构化数据：
　　转换为结构化存储
　　按照非结构化存储
　　解决方案：
　　Hadoop（MapReduce技术）
　　流计算（twitter的storm和yahoo！的S4）

大数据的应用

企业
IBM：
　　IBM大数据提供的服务包括数据分析，文本分析，蓝色云杉（混搭供电合作的网络平台）；业务事件处理；IBM Mashup Center的计量，监测，和商业化服务（MMMS）
　　IBM的大数据产品组合中的最新系列产品的InfoSphere bigInsights，基于Apache Hadoop。
　　该产品组合包括：
　　打包的Apache Hadoop的软件和服务，代号是bigInsights核心，用于开始大数据分析
　　软件被称为bigsheet，软件目的是帮助从大量数据中轻松、简单、直观的提取、批注相关信息
　　为金融，风险管理，媒体和娱乐等行业量身定做的行业解决方案
微软：
　　2011年1月与惠普（具体而言是HP数据库综合应用部门） 合作目标是开发了一系列能够提升生产力和提高决策速度的设备。
EMC：
　　EMC 斩获了纽交所和Nasdaq；
　　大数据解决方案已包括40多个产品。
Oracle：
　　Oracle大数据机与Oracle Exalogic中间件云服务器、Oracle Exadata数据库云服务器以及Oracle Exalytics商务智能云服务器一起组成了甲骨文最广泛、高度集成化系统产品组合。
政府　　
政府职能变革
　　重视应用大数据技术，盘活各地云计算中心资产：把原来大规模投资产业园、物联网产业园从政绩工程，改造成智慧工程；
　　在安防领域，应用大数据技术，提高应急处置能力和安全防范能力；
　　在民生领域，应用大数据技术，提升服务能力和运作效率，以及个性化的服务，比如医疗、卫生、教育等部门；
　　解决在金融，电信领域等中数据分析的问题：一直得到得极大的重视，但受困于存储能力和计算能力的限制，只局限在交易数型数据的统计分析；