大数据与数据有何不同
“大数据”一词由英文“Big Data”翻译而来。很多文章在介绍大数据这一概念时都侧重于强调其“大”，即需要处理的信息量过大，已经超出了一般计算机在处理数据时所能使用的内存量，因此工程师们必须改进处理数据的工具。
然而，究竟多大才算是大数据？这个问题并没有标准答案，因为大数据的标准是不断调整的。麦肯锡全球研究所报告对大数据有以下定义：大数据是指大小超出了传统数据库软件工具的抓取、存储、管理和分析能力的数据群。这个定义有意地带有主观性，即我们不以超过多少TB为大数据的标准。我们假设随着时间的推移和技术的进步，大数据的量仍会增加。还应注意到，该定义可以因部门的不同而有所差异，这取决于什么类型的软件工具是通用的，以及某个特定行业的数据集通常的大小。因此，今天众多行业的大数据范围可以从几十TB到数千TB。
有人可能有这样的疑问：大数据不就是数据分析的另一种说法吗？大数据与数据究竟有何不同？大数据与传统的数据挖掘相比，与其说是一种量的进步，不如说是一种质的飞跃。人们在大数据的基础上可以做到的事情，在小规模数据的基础上是无法完成的。
高德纳的一份报告认为：大数据是需要新处理模式才能具有更强的决策力、洞察力和流程优化能力的海量、高增长率和多样化的信息资产。这一概念虽然简洁，却内涵丰富：第一，它认为大数据是一种信息资产；第二，这种信息资产具有海量、高增长率和多样化的属性；第三，它指出了大数据的应用价值和革新意义，即具有更强的决策力、洞察力和流程优化能力。
笔者更赞同高德纳的定义，把大数据看作一种战略和习惯，一种新的世界观和方法论。例如，谷歌不用分发口腔试纸和联系医院，就能给出和基于大量真实病例所得到的流感情况一致的结果，并且比疾控中心提前了两周，就是因为它分析了数千亿的数据，建立了强大的预测模型。从2009年10月起，“谷歌流感趋势”网站开始提供全球每周流感疫情预测，对于数据较完备国家的预测能精确到省份，并能显示横跨7年的历史数据。
另一个有代表性的例子发生在能源计量领域。美国软件公司Opower与多家电力公司合作，在几百万户家庭安装了智能电表，这些电表每隔15分钟就读一次用电数据。Opower公司据此每个月向每户家庭提供一份个性化报告，把该家庭的电费与周围邻居进行对比，显示该家庭的用电情况在全美类似家庭中所处的水平，以鼓励节约用电，预计每年为美国消费用电节省5亿美元。由此可见，大数据成为政府节能减排的千里眼、万只手，并且做到了深入每户家庭、量身定制解决方案，这在入户抄电表的传统工作方式下根本是无法想象的事情。
共产党员网 版权所有 京ICP备12024993号-1
