大数据时代的数据

大数据开启了一次重大的时代转型。

随着互联网的发展,大量数据的产生,人与人之间的可以通过数据产生联系。

大数据开启了一次重大的时代转型。就像望远镜让我们能够感受宇宙,显微镜让我们能够观测微生物一样,大数据正在改变我们的生活以及理解世界的方式,成为新发明和新服务的源泉,而更多的改变正蓄势待发。

今天分享《大数据时代》给我们带来的一些改变,如思维改变、商业改变以及管理改变。本书的作者舍恩伯格 被誉为“大数据商业应用第一人”,拥有在哈佛大学、牛津大学、耶鲁大学和新加坡国立大学等多个互联网研究重镇任教的经历。

不是随机样本,而是全体数据

记得中学的时候,我们学习概率、样本、抽样调查等,样本是观测或调查的一部分个体,总体是研究对象的全部。例如要调查北京地区 8000 个程序员中有对象的情况,样本就是 8000个程序员的视力情况。

大数据时代不一样,我们可以拥有全部的数据体量。我们可以利用所有的数据,而不再仅仅依靠一小部分数据。随机采样取得了巨大的成功,成为现代社会、现代测量领域的主心骨。但这只是一条捷径,是在不可收集和分析全部数据的情况下的选择,它本身存在许多固有的缺陷。

如果你无法得到一些微观细节的信息,甚至还会失去对某些特定子类别进行进一步研究的能力。分析整个数据库,而不是对一个小样本进行分析,能够提高微观层面分析的准确性,甚至能够推测出某个特定城市的流感状况,而不只是一个州或是整个国家的情况。

所以,我们现在经常会放弃样本分析这条捷径,选择收集全面而完整的数据。我们需要足够的数据处理和存储能力,也需要最先进的分析技术。在某些特定的情况下,我们依然可以使用样本分析法,但这不再是我们分析数据的主要方式。慢慢地,我们会完全抛弃样本分析。

不是精确性,而是混杂性

对「小数据」而言,最基本、最重要的要求就是减少错误,保证质量。因为收集的信息量比较少,所以我们必须确保记录下来的数据尽量精确。

「大数据」通常用概率说话,而不是板着「确凿无疑」的面孔。整个社会要习惯这种思维需要很长的时间,其中也会出现一些问题。但现在,有必要指出的是,当我们试图扩大数据规模的时候,要学会拥抱混乱。

当数据只有500万的时候,有一种简单的算法表现得很差,但当数据达10亿的时候,它变成了表现最好的,准确率从原来的75%提高到了95%以上。与之相反地,在少量数据情况下运行得最好的算法,当加入更多的数据时,也会像其他的算法一样有所提高,但是却变成了在大量数据条件下运行得最不好的。它的准确率会从86%提高到94%。

大数据要求我们有所改变,我们必须能够接受混乱和不确定性。精确性似乎一直是我们生活的支撑,就像我们常说的「钉是钉,铆是铆」。但认为每个问题只有一个答案的想法是站不住脚的,不管我们承不承认。一旦我们承认了这个事实甚至拥护这个事实的话,我们离真相就又近了一步。

文章来源:

Author:i@demochen.com (DemoChen)
link:https://demochen.com/posts/1122/