改传感器引爆大数据去IOE给开源带来机会

如今一谈到大数据，人们就会联想到数百TB以上且规模不断增长的Hadoop集群系统，人们为过去两年我们制造了超过人类历史总和的数据量而感到颤抖，但实际上大数据可以很小，甚至在智能和笔记本上就能进行分析处理，而聪明的机器学习算法能将大型强子对撞机数据分析工作量减少上万倍;后大数据时代，人们将更加关心如何让大数据 大事化小 。

但在粒度更小，数据规模却更大的时代，在一场官方色彩越来越浓的 去IOE运动 中，如何利用本土低成本技术资源，在Hadoop之外寻找一条新的开源大数据处理技术方案？如何在大力开展 智慧城市 等物联大数据项目的同时防止对个人隐私的侵犯？

在计算机科学中， 一个简单的真理可以预言一部分未来: 正在CERN（欧洲粒子物理研究所）上演的将很快发生在世界上每个地方。 我们还可以再加上第二个预言: 一切正在聚集的将最终以分散结尾。 这与大数据应用有何关系？

大数据通常都很小

许多所谓的 大数据 问题其实并不是那么大。一个中央银行五年的交易数据量大概有100GB 大小。所以作者：，中央银行一年的交易数据是完全能够被存储在一部智能中的。 一所保险公司关于一个国家的所有交易数据量不会超过4TB。 一个硬盘就可以储存这些保险数据。

那些由企业巨额投资的被标记为时尚 大数据 用来解决数据分析现场夫妻二人不但饮交杯酒问题的基础结构，实际上完全可以通过一台笔记本 甚至是一部智能 和开源软件来替代。研究者们和全球金融机构都用像Scikit-Learn, Pandas或NLTK这样的开源软件来处理交易数据和客户关系数据。如MariaDB这样传统的数据库现如今能够处理差不多每秒1百万的录入。MariaDB 10.0 甚至还有来自淘宝的开发人员开发的一些可以被延伸的复制技术。

我建议在进行昂贵的投资前：先购买一个小型的含至少 2 GB记忆卡的GNU/Linux 服务器， 一个大容量的SSD 盘（例如 1 TB）并学习 Scikit-Learn 机器学习工具包（基于Andrew Ng吴恩达,最近加入百度的机器学习之父的课程）。在大多数情况下，这些已经足够解决您的问题。 如果还不够，您还可以设计一个稍后能够延伸成一个大型基础架构的模型。Scikit-Learn 被许多谷歌工程师用作 大数据 问题建模解决方案的工具包。

最小的微粒生产出最大的数据

极端的挑战由核物理及小微粒研究提出来，不断引导了新信息技术的创造。 HTML 是由在欧洲核子研究组织 也被称为CERN 的Tim Berners Lee于1991 为解决大规模文档管理的问题而创造。CERN的大型强子对撞机 （the Large Hadron Collider,简称LHC）被设计用作处理每秒1 PB 的数据。它在201 年提供了第一个证希格斯玻色子存在的证据, 这是一个在过去的50年里都没有被解决的问题。

让我们来理解一下每秒1 PB 的数据意味着什么。 1 PB和1,000 TB， 1,000,000 GB 或者是1 . 年