大数据

大数据(Bigdata)指的是所涉及的数据量规模巨大到无法通过人工,在合理时间内达到截取、管理、处理、并整理成为人类所能解读的信息。大数据时代的到来是不可阻挡的。这主要是由于数据存贮在空间和时间上已发生了本质的变化。在空间上,数据可以在廉价的磁盘上通过网络系统的支持无限的存放。在时间上,先进的存贮和搜索技术使访问数据的延迟大大降低了。大数据为人类社会的各行各业带来了一次以数据为基础的探索,发现,和创新的机遇。

主要研究海量数据在分布式系统中的存储、管理和分析层面上的算法和技术,包括:

(1)海量数据在分布式系统上的存储结构优化。分析和探索多层次的存储架构,引入先进的存储硬件,比如,固态闪存器件(SSD),考虑SSD的特点和并行性,让其在整个存储系统中发挥重要作用。结合传统搜索引擎,研究大量节点的索引结构和查询优化算法。

(2)海量数据在Hadoop(Yarn)平台上的管理和分析。Hadoop是大数据的基础平台,涉及MapReduce、数据存储、数据处理和调度算法等。作为Hadoop的第二版本,YARN是对原Hadoop框架进行重构的统一资源管理平台,把所有的数据储存在一个地方,用不同的方式进行交互,同时提供性能预测,也能够进行类似Windows或其他操作系统可以对系统内不同资源进行分配和管理的集中管理。

(3)面向信息检索的并行计算优化。通过基于内存计算的开源集群计算系统Spark,针对具体应用进行更快速的数据分析。Spark 提供了与Hadoop相似的开源集群计算环境,但基于内存和迭代优化的设计,使Spark 在某些工作负载表现更优秀。对比MapReduce只能处理离线数据,Spark能支持实时的流计算,可以与Hadoop和已存Hadoop数据整合。

(4)大数据挖掘。通过借助机器学习、人工智能、模式识别等技术对大量的数据进行探索、抽取、集成和分析,从各种结构的(数据库)或非结构(Web)的海量数据中提取有用信息和发现知识,揭示隐藏的、未知的或验证已知的规律性,通过预测未来趋势及行为,做出前摄的、基于知识的决策。

(5)个性化推荐。借助大量的互联网日志,挖掘出每一个用户的兴趣和个性化需求,并将用户感兴趣的信息、产品等主动推送给用户。和搜索引擎相比,推荐系统不是依赖用户主动输入的查询词来了解用户的信息需求,而是通过挖掘网站中海量的用户行为日志,研究用户的兴趣偏好,进行个性化计算,由系统发现用户的兴趣点,从而引导用户发现自己的信息需求。

大数据组