决胜Hadoop&Spark大数据时代：Hadoop&Yarn&Spark企业级最佳实践

　　王家林：Spark、Docker、Android技术中国区布道师。

　　联系邮箱18610086859@126.com

　　电话：18610086859

　　QQ:1740415547

　　微信号：18610086859

　　Hadoop、Yarn、Spark是企业构建生产环境下大数据中心的关键技术，也是大数据处理的核心技术，是每个云计算大数据工程师必修课。

　　大数据时代的精髓技术在于Hadoop、Yarn、Spark，是大数据时代公司和个人必须掌握和使用的核心内容。

　　Hadoop、Yarn、Spark是Yahoo！、阿里淘宝等公司公认的大数据时代的三大核心技术，是大数据处理的灵魂，是云计算大数据时代的技术命脉之所在，以Hadoop、Yarn、Spark为基石构建起来云计算大数据中心广泛运行于Yahoo！、阿里淘宝、腾讯、百度、Sohu、华为、优酷土豆、亚马逊等公司的生产环境中。

　　Hadoop、Yarn、Spark三者相辅相成

　　nHadoop中的HDFS是大数据时代公认的首选数据存储方式；

　　nYarn是目前公认的最佳的分布式集群资源管理框架；

　　nSpark是目前公认的大数据统一计算平台；

　　工业和信息化部电信研究院于2014年5月发布的“大数据白皮书”中指出：

　　“2012 年美国联邦政府就在全球率先推出“大数据行动计划（Big data initiative）”，重点在基础技术研究和公共部门应用上加大投入。在该计划支持下，加州大学伯克利分校开发了完整的大数据开源软件平台“伯克利数据分析软件栈（Berkeley Data Analytics Stack），其中的内存计算软件Spark的性能比Hadoop 提高近百倍，对产业界大数据技术走向产生巨大影响”

　　----来源：工业和信息化部电信研究院

　　

　　Spark是继Hadoop之后，成为替代Hadoop的下一代云计算大数据核心技术。目前SPARK已经构建了自己的整个大数据处理生态系统，如流处理、图技术、机器学习、Interactive Ad-Hoc Query等方面都有自己的技术，并且是Apache顶级Project，可以预计的是2014年下半年到2015年在社区和商业应用上会有爆发式的增长。

　　

　　国外一些大型互联网公司已经部署了Spark。甚至连Hadoop的早期主要贡献者Yahoo现在也在多个项目中部署使用Spark；国内的淘宝、优酷土豆、网易、Baidu、腾讯、皮皮网等已经使用Spark技术用于自己的商业生产系统中，国内外的应用开始越来越广泛。Spark正在逐渐走向成熟，并在这个领域扮演更加重要的角色。

　　刚刚结束的2014 Spark Summit上的信息，Spark已经获得世界20家顶级公司的支持，这些公司中包括Intel、IBM等，同时更重要的是包括了最大的四个Hadoop发行商（Cloudera, Pivotal, MapR, Hortonworks）都提供了对非常强有力的支持Spark的支持，尤其是是Hadoop的头号发行商Cloudera在2014年7月份宣布“Impala’s it for interactive SQL on Hadoop; everything else will move to Spark”，具体链接信息 http://t.cn/Rvdsukb ，而其实在这次Spark Summit之前，整个云计算大数据就已经发声巨变：

　　1，2014年5月24日Pivotal宣布了会把整个Spark stack包装在Pivotal HD Hadoop发行版里面。这意味这最大的四个Hadoop发行商（Cloudera, Pivotal, MapR, Hortonworks）都提供了对Spark的支持。http://t.cn/RvLF7aM 星火燎原的开始；

　　2，Mahout前一阶段表示从现在起他们将不再接受任何形式的以MapReduce形式实现的算法，另外一方面，Mahout宣布新的算法基于Spark；

　　3，Cloudera的机器学习框架Oryx的执行引擎也将由Hadoop的MapReduce替换成Spark；

　　4，Google已经开始将负载从MapReduce转移到Pregel和Dremel上；

　　5，FaceBook则将原来使用Hadoop的负载转移到Presto上；

　　现在很多原来使用深度使用Hadoop的公司都在纷纷转向Spark，国内的淘宝是典型的案例，国外的典型是Yahoo！，我们以使用世界上使用Hadoop最典型的公司Yahoo！为例，大家可以从Yahoo！的数据处理的架构图看出Yahoo！内部正在使用Spark：

　　

　　不得不提的是Spark的“One stack to rule them all”的特性，Spark的特点之一就是用一个技术堆栈解决云计算大数据中流处理、图技术、机器学习、交互式查询、误差查询等所有的问题，此时我们只需要一个技术团队通过Spark就可以搞定一切问题，而如果基于Hadoop就需要分别构建实时流处理团队、数据统计分析团队、数据挖掘团队等，而且这些团队之间无论是代码还是经验都不可相互借鉴，会形成巨大的成本，而使用Spark就不存在这个问题；

　　伴随Spark技术的普及推广，对专业人才的需求日益增加。Spark专业人才在未来也是炙手可热，作为Spark人员，需要掌握的技能模型如下：

　　

　　Hadoop领域4个开创先河

　　1，全程覆盖Hadoop的所有核心内容

　　2，全程注重动手实作，循序渐进中掌握Hadoop企业级实战技术

　　4，具备掌握Hadoop完整项目的分析、开发、部署的全过程的能力

　　Spark领域开创6个世界第一:

　　1，这是世界上第一个全程覆盖以Spark为核心的大数据的所有内容的课程：包含Scala、Spark、Spark与Hadoop的结合、企业生产环境下的商业案例、框架源码剖析等；

　　2，这是世界上第一个Spark大数据零基础课程：学习此课程不需要任何基础，所有的内容在课程中都会细致的剖析，学员不需要额外学习任何内容，从零基础到直到进入企业工作；

　　3，这是世界上第一个全程注重动手实作的大数据课程：通过不断的案例实践的循序渐进中掌握Spark企业级实战技术；

　　4，这是世界上第一个彻底而系统的讲解Spark 1.0的课程：根据Spark的最新稳定版本，包括Spark集群的构建，Spark架构设计、Spark内核剖析、Shark、Spark SQL、Spark Streaming、图计算GraphX、机器学习、Spark on Yarn、JobServer等；

　　5，这是世界上第一个使用Spark商业案例教学的课程：展示企业线上生产系统中应用 Spark的成功案例，以及与现有企业BI平台整合的方案 ；

　　6，这是世界上第一个讲解Spark与Hadoop完美结合的课程：目前而言，在世界的生产环境中往往是Spark和Hadoop并存，如何驾驭这种并存架构，在课程中给出了完美的解答，尤其是通过企业案例讲解，以达到最优化使用大数据系统潜能的目的；

　　课程内容链接：

　　http://chuliuxiang202020.blog.163.com/blog/static/2434130992015322112414937/#