在CentOS上安装Hadoop 2.x 集群

环境:CentOS 6.5, OPenJDK 1.7, Hadoop 2.2.0 本文主要参考官网的文档,Hadoop 2.2.0 Single Node Setup, Hadoop 2.2.0 Cluster Setup ##(可选)创建新用户一般我倾向于把需要启动daemon进程,对外提供服务的程序,简单的说,就是服务器类程序,安装在单独的用户下面。这样可以做到隔离,运维方面,安全性也提高了。 创建一个新的group, $ sudo groupadd hadoop 创建

把Nutch爬虫部署到Hadoop集群上

软件版本:Nutch 1.7, Hadoop 1.2.1, CentOS 6.5, JDK 1.7 前面的3篇文章中,Nutch 快速入门(Nutch 1.7),Nutch 快速入门(Nutch 2.2.1),在Eclipse里运行Nutch,Nutch都是跑在单机上,本文把Nutch部署到Hadoop集群上,在真正的分布式Hadoop集群上跑。 ##前提 学会了搭建一个分布式Hadoop集群,见在CentOS上安装Hadoop集群 学会了单机跑Nutch,见Nutch 快

第六章 · 早起的虫儿

摩尔出来的时候,夜已经很深了。这个时候,绝大多数的人都正熟睡,哪怕是一些精神格外亢奋的年轻男女,此时也差不多强行支付了最后一波精力。 正直此时,确实摩尔经历最充沛的时刻,因为摩尔是一个怪人。他不循规蹈矩,不论是在工作要事上还是生活上还是在个人生活上,他的诸多习惯、想法都可称得上是天马行空,羚羊挂角。“早起的鸟儿有虫吃”这句谚语一直为人们所津津乐道,一方面赞扬勤奋劳动的平民,另一方面是推崇先发制人的战术思维,古往今来无人对此有何异议。而摩尔却对此嗤之以鼻,他不早起,无论有无需求

第六章 · 早起的虫儿

摩尔出来的时候,夜已经很深了。这个时候,绝大多数的人都正熟睡,哪怕是一些精神格外亢奋的年轻男女,此时也差不多强行支付了最后一波精力。 正直此时,确实摩尔经历最充沛的时刻,因为摩尔是一个怪人。他不循规蹈矩,不论是在工作要事上还是生活上还是在个人生活上,他的诸多习惯、想法都可称得上是天马行空,羚羊挂角。“早起的鸟儿有虫吃”这句谚语一直为人们所津津乐道,一方面赞扬勤奋劳动的平民,另一方面是推崇先发制人的战术思维,古往今来无人对此有何异议。而摩尔却对此嗤之以鼻,他不早起,无论有无需求