Ubuntu 14.04下Hadoop 2.6.0单机配置和伪分布式配置

　　需要重新编译的教程： http://www.linuxidc.com/Linux/2015-09/122875.htm

　　在Ubuntu下创建Hadoop用户组和用户

　　Hadoop的管理员最好就是以后要登录桌面环境运行eclipse的用户，否则后面会有拒绝读写的问题出现。当然不是也有办法办法解决。

　　1. 创建hadoop用户组;

　　sudo addgroup hadoop2. 创建hadoop用户;

　　sudo adduser -ingroup hadoop hadoop3. 给hadoop用户添加权限，打开/etc/sudoers文件;

　　sudo gedit /etc/sudoers在root ALL=(ALL:ALL) ALL下添加hadoop ALL=(ALL:ALL) ALL.

　　在Ubuntu下安装JDK

　　具体见： http://blog.csdn.net/ggz631047367/article/details/42366687//JAVA_HOME=/usr/lib/jvm/jdk1.8.0_25

　　安装ssh服务

　　sudo apt-get install ssh openssh-server

　　建立ssh无密码登录本机切换到hadoop用户，执行以下命令：

　　su - hadoopssh生成密钥有rsa和dsa两种生成方式，默认情况下采用rsa方式。

　　1. 创建ssh-key，，这里我们采用rsa方式;

　　ssh-keygen -t rsa -P '' (注：回车后会在~/.ssh/下生成两个文件：id_rsa和id_rsa.pub这两个文件是成对出现的)

　　2. 进入~/.ssh/目录下，将id_rsa.pub追加到authorized_keys授权文件中，开始是没有authorized_keys文件的;

　　cd ~/.ssh

　　cat id_rsa.pub >> authorized_keys (完成后就可以无密码登录本机了。)

　　3. 登录localhost;

　　ssh localhost

　　4. 执行退出命令;

　　exit安装hadoop

　　下载地址： http://apache.fayea.com/hadoop/common/stable/hadoop-2.6.0.tar.gz

　　1. 把hadoop解压到/usr/local下:

　　sudo tar -zxvf hadoop-2.6.0.tar.gz

　　sudo mv hadoop-2.6.0 /usr/local/hadoop

　　sudo chmod -R 775 /usr/local/hadoop

　　sudo chown -R hadoop:hadoop /usr/local/hadoop //否则ssh会拒绝访问

　　2.配置

　　修改bashrc的配置：

　　sudo gedit ~/.bashrc

　　在文件末尾添加：

　　#HADOOP VARIABLES START

　　export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_25

　　export HADOOP_INSTALL=/usr/local/hadoop

　　export PATH=$PATH:$HADOOP_INSTALL/bin

　　export PATH=$PATH:$HADOOP_INSTALL/sbin

　　export HADOOP_MAPRED_HOME=$HADOOP_INSTALL

　　export HADOOP_COMMON_HOME=$HADOOP_INSTALL

　　export HADOOP_HDFS_HOME=$HADOOP_INSTALL

　　export YARN_HOME=$HADOOP_INSTALL

　　export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_INSTALL/lib/native

　　export HADOOP_OPTS='-Djava.library.path=$HADOOP_INSTALL/lib'

　　#HADOOP VARIABLES END如果不知道JAVA_HOME可以通过命令获得：

　　update-alternatives --config java目录取到java根目录即可。

　　执行下面命令使改动生效：

　　source ~/.bashrc修改hadoop-env.sh的配置：

　　sudo gedit /usr/local/hadoop/etc/hadoop/hadoop-env.sh找到JAVA_HOME改为上面的值。

　　测试通过执行hadoop自带实例WordCount验证是否安装成功

　　/usr/local/hadoop路径下创建input文件夹

　　mkdir input

　　cp README.txt input

　　在hadoop目录下执行WordCount：

　　bin/hadoop jar share/hadoop/mapreduce/sources/hadoop-mapreduce-examples-2.6.0-sources.jarorg.apache.hadoop.examples.WordCount input output

　　Hadoop伪分布式配置

　　sudo gedit /usr/local/hadoop/etc/hadoop/core-site.xml

　　hadoop.tmp.dir

　　/usr/local/hadoop/tmp

　　Abase for other temporary directories.

　　fs.defaultFS

　　hdfs://localhost:9000

　　sudo gedit /usr/local/hadoop/etc/hadoop/mapred-site.xml //此项不必要

　　mapred.job.tracker

　　localhost:9001

　　 sudo gedit /usr/local/hadoop/etc/hadoop/yarn-site.xml

　　mapreduce.framework.name

　　yarn

　　yarn.nodemanager.aux-services

　　mapreduce_shuffle

　　sudo gedit /usr/local/hadoop/etc/hadoop/hdfs-site.xml

　　dfs.replication

　　1

　　dfs.namenode.name.dir

　　file:/usr/local/hadoop/dfs/name

　　dfs.datanode.data.dir

　　file:/usr/local/hadoop/dfs/data

　　 //这个属性节点是为了防止后面eclopse存在拒绝读写设置的

　　dfs.permissions

　　false

　　sudo gedit /usr/local/hadoop/etc/hadoop/masters 添加：localhost

　　sudo gedit /usr/local/hadoop/etc/hadoop/slaves 添加：localhost

　　关于配置的一点说明：上面只要配置 fs.defaultFS 和 dfs.replication 就可以运行，不过有个说法是如没有配置 hadoop.tmp.dir 参数，此时 Hadoop 默认的使用的临时目录为 /tmp/hadoo-hadoop，而这个目录在每次重启后都会被干掉，必须重新执行 format 才行(未验证)，所以伪分布式配置中最好还是设置一下。

　　配置完成后，首先在 Hadoop 目录下创建所需的临时目录：

　　cd /usr/local/hadoopmkdir tmp dfs dfs/name dfs/data

　　接着初始化文件系统HDFS。bin/hdfs namenode -format成功的话，最后的提示如下，Exitting with status 0 表示成功，Exitting with status 1: 则是出错。

　　sbin/start-dfs.shsbin/start-yarn.sh

　　Unable to load native-hadoop library for your platform这个提示,解决方式：

　　1、重新编译源码后将新的lib/native替换到集群中原来的lib/native

　　2、修改hadoop-env.sh ，增加

　　export HADOOP_OPTS='-Djava.library.path=$HADOOP_PREFIX/lib:$HADOOP_PREFIX/lib/native'

　　Namenode information:http://localhost:50070来查看Hadoop的信息。

　　All Applications： http://http://2xx.81.8x.1xx:8088/ ，将其中的2xx.81.8x.1xx替换为你的实际IP地址。

　　运行例子：

　　1.先在hdfs上建个文件夹 bin/hdfs dfs -mkdir -p /user/ha1/input

　　bin/hdfs dfs -mkdir -p /user/ha1/output

　　2.上传一些文件：bin/hdfs dfs -put etc/hadoop/ /user/ha1/input 把etc/hadoop文件上传到hdfs的/user/ha1/input中

　　3.执行指令

　　bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0.jar grep /user/ha1/input/hadoop /user/ha1/output/temp 'dfs[a-z.]+'

　　4.查看结果

　　bin/hdfs dfs -cat /user/ha1/output/temp/*

　　8 dfs.audit.logger

　　4 dfs.class

　　3 dfs.server.namenode.

　　2 dfs.audit.log.maxbackupindex

　　2 dfs.period

　　2 dfs.audit.log.maxfilesize

　　1 dfsmetrics.log

　　1 dfsadmin

　　1 dfs.servers

　　1 dfs.replication

　　1 dfs.file

　　1 dfs.datanode.data.dir

　　1 dfs.namenode.name.dir

　　Ubuntu14.04下Hadoop2.4.1单机/伪分布式安装配置教程http://www.linuxidc.com/Linux/2015-02/113487.htm

　　CentOS安装和配置Hadoop2.2.0 http://www.linuxidc.com/Linux/2014-01/94685.htm

　　Ubuntu 13.04上搭建Hadoop环境 http://www.linuxidc.com/Linux/2013-06/86106.htm

　　Ubuntu 12.10 +Hadoop 1.2.1版本集群配置 http://www.linuxidc.com/Linux/2013-09/90600.htm

　　Ubuntu上搭建Hadoop环境(单机模式+伪分布模式)http://www.linuxidc.com/Linux/2013-01/77681.htm

　　Ubuntu下Hadoop环境的配置 http://www.linuxidc.com/Linux/2012-11/74539.htm

　　单机版搭建Hadoop环境图文教程详解 http://www.linuxidc.com/Linux/2012-02/53927.htm