hadoop3种集群方式

发布时间：2019-07-05 09:51:46编辑：auto阅读（1609）

　hadoop3种集群方式包括独立模式、伪分布式模式和完全分布式模式

　　1独立模式

安装

　　a)下载jdk-8u65-linux-x64.tar.gz

　　b)tar开

　　$>su centos ; cd ~

　　$>mkdir downloads

　　$>cp /mnt/hdfs/downloads/bigdata/jdk-8u65-linux-x64.tar.gz ~/downlooads

　　$>tar -xzvf jdk-8u65-linux-x64.tar.gz

　　c)创建/soft文件夹

　　$>sudo mkdir /soft

　　$>sudo chown centos:centos /soft

　　d)移动tar开的文件到/soft下

　　$>mv ~/downloads/jdk-1.8.0_65 /soft/

　　e)创建符号连接

　　$>ln -s /soft/jdk-1.8.0_65 /soft/jdk

　　f)验证jdk安装是否成功

　　$>cd /soft/jdk/bin

　　$>./java -version

配置jdk环境变量

　　1.编辑/etc/profile

　　$>sudo nano /etc/profile

　　...

　　export JAVA_HOME=/soft/jdk

　　exprot PATH=$PATH:$JAVA_HOME/bin

　　2.使环境变量即刻生效

　　$>source /etc/profile

　　3.进入任意目录下,测试是否ok

　　$>cd ~

　　$>java -version

　　注意点



　　你创建文件夹一定和你登陆的用户一致

安装HADOOP软件

　　 1.安装hadoop

　　a)下载hadoop-2.7.3.tar.gz

　　b)tar开

　　$>su centos ; cd ~

　　$>cp /mnt/hdfs/downloads/bigdata/hadoop-2.7.3.tar.gz ~/downloads

　　$>tar -xzvf hadoop-2.7.3.tar.gz

　　c)无

　　d)移动tar开的文件到/soft下

　　$>mv ~/downloads/hadoop-2.7.3 /soft/

　　e)创建符号连接

　　$>ln -s /soft/hadoop-2.7.3 /soft/hadoop

　　f)验证hadoop安装是否成功

　　$>cd /soft/hadoop/bin

　　$>./hadoop version

　　2.配置hadoop环境变量

　　$>sudo nano /etc/profile

　　...

　　export JAVA_HOME=/soft/jdk

　　exprot PATH=$PATH:$JAVA_HOME/bin

　　export HADOOP_HOME=/soft/hadoop

　　export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

　　3.生效

　　$>source /etc/profile

　　4.进入任意目录下,测试是否ok

　　$>cd ~

　　$>hadoop version

　　5.nothing !

　　不需要启用单独的hadoop进程。

　　6.hafs dfs -ls /home 和 linux中的ls效果一样

伪分布模式（Pseudodistributed mode）

　　a)进入${HADOOP_HOME}/etc/hadoop目录

　　三种模式共存

　　 1.创建三个配置目录,内容等同于hadoop目录

　　 ${hadoop_home}/etc/local

　　 ${hadoop_home}/etc/pesudo

　　 ${hadoop_home}/etc/full

　　 2.创建符号连接

　　 $>ln -spesudo hadoop

　　b)编辑core-site.xml

　　<?xml version="1.0"?>

　　<configuration>

　　<property>

　　<name>fs.defaultFS</name>

　　<value>hdfs://localhost/</value>

　　</property>

　　</configuration>

　　c)编辑hdfs-site.xml

　　<?xml version="1.0"?>

　　<configuration>

　　<property>

　　<name>dfs.replication</name>

　　<value>1</value>

　　</property>

　　</configuration>

　　d)编辑mapred-site.xml

　　注意:cp mapred-site.xml.template mapred-site.xml

　　<?xml version="1.0"?>

　　<configuration>

　　<property>

　　<name>mapreduce.framework.name</name>

　　<value>yarn</value>

　　</property>

　　</configuration>

　　e)编辑yarn-site.xml

　　<?xml version="1.0"?>

　　<configuration>

　　<property>

　　<name>yarn.resourcemanager.hostname</name>

　　<value>localhost</value>

　　</property>

　　<property>

　　<name>yarn.nodemanager.aux-services</name>

　　<value>mapreduce_shuffle</value>

　　</property>

　　</configuration>

　　配置：core-site.xml hdfs-site.xmls yarn-site.xml mapred-site.xml

　　 f)配置SSH

关键字：