hadoop安装(3)

发布时间：2019-09-06 08:57:35编辑：auto阅读（1546）

zookeeper和hbase安装
#--hbase是Hadoop的数据库，依赖于zookeeper，默认的hbase自带zookeeper
#不是很好用，这里我们自己安装zookeeper
1.下载软件 & 解压软件
    zookeeper.apache.org
    hbase.apache.org
    $ tar -zxvf zookeeper-3.4.11.tar.gz -C /usr/local
    $ tar -zxvf hbase-1.3.1.tar.gz -C /usr/local
2.配置用户环境变量
    export ZK_HOME=/usr/local/zookeeper-3.4.11
    export PATH=$PATH:$ZK_HOME/bin
    export HBASE_HOME=/usr/local/hbase-1.3.1
    export PATH=$PATH:$HBASE_HOME/bin
    $ source ~/.bashrc
3.配置zookeeper(这里是三个节点的zookeeper)
    3.1在master节点配置
    $ cp zoo_sample.cfg zoo.cfg
    #修改以下几个地方
    dataDir=/usr/local/zookeeper/data
    server.1=bigdata1:2888:3888
    server.2=bigdata2:2888:3888
    server.3=bigdata3:2888:3888
    #修改日志的目录，日志类型
    $ vim log4j.properties
    zookeeper.root.logger=INFO, ROLLINGFILE
    log4j.appender.ROLLINGFILE=org.apache.log4j.DailyRollingFileAppender
    $ vim zkEnv.sh
    ZOO_LOG_DIR="/usr/local/zookeeper-3.4.11/logs"
    ZOO_LOG4J_PROP="INFO,ROLLINGFILE"
    #创建所需的目录,三个节点都需要这么创建
    $ sudo mkdir /usr/local/zookeeper-3.4.11/logs/
    $ sudo chown -R hadoop.hadoop /usr/local/zookeeper-3.4.11/logs
    $ sudo mkdir -p /usr/local/zookeeper/data
    $ sudo chown -R hadoop.hadoop /usr/local/zookeeper/
    #创建节点myid文件，其它的节点需要改变，这里的id对应着zoo.cfg里的id
    $ sudo echo "1" >/usr/local/zookeeper/data/myid
    #拷贝文件到另外的节点
    $ sudo scp -r zookeeper-3.4.11/ bigdata2:/usr/local/
    $ sudo scp -r zookeeper-3.4.11/ bigdata3:/usr/local/
    $ sudo scp -r zookeeper bigdata2:/usr/local/
    $ sudo scp -r zookeeper bigdata3:/usr/local/
    #启动
    $ zkServer.sh
    #检查 
    $ ps -ef|grep zoo
4.配置hbase
    $ vim hbase-site.xml 
    <configuration>
    <property>
        <name>hbase.tmp.dir</name>
        <value>/usr/local/hbase/tmp</value>
    </property>
    <property>
        <name>hbase.rootdir</name>
        <value>hdfs://bigdata1:9000/hbase</value>
    </property>
    <property>
        <name>hbase.cluster.distributed</name>
        <value>true</value>
    </property>
    <property>
        <name>hbase.zookper.quorum</name>
        <value>bigdata1,bigdata2,bigdata3</value>
    </property>
    <property>
        <name>hbase.zookeeper.property.dataDir</name>
        <value>/usr/local/zookeeper/</value>
    </property>
    </configuration>
    #配置slave节点
    $ vim regionservers
    bigdata2
    bigdata3
    #配置java和zookeeper，false是不使用hbase自带的zookeeper
    $ vim hbase-env.sh 
    export JAVA_HOME=/usr/local/jdk1.8.0_144/
    export HBASE_MANAGES_ZK=false
    #默认的日志位置就在logs下，但安装包没有创建，这里我们手动创建下，每个节点都要创建
    $ sudo mkdir /usr/local/hbase-1.3.1/logs
    $ sudo chown -R hadoop.hadoop /usr/local/hbase-1.3.1/logs/
5.拷贝hbase文件到其它节点上
    $ sudo scp -r hbase-1.3.1/ bigdata2:/usr/local/
    $ sudo scp -r hbase-1.3.1/ bigdata3:/usr/local/
6.启动hbase
    $ start-hbase.sh
7.查看日志输出,一次情况根据日志处理
8.默认web地址
 http://master-ip:16010

关键字：