HBase安裝
本章將介紹如何安裝HBase和初始配置。 需要用Java和Hadoop來處理HBase，所以必須下載java和Hadoop並安裝系統中。
安裝前設置
安裝Hadoop在Linux環境下之前，需要建立和使用Linux SSH(安全Shell)。按照下面設立Linux環境提供的步驟。
創建一個用戶
首先，建議從Unix創建一個單獨的Hadoop用戶，文件系統隔離Hadoop文件系統。按照下面給出創建用戶的步驟。
- 開啓root使用命令 「su」.
- 使用root帳戶命令創建用戶 「useradd username」.
- 現在，可以使用命令打開一個現有的用戶帳戶 「su username」.
打開Linux終端，輸入以下命令來創建一個用戶
$ su
password:
useradd hadoop
passwd hadoop
New passwd:
Retype new passwd
SSH設置和密鑰生成
SSH設置需要在集羣上執行不同的操作，如啓動，停止和分佈式守護shell操作。進行身份驗證不同的Hadoop用戶，需要一種用於Hadoop的用戶提供的公鑰/私鑰對，並用不同的用戶共享。
以下的命令被用於生成使用SSH密鑰值對。複製公鑰從id_rsa.pub爲authorized_keys，並提供所有者，讀寫權限到authorized_keys文件。
$ ssh-keygen -t rsa
$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
$ chmod 0600 ~/.ssh/authorized_keys
驗證ssh
ssh localhost
安裝Java
Java是Hadoop和HBase主要先決條件。首先應該使用"java -verion"檢查java是否存在在您的系統上。 java -version 命令的語法如下。
$ java -version
如果一切正常，它會得到下面的輸出。
java version "1.7.0_71"
Java(TM) SE Runtime Environment (build 1.7.0_71-b13)
Java HotSpot(TM) Client VM (build 25.0-b02, mixed mode)
如果Java還沒有安裝在系統中，然後按照下面給出的步驟安裝Java。
步驟 1
下載Java（JDK - X64.tar.gz），可以通過訪問以下鏈接 http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html。
jdk-7u71-linux-x64.tar.gz 將被下載到系統。
步驟 2
一般來說，下載文件夾中包含有Java文件。驗證它，使用下面的命令提取jdk-7u71-linux-x64.gz文件。
$ cd Downloads/
$ ls
jdk-7u71-linux-x64.gz
$ tar zxf jdk-7u71-linux-x64.gz
$ ls
jdk1.7.0_71 jdk-7u71-linux-x64.gz
步驟 3
爲了使Java提供給所有用戶，必須將它移動到「/usr/local/」。打開終端然後以root用戶身份鍵入以下命令。
$ su
password:
mv jdk1.7.0_71 /usr/local/
exit
步驟 4
有關設置PATH和JAVA_HOME變量，添加以下命令到〜/.bashrc文件。
export JAVA_HOME=/usr/local/jdk1.7.0_71
export PATH= $PATH:$JAVA_HOME/bin
現在從終端驗證 java -version 命令如上述說明
下載Hadoop
安裝Java之後，接下來就是安裝Hadoop。首先使用「Hadoop version」 命令驗證 Hadoop 是否存在，如下所示。
hadoop version
如果一切正常，它會得到下面的輸出。
Hadoop 2.6.0
Compiled by jenkins on 2014-11-13T21:10Z
Compiled with protoc 2.5.0
From source with checksum 18e43357c8f927c0695f1e9522859d6a
This command was run using
/home/hadoop/hadoop/share/hadoop/common/hadoop-common-2.6.0.jar
如果系統上是無法找到 Hadoop，那麼證明還未安裝，現在下載Hadoop在您的系統上。按照下面給出的命令。
從Apache軟件基金會下載並使用下面的命令提取 Hadoop-2.6.0。
$ su
password:
cd /usr/local
wget http://mirrors.advancedhosters.com/apache/hadoop/common/hadoop-
2.6.0/hadoop-2.6.0-src.tar.gz
tar xzf hadoop-2.6.0-src.tar.gz
mv hadoop-2.6.0/* hadoop/
exit
安裝 Hadoop
可在任何需要的方式安裝Hadoop。在這裏將展示 HBase 模擬分佈式模式功能，因此模擬分佈式模式的Hadoop安裝。
按下面的步驟來安裝 Hadoop 2.4.1.
第1步 - 設置Hadoop
可以通過附加下面的命令在 〜/ .bashrc文件中以設置 Hadoop 環境變量。
export HADOOP_HOME=/usr/local/hadoop
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
export HADOOP_INSTALL=$HADOOP_HOME
現在，應用所有更改到當前正在運行的系統。
$ source ~/.bashrc
第2步 - Hadoop配置
找到位於 「$HADOOP_HOME/etc/hadoop」 目錄下所有的Hadoop配置文件。根據需要Hadoop將配置文件中的內容作修改。
$ cd $HADOOP_HOME/etc/hadoop
爲了使用Java開發Hadoop程序，必須用java在系統中的位置來替換 hadoop-env.sh文件中的 java環境變量JAVA_HOME的值。
export JAVA_HOME=/usr/local/jdk1.7.0_71
編輯以下文件來配置Hadoop。
core-site.xml
core-site.xml文件中包含，如：用於Hadoop實例的端口號，分配給文件系統，存儲器限制用於存儲數據存儲器和讀/寫緩衝器的大小的信息。
打開core-site.xml，並在
hdfs-site.xml
hdfs-site.xml文件中包含，如：複製數據的值，NameNode的路徑，本地文件系統，要存儲Hadoop基礎架構的Datanode路徑的信息。
假設有以下數據。
dfs.replication (data replication value) = 1
(In the below given path /hadoop/ is the user name.
hadoopinfra/hdfs/namenode is the directory created by hdfs file system.)
namenode path = //home/hadoop/hadoopinfra/hdfs/namenode
(hadoopinfra/hdfs/datanode is the directory created by hdfs file
system.)
datanode path = //home/hadoop/hadoopinfra/hdfs/datanode
打開這個文件，並在
<configuration$gt;
<property$gt;
<name$gt;dfs.replication</name $gt;
<value$gt;1</value$gt;
</property$gt;
<property$gt;
<name$gt;dfs.name.dir</name$gt;
<value$gt;file:///home/hadoop/hadoopinfra/hdfs/namenode</value$gt;
</property$gt;
<property$gt;
<name$gt;dfs.data.dir</name$gt;
<value$gt;file:///home/hadoop/hadoopinfra/hdfs/datanode</value$gt;
</property$gt;
</configuration$gt;
注：上面的文件，所有的屬性值是用戶定義的，可以根據自己的Hadoop的基礎架構進行更改。
yarn-site.xml
此文件用於配置成yarn在Hadoop中。打開yarn-site.xml文件，並在
<configuration$gt;
<property$gt;
<name$gt;yarn.nodemanager.aux-services</name$gt;
<value$gt;mapreduce_shuffle</value$gt;
</property$gt;
</configuration$gt;
mapred-site.xml
此文件用於指定MapReduce框架以使用。默認情況下Hadoop包含yarn-site.xml模板。首先，它需要從mapred-site.xml複製模板到mapred-site.xml文件，使用下面的命令來。
$ cp mapred-site.xml.template mapred-site.xml
打開 mapred-site.xml 文件，並在
驗證Hadoop安裝
下面的步驟是用來驗證Hadoop的安裝。
第1步 - 名稱節點設置
設置名稱節點使用「hdfs namenode -format」命令如下
$ cd ~
$ hdfs namenode -format
預期的結果如下。
10/24/14 21:30:55 INFO namenode.NameNode: STARTUP_MSG:
/************************************************************
STARTUP_MSG: Starting NameNode
STARTUP_MSG: host = localhost/192.168.1.11
STARTUP_MSG: args = [-format]
STARTUP_MSG: version = 2.4.1
...
...
10/24/14 21:30:56 INFO common.Storage: Storage directory
/home/hadoop/hadoopinfra/hdfs/namenode has been successfully formatted.
10/24/14 21:30:56 INFO namenode.NNStorageRetentionManager: Going to
retain 1 images with txid >= 0
10/24/14 21:30:56 INFO util.ExitUtil: Exiting with status 0
10/24/14 21:30:56 INFO namenode.NameNode: SHUTDOWN_MSG:
/************************************************************
SHUTDOWN_MSG: Shutting down NameNode at localhost/192.168.1.11
************************************************************/
第2步 - 驗證Hadoop DFS
下面的命令用來啓動DFS。執行這個命令將啓動Hadoop文件系統。
$ start-dfs.sh
預期的結果如下。
10/24/14 21:37:56
Starting namenodes on [localhost]
localhost: starting namenode, logging to /home/hadoop/hadoop-
2.4.1/logs/hadoop-hadoop-namenode-localhost.out
localhost: starting datanode, logging to /home/hadoop/hadoop-
2.4.1/logs/hadoop-hadoop-datanode-localhost.out
Starting secondary namenodes [0.0.0.0]
第3步 - 驗證Yarn腳本
下面的命令用來啓動yarn腳本。執行此命令將啓動yarn守護進程。
$ start-yarn.sh
預期的結果如下。
starting yarn daemons
starting resourcemanager, logging to /home/hadoop/hadoop-
2.4.1/logs/yarn-hadoop-resourcemanager-localhost.out
localhost: starting nodemanager, logging to /home/hadoop/hadoop-
2.4.1/logs/yarn-hadoop-nodemanager-localhost.out
第4步 - 訪問Hadoop上的瀏覽器
訪問Hadoop的默認端口號爲50070。使用以下網址，以獲取Hadoop服務在瀏覽器中。
第5步 - 驗證集羣中的所有應用程序
訪問羣集的所有應用程序的默認端口號爲8088。使用以下URL訪問該服務。
HBase安裝
單機模式，模擬分佈式模式，以及全分佈式模式：可以在任何的三種模式來安裝HBase。
在單機模式下安裝HBase
使用 「wget」 命令下載HBase，下載網址爲：http://www.interiordsgn.com/apache/hbase/stable/ ，選擇最新的穩定版本，並使用 tar 「zxvf」 命令將其解壓縮。請參見下面的命令。
$cd usr/local/
$wget http://www.interior-dsgn.com/apache/hbase/stable/hbase-0.98.8-
hadoop2-bin.tar.gz
$tar -zxvf hbase-0.98.8-hadoop2-bin.tar.gz
切換到超級用戶模式，將HBase文件複製到/usr/local，如下圖所示。
$su
$password: enter your password here
mv hbase-0.99.1/* Hbase/
在單機模式下配置HBase
在繼續HBase之前，需要編輯下列文件和配置HBase。
hbase-env.sh
爲HBase設置Java目錄，並從conf文件夾打開hbase-env.sh文件。編輯JAVA_HOME環境變量，改變路徑到當前JAVA_HOME變量，如下圖所示。
cd /usr/local/Hbase/conf
gedit hbase-env.sh
這將打開HBase的env.sh文件。現在使用當前值替換現有JAVA_HOME值，如下圖所示。
export JAVA_HOME=/usr/lib/jvm/java-1.7.0
hbase-site.xml
這是HBase的主配置文件。通過在 /usr/local/HBase 打開HBase主文件夾，設置數據目錄到合適的位置。在 conf 文件夾裏面有幾個文件，現在打開hbase-site.xml文件，如下圖所示。
#cd /usr/local/HBase/
#cd conf
gedit hbase-site.xml
在hbase-site.xml文件裏面，找到
到此 HBase 的安裝配置已成功完成。可以通過使用 HBase 的 bin 文件夾中提供 start-hbase.sh 腳本啓動 HBase。爲此，打開HBase 主文件夾，然後運行 HBase 啓動腳本，如下圖所示。
$cd /usr/local/HBase/bin
$./start-hbase.sh
如果一切順利，當運行HBase啓動腳本，它會提示一條消息：HBase has started
starting master, logging to /usr/local/HBase/bin/../logs/hbase-tpmaster-localhost.localdomain.out
在模擬分佈式模式安裝HBase
現在，來看看如何安裝HBase在模擬分佈式模式。
CONFIGURING HBASE
繼續進行HBase之前，在本地系統或遠程系統上配置Hadoop HDFS並確保它們正在運行。如果它正在運行則先停止HBase。
hbase-site.xml
編輯hbase-site.xml文件中添加以下屬性。
它會提到在HBase的哪種模式運行。 從本地文件系統相同的文件改變hbase.rootdir，HDFS實例地址使用hdfs://// URI 語法。在本地主機的端口8030上運行HDFS。
啓動HBase
經過配置結束後，瀏覽到HBase的主文件夾，並使用以下命令啓動HBase。
$cd /usr/local/HBase
$bin/start-hbase.sh
注：在啓動 HBase 之前，請確保 Hadoop 運行。
檢查在HDFS的HBase目錄
HBase創建其目錄在HDFS中。要查看創建的目錄，瀏覽到Hadoop bin並鍵入以下命令
$ ./bin/hadoop fs -ls /hbase
如果一切順利的話，它會給下面的輸出。
Found 7 items
drwxr-xr-x - hbase users 0 2014-06-25 18:58 /hbase/.tmp
drwxr-xr-x - hbase users 0 2014-06-25 21:49 /hbase/WALs
drwxr-xr-x - hbase users 0 2014-06-25 18:48 /hbase/corrupt
drwxr-xr-x - hbase users 0 2014-06-25 18:58 /hbase/data
-rw-r--r-- 3 hbase users 42 2014-06-25 18:41 /hbase/hbase.id
-rw-r--r-- 3 hbase users 7 2014-06-25 18:41 /hbase/hbase.version
drwxr-xr-x - hbase users 0 2014-06-25 21:49 /hbase/oldWALs
啓動和停止主服務器
使用「local-master-backup.sh」就可以啓動多達10臺服務器。打開HBase的master主文件夾，並執行以下命令來啓動它。
$ ./bin/local-master-backup.sh 2 4
要中止備份主服務，需要它的進程ID，它被存儲在一個文件名爲「/tmp/hbase-USER-X-master.pid」中，可以使用下面的命令中止備份主服務。
$ cat /tmp/hbase-user-1-master.pid |xargs kill -9
啓動和停止區域服務器
可以使用下面的命令來運行在單一系統中的多個區域的服務器。
$ .bin/local-regionservers.sh start 2 3
要停止區域服務器，可以使用下面的命令。
$ .bin/local-regionservers.sh stop 3
啓動HBaseShell
下面給出的是啓動HBase shell的步驟。打開終端，並登錄爲超級用戶。
啓動Hadoop文件系統
通過Hadoop主目錄下的sbin目錄文件夾瀏覽並啓動Hadoop文件系統，如下所示。
$cd $HADOOP_HOME/sbin
$start-all.sh
啓動HBase
通過HBase根目錄下的bin文件夾瀏覽並啓動HBase。
$cd /usr/local/HBase
$./bin/start-hbase.sh
啓動HBase主服務器
這在相同目錄。啓動它，如下圖所示：
$./bin/local-master-backup.sh start 2 (number signifies specific
server.)
啓動區域服務
啓動區域服務器，如下所示。
$./bin/./local-regionservers.sh start 3
啓動HBase Shell
可以使用以下命令啓動HBase shell
$cd bin
$./hbase shell
這會給出HBase shell 的提示符，如下圖所示。
2014-12-09 14:24:27,526 INFO [main] Configuration.deprecation:
hadoop.native.lib is deprecated. Instead, use io.native.lib.available
HBase Shell; enter 'help
Type "exit
Version 0.98.8-hadoop2, r6cfc8d064754251365e070a10a82eb169956d5fe, Fri
Nov 14 18:26:29 PST 2014
hbase(main):001:0>
HBase的Web界面
要訪問 HBase 的 Web界面，在瀏覽器中鍵入以下URL
以下界面列出了當前正在運行的區域服務器，備份主服務以及HBase表。
HBase區域服務器和備份主服務
HBase 表
設置Java環境
也可以使用Java庫交互HBase，但訪問HBase使用Java API之前，需要設置類庫的路徑。
設置類路徑
繼續進行之前編程，在.bashrc文件中設置類路徑到HBase庫。打開.bashrc文件編輯，如下所示。
$ gedit ~/.bashrc
爲HBase庫設置類路徑（HBase的lib文件夾），如下圖所示。
export CLASSPATH=$CLASSPATH://home/hadoop/hbase/lib/*
這是爲了防止「未找到類（class not found）」異常，同時使用Java API訪問HBase。