Spark 安裝

Spark是Hadoop的子項目。因此,最好是基於Linux系統安裝Spark 。下列步驟顯示如何安裝Apache Spark。

第1步:驗證安裝Java

安裝Java是安裝Spark強制性的事情之一。 試試下面的命令來驗證Java版本。

$java -version  

如果Java已經安裝在系統上,就能看到類似以下的響應結果 −

java version "1.8.0_71"
Java(TM) SE Runtime Environment (build 1.8.0_71-b13)
Java HotSpot(TM) Client VM (build 25.0-b02, mixed mode)

如果還沒有在系統上安裝Java,那麼在進行下一步之前,先安裝Java:http://www.yiibai.com/java/how-to-install-java-on-ubuntu.html。

第2步:驗證 Scala 安裝

Scala語言是來實現Spark。因此,用下面的命令驗證Scala是否已安裝。

$scala -version 

如果Scala已經安裝在系統上,應該能看到以下響應 −

Scala code runner version 2.11.6 -- Copyright 2002-2013, LAMP/EPFL

如果您沒有安裝Scala在系統上,那麼繼續安裝Scala再進入下一步。

第3步: 下載Scala 

通過訪問以下地址下載 Scala 的最新版本 - 下載Scala. 在本教程中,我們將使用 Scala-2.11.6版本。下載後,在下載文件夾中找到 Scala tar文件。

第4步: 安裝Scala

按照以下給出的步驟安裝Scala。

提取 Scala tar文件

用於提取Scala tar文件,請鍵入以下命令。

$ tar xvf scala-2.11.6.tgz

移動 Scala 軟件文件

使用以下命令移動 Scala 軟件文件,到相應目錄,一般是 (/usr/local/scala).

$ su –
Password:

cd /home/Hadoop/Downloads/

mv scala-2.11.6 /usr/local/scala

exit

5、設置Scala的PATH

使用下面的命令來設置Scala的PATH。

$ export PATH = $PATH:/usr/local/scala/bin

驗證Scala 安裝

安裝完畢後,最好是進行驗證。使用以下命令來驗證Scala 的安裝。

$scala -version 

如果 Scala 已經安裝在系統上,能看到以下響應 −

Scala code runner version 2.11.6 -- Copyright 2002-2013, LAMP/EPFL

第6步: 安裝Spark

按照下面給出了安裝 Spark 的步驟。

解壓提取 Spark tar

提取spark tar 文件使用下面的命令。

$ tar xvf spark-1.3.1-bin-hadoop2.6.tgz

移動 Spark 軟件文件

移動Spark軟件文件到相應目錄 (/usr/local/spark),使用下面的命令.

$ su –
Password:

cd /home/Hadoop/Downloads/

mv spark-1.3.1-bin-hadoop2.6 /usr/local/spark

exit

設置Spark環境

添加以下內容到 ~/.bashrc 文件. 這意味着添加的位置,將spark軟件文件的位置到PATH變量。

export PATH = $PATH:/usr/local/spark/bin

使用以下命令生效 ~/.bashrc 文件。

$ source ~/.bashrc

第7步:驗證Spark安裝

使用下面命令打開Spark Shell。

$spark-shell

如果 spark 安裝成功,那麼會發現有下面的輸出。

Spark assembly has been built with Hive, including Datanucleus jars on classpath
Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties
15/06/04 15:25:22 INFO SecurityManager: Changing view acls to: hadoop
15/06/04 15:25:22 INFO SecurityManager: Changing modify acls to: hadoop
15/06/04 15:25:22 INFO SecurityManager: SecurityManager: authentication disabled;
ui acls disabled; users with view permissions: Set(hadoop); users with modify permissions: Set(hadoop)
15/06/04 15:25:22 INFO HttpServer: Starting HTTP Server
15/06/04 15:25:23 INFO Utils: Successfully started service 'HTTP class server' on port 43292.
Welcome to
____ __
/ __/__ ___ _____/ /__
_\ \/ _ \/ _ `/ __/ '_/
/___/ .__/\_,_/_/ /_/\_\ version 1.4.0
/_/

Using Scala version 2.10.4 (Java HotSpot(TM) 64-Bit Server VM, Java 1.7.0_71)
Type in expressions to have them evaluated.
Spark context available as sc
scala>