STEP1. install java - reference Hadoop Install

STEP2. download scala

cd /tmp

sudo wget http://www.scala-lang.org/files/archive/scala-2.10.4.tgz

螢幕快照 2016-06-02 上午10.48.37.png

sudo mkdir /usr/local/scala

sudo tar xvf scala-2.10.4.tgz -C /usr/local/scala/

螢幕快照 2016-06-02 上午10.50.00.png

 

 

 

 

 

 

 

 

 

vim ~/.bashrc and add scala env.

螢幕快照 2016-06-02 上午11.10.28.png

scala -version

螢幕快照 2016-06-02 上午11.01.23.png

螢幕快照 2016-06-02 上午11.02.03.png

 

 

 

 

 

 

STEP3. Download Spark 

su - hduser

cd /usr/local/

sudo wget http://ftp.twaren.net/Unix/Web/apache/spark/spark-1.6.1/spark-1.6.1-bin-hadoop2.6.tgz

tar -xzf spark-1.6.1-bin-hadoop2.6.tgz

chown hduser:hadoop -R spark-1.6.1-bin-hadoop2.6(確認執行者有Spark 資料夾權限,否則會有錯誤訊息)

STEP4. Set Environment Parameter

vim ~/.bashrc as follow

螢幕快照 2016-06-02 下午2.54.01.png

cd /usr/local/spark-1.6.1-bin-hadoop2.6/

./bin/spark-shell

螢幕快照 2016-06-02 下午3.02.35.png

Run example:

val wdsrc = sc.textFile("README.md")

val counts = wdsrc.flatMap(line=>line.split(" ")).map(word=>(word,1)).reduceByKey(_ + _)

counts.saveAsTextFile("hdfs://master:9000/user/hduser/wordcount")

螢幕快照 2016-06-02 下午4.23.57.png

master:9000<=這部分的值請參考你的Hadoop平台中conf file "core-site.xml" 裡面的fs.default.name

如果你是用Cloudera,  預設8020, 如果是Hadoop部署,預設9000

hdfs 上面的結果

螢幕快照 2016-06-02 下午4.28.34.png

文章標籤
創作者介紹

wuen

wuen 發表在 痞客邦 PIXNET 留言(0) 人氣()