因為比較少找到詳細的中文說明

因此打算自己動手把部署過程記錄下來包含從AWS登入開始含圖文(申請AWS帳號跳過介紹)

1.登入AWS

開啟AWS首頁點選登入主控台

螢幕快照 2016-05-26 下午12.21.37.png

進行登入

螢幕快照 2016-05-26 下午12.32.10.png

2.Lunch 3 instance.( for one name node, two data node.)

選擇EC2 Service

螢幕快照 2016-05-26 下午12.33.30.png

選擇Lunch Instance

螢幕快照 2016-05-26 下午12.34.27.png

選擇Ubuntu AMI(Amazon Machine Image)

螢幕快照 2016-05-26 下午12.35.11.png

選擇預設機器規格(free trial)

螢幕快照 2016-05-26 下午12.36.14.png

選擇一次建立3個instance

螢幕快照 2016-05-26 下午12.41.29.png

儲存體的選擇預設8GB即可

螢幕快照 2016-05-26 下午12.42.40.png

此步驟可以跳過

螢幕快照 2016-05-26 下午12.45.19.png

安全性群組請依照新增規則即可

螢幕快照 2016-05-26 下午12.47.02.png

可略過(提供確認設定部份)

螢幕快照 2016-05-26 下午12.48.25.png

新增一組登入ssh key

螢幕快照 2016-05-26 下午12.49.44.png

下載登入ssh key , 並修改權限 chmod 700 ~/Download/pixnet.pem

螢幕快照 2016-05-26 下午12.51.35.png

完成新增Machine in AWS

螢幕快照 2016-05-26 下午12.52.16.png

螢幕快照 2016-05-26 下午12.53.15.png

3.rename server1, server2, server3.

螢幕快照 2016-05-26 下午12.54.59.png

4.ssh login

mv ~/Downloads/pixnet.pem ~/.

螢幕快照 2016-05-26 下午3.17.06.png

取得連線字串

螢幕快照 2016-05-26 下午3.17.19.png

複製連線字串並登入

螢幕快照 2016-05-26 下午3.23.50.png

5.common action( doing for each marchine )( 每一台機器都需要進行的操作)

安裝open-ssh

螢幕快照 2016-05-27 上午11.14.03.png

安裝java

  • (sudo add-apt-repository ppa:webupd8team/java)

螢幕快照 2016-05-26 下午4.05.39.png

  • (sudo apt-get update)
  • (sudo apt-get install oracle-java8-installer)
  • when you finish, you will get the result

螢幕快照 2016-05-26 下午4.17.25.png

  • check java version

螢幕快照 2016-05-26 下午4.23.42.png

 

建立hadoop 群組

sudo addgroup hadoop

建立hduser

sudo adduser --ingroup hadoop hduser

編輯/etc/hosts

sudo vim /etc/hosts

關閉ipv6

sudo vim /etc/sysctl

add the following content to end of file

net.ipv6.conf.all.disable_ipv6 = 1

net.ipv6.conf.default.disable_ipv6 = 1

net.ipv6.conf.lo.disable_ipv6 = 1

 

6.Install hadoop in master(Name Node)

Generate ssh key

gererate ssh key as follow command.

ssh-keygen -t rsa

            cat $HOME/.ssh/id_rsa.pub >> $HOME/.ssh/authorized_keys

螢幕快照 2016-05-27 上午11.25.11.png

download hadoop 2.6.4

  1. cd /usr/local

  2. go to http://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.6.4/hadoop-2.6.4.tar.gz and select one to download . sudo wget http://ftp.twaren.net/Unix/Web/apache/hadoop/common/hadoop-2.6.4/hadoop-2.6.4.tar.gz

  3. sudo tar xzvf hadoop-2.6.4.tar.gz

  4. sudo mv hadoop-2.6.4 hadoop

更改owner

sudo chown hduser:hadoop -R /usr/local/hadoop

建立tmp folder for hadoop

sudo mkdir -p /usr/local/hadoop_tmp/hdfs/namenode

sudo chown hduser:hadoop -R /usr/local/hadoop_tmp/hdfs/namenode

hadoop configuration setting

  1. cd /usr/local/hadoop/etc/hadoop
  2. vim core-site.xm

l螢幕快照 2016-06-02 上午10.15.22.png

  1. vim hdfs-site.xm

l

螢幕快照 2016-06-02 上午10.15.43.png

  1. vim yarn-site.xml

螢幕快照 2016-06-02 上午10.16.02.png

  1. cp mapred-site.xml.template mapred-site.xml && vim mapred-site.xml

螢幕快照 2016-06-02 上午10.20.17.png

  1. edit env - vim ~/.bashrc ( 加在結尾 從HADOOP ENVIRONMENT 開始 )

螢幕快照 2016-06-02 上午10.22.41.png

  1. vim hadoop-env.sh {JAVA_HOME}

螢幕快照 2016-06-02 上午10.25.44.png

  1. copy master ~/.ssh/id_rsa.pub to slave1, slave2, slave3 ~/.ssh/authoriezd_keys
  2. copy hadoop folder to slave1, slave2 /usr/local

7.Install hadoop in slaves(Data Node)

  1. mkdir -p /usrl/local/hadoop
  2. chown hduser:hadoop /user/local/hadoop
  3. scp -r hduser@master:/usr/local/hadoop/* hduser@slaves:/usr/local/hadoop
  4. su - hduser
  5. vim ~/.bashrc( repeat edit env - vim ~/.bashrc)
  6. vim /usr/local/hadoop/etc/hadoop/slave - add slave1 slave2 slave3
  7. create datanode tmp folder - sudo mkdir -p /usr/local/hadoop_tmp/hdfs/datanode
  8. change /usr/local/hadoop_tmp folder owner into hduser:hadoop

8.Format NameNode format

  1. cd /usr/local/hadoop
  2. hdfs namenode format
  3. start-dfs.sh
  4. start-yarn.sh

9.Check Status

  1. on master run jps

 

 

 

 

 

 

 

 

arrow
arrow
    文章標籤
    AWS hadoop ubuntu
    全站熱搜

    wuen 發表在 痞客邦 留言(0) 人氣()