Hadoop 安装方式有两种,分别是单机情势,伪布满式形式,遍及式情势。

Java 遭受可挑选 Oracle 的 JDK,或是 OpenJDK(可用作 JDK
的开源版本),以往相像 Linux 系统私下认可安装的基本是 OpenJDK,这里安装的是
OpenJDK1.8.0版本的。

rpm -qa | grep ssh

关闭 YA昂科威N 的吩咐如下,开启是 start,关闭是 stop。

start-yarn.sh   # 启动YARN
mr-jobhistory-daemon.sh start historyserver # 开启历史服务器,才能在Web中查看任务运行情况

推断Hadoop是不是运维成功.jpg

集群、单节点情势都需求用到 SSH 登录(类似于远程登录,你能够登入某台
Linux 主机,并且在地方运营命令)。

保留后,不要忘记实行如下命令使配置生效。

虚拟机:VMware Pro14

同样的,修改配置文件 hdfs-site.xml
gedit ./etc/hadoop/hdfs-site.xml

配置JAVA_HOME遭逢变量.jpg

日常在动用 CentOS 时,并不引入应用 root
用户,因为该用户全体任何系统的最高权力,使用该用户或许会招致惨痛的结果,但前提是你对
Linux 很熟,才会误操作。搭建 Hadoop
的大额平台,使用普通用户,好多指令需求 sudo 命令来赢得 root
用户的权力,比较麻烦,所以干脆直接利用 root 用户。

下载达成后,大家将 Hadoop 解压到 /usr/local/ 中。

安装SSH

开辟终端.jpg

重新登入SSH.jpg

翻开后经过 jps 查看,能够看出多了 NodeManager 和 ResourceManager
两个进程,如下图所示。

gedit ./etc/hadoop/yarn-site.xml # 用gedit 文本编辑器打开


<configuration>
 <property>
 <name>yarn.nodemanager.aux-services</name>
 <value>mapreduce_shuffle</value>
 </property>
</configuration>

运转Hadoop例子出错.jpg

注意:命令是单条实施的,不是平素把两条命令粘贴过去。

start-dfs.sh  # 开启 NameNode 和 DataNode 进程

伪布满式情势:Hadoop 能够在单节点上以伪布满式的措施运维,Hadoop
进度以分其余 Java 进度来运维,节点既作为 NameNode 也视作
DataNode,同期,读取的是 HDFS 中的文件。

下载Hadoop.jpg

澳门凯旋门注册网址 1

java -version     # 查看 java 的版本
javac -version    # 查看编译命令 Javac 的版本
echo $JAVA_HOME    # 查看 $JAVA_HOME 这个环境变量的值

单机方式:Hadoop
暗中同意格局为非分布式情势(本地格局),无需举办其余计划就可以运转。非布满式即单
Java 进度,方便开始展览调和。

Hadoop通常运转Web分界面.jpg

澳门凯旋门注册网址 2

起步 YA昂科拉N
之后,运转实例的方法照旧长期以来的,仅仅是资源管理艺术、任务调整差别。运维YAXC90N 有个低价是足以经过 Web 分界面查看任务的运作意况:
如下图所示。

tar -zxf ~/下载/hadoop-2.6.5.tar.gz -C /usr/local # 解压到/usr/local目录中
cd /usr/local/       # 切换当前目录为 /usr/local 目录
mv ./hadoop-2.6.5/ ./hadoop   # 将文件夹名改为hadoop
chown -R root:root ./hadoop   # 修改文件权限,root 是当前用户名

小心:Hadoop
暗中认可不会覆盖结果文件,由此再次运行方面实例会唤起出错,必要先将 output
文件夹删除。

选择 Other ,在 Username 输入框中输入 root ,回车,再在
Password 输入框中输入你成立用户时密码。root 用户是安装 CentOS
自动创设的特级用户,但密码和您安装系统时创建的普通用户密码是一模一样的。

检查JAVA_HOME境况变量是不是配备正确.jpg

hadoop version       # 查看 Hadoop 的版本信息

首次登陆SSH.jpg

vim ~/.bashrc    # 使用 vim 编辑器在终端中打开 .bashrc 文件
gedit ~/.bashrc    # 使用 gedit 文本编辑器打开 .bashrc 文件

首先输入 exit 退出刚才的 ssh,就重回了咱们原先的巅峰窗口,然后接纳ssh-keygen 生成密钥,并将密钥参与到授权中。

若出现提醒 “WALX570N util.NativeCodeLoader: Unable to load native-hadoop
library for your platform… using builtin-java classes where
applicable”,该 WATucsonN 提醒能够忽略,不影响 Hadoop 符合规律运营。

启航Hadoop注意事项.jpg

笔者们那边来运维二个询问的例子,将 input
文件夹作为输入文件夹,筛选个中符合正则表明式 dfs[a-z.]+
的单词,计算它的次数,将筛选结果输出到 output 文件夹中。

澳门凯旋门注册网址,继而供给配置一下 JAVA_HOME 情形变量,为了方便,直接在 ~/.bashrc
中打开设置,约等于配置的是 Windows
的用户情况变量,只对单个用户生效,当用户登陆后,每趟展开 shell
终端,.bashrc 文件都会被读取。

澳门凯旋门注册网址 3

布满式形式:使用八个节点构成集群情状来运行Hadoop,须求多台主机,也得以是设想主机。

cd /usr/local/hadoop     # 切换当前目录为 /usr/local/hadoop 目录
./bin/hadoop version     # 查看 Hadoop 的版本信息
<configuration>
 <property>
 <name>dfs.replication</name>
 <value>1</value>
 </property>
 <property>
 <name>dfs.namenode.name.dir</name>
 <value>file:/usr/local/hadoop/tmp/dfs/name</value>
 </property>
 <property>
 <name>dfs.datanode.data.dir</name>
 <value>file:/usr/local/hadoop/tmp/dfs/data</value>
 </property>
</configuration>

Hadoop 伪布满式配置

澳门凯旋门游戏网址,YARN的Web界面.jpg

NameNode格式化.jpg

exit       # 退出刚才的 ssh localhost
cd ~/.ssh/      # 若提示没有该目录,请先执行一次ssh localhost
ssh-keygen -t rsa    # 会有提示,都按回车即可
cat id_rsa.pub >> authorized_keys # 加入授权
chmod 600 ./authorized_keys # 修改文件权限

测量检验我们的 Hadoop 安装没十分,大家得以起来安装 Hadoop
的景况变量,同样在 ~/.bashrc 文件中布置。

澳门凯旋门注册网址 4

采取虚构机安装好系统后,能够看出登陆分界面,如下图所示。

jps  # 查看进程判断 Hadoop 是否启动成功

翻开Hadoop版本新闻.jpg

澳门凯旋门注册网址 5

规定互联网连接不奇怪后,打开 CentOS 的顶峰,可在 CentOS
的桌面点击鼠标右键,选用 Open In Terminal ,如下图所示。

在平日的学习中,我们选择伪分布式就丰硕了。

启动YARN.jpg

虚构机的装置和Linux系统的装置这里就差不离了,可以参谋网络的学科安装,一般没什么大题材,需求留神的是铭刻这里你输入的用户密码,上边还要用,如下图所示。

澳门凯旋门注册网址 6

澳门凯旋门注册网址 7

上述通过 start-dfs.sh 命令运转 Hadoop,仅仅是运维了 MapReduce
情状,大家得以运行 YAXC60N ,让 YAWranglerN 来承担财富管理与职分调节。

source ~/.bashrc
# Hadoop Environment Variables
export HADOOP_HOME=/usr/local/hadoop
export HADOOP_INSTALL=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

第一次搭建 Hadoop。YA奥迪Q7N 是从 MapReduce 中分离出来的,担任财富管理与职务调解。YAWranglerN 运维于
MapReduce 之上,提供了高可用性、高扩展性。(伪分布式不运行 YA冠道N
也得以,一般不会潜移默化程序试行)

Hadoop 解压后就可以使用,输入如下命令来检查 Hadoop 是或不是可用,成功则会来得
Hadoop 版本新闻。

澳门凯旋门注册网址 8

JDK:OpenJDK1.8.0 (强力建议并非采取 Oracle 公司的 Linux 版本的 JDK)

<configuration></configuration> 中间插入如下的代码。

澳门凯旋门注册网址 9

澳门凯旋门注册网址 10

得逞运转后,也能够访问 Web 分界面 查看 NameNode 和
Datanode 音信,还能在线查看 HDFS 中的文件。

source ~/.bashrc    # 使变量设置生效

Linux:CentOS-6.4(下载地址,下载mp3版本就可以)

搭建表达:第二回搭建 Hadoop
的友人,请严峻根据文章中的软件条件和手续搭建,不均等的本子都或许会形成难点。

澳门凯旋门注册网址 11

你或者感兴趣的作品:

  • Linux中Centos7搭建Hadoop服务手续
  • 基于CentOS的Hadoop遍及式情形的搭建开垦
  • Hadoop2.X/YAEvoqueN条件搭建–CentOS7.0
    JDK配置
  • Hadoop2.X/YARubiconN条件搭建–CentOS7.0系统布局

修改文件,能够向来利用 vim 编辑器展开文件,也得以使用类似于 Windows
记事本的 gedit 文本编辑器。

接下去运维 Hadoop。

<configuration>
 <property>
 <name>hadoop.tmp.dir</name>
 <value>file:/usr/local/hadoop/tmp</value>
 <description>Abase for other temporary directories.</description>
 </property>
 <property>
 <name>fs.defaultFS</name>
 <value>hdfs://localhost:9000</value>
 </property>
</configuration>

复制代码 代码如下:

透过命令 cat ./output/* 查看结果,符合正则的单词 dfsadmin 出现了 1次。

用户挑选

保存后记念关掉 gedit 程序,不然会攻克终端,不可能推行上面包车型客车通令,能够按
【Ctrl + C】键终止该程序。

澳门凯旋门注册网址 12

安装 Hadoop

第一次搭建 Hadoop。yum install java-1.8.0-openjdk  java-1.8.0-openjdk-devel  #安装
openjdk1.8.0

如此,Hadoop 所需的 Java 运营条件就设置好了。

修改配置文件 core-site.xml (通过 gedit 编辑会比较便于,输入指令,
gedit ./etc/hadoop/core-site.xml )。

澳门凯旋门注册网址 13

第一次搭建 Hadoop。运营测验Hadoop例子.jpg

澳门凯旋门注册网址 14

第一次搭建 Hadoop。安装 Java 环境

要么直接输入 hadoop version 命令也得以查看。

澳门凯旋门注册网址 15

cd /usr/local/hadoop  # 切换当前目录为 /usr/local/hadoop 目录
mkdir ./input    # 在当前目录下创建 input 文件夹
cp ./etc/hadoop/*.xml ./input # 将 hadoop 的配置文件复制到新建的输入文件夹 input 中
./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar grep ./input ./output 'dfs[a-z.]+' 
cat ./output/*    # 查看输出结果

澳门凯旋门注册网址 16

配置达成后,施行 NameNode 的格式化。(Hadoop 第二回开发银行需求该命令)

随后还索要让该景况变量生效,实行如下命令。

Hadoop蒙受变量的配置.jpg

通过上述命令安装 OpenJDK,暗中认可安装地方为
/usr/lib/jvm/java-1.8.0,下边配置 JAVA_HOME 时就选拔那一个职位。

借使要求安装,则足以由此 yum
这些包管理器举行设置。(安装进度中会令你输入 [y/N],输入 y 即可)

那儿再用 ssh localhost
命令,不供给输入密码就足以平昔登录了,如下图所示。

最近大家就足以来利用 Hadoop 运营一些例证,Hadoop
附带了诸多的事例,可以运转
hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.5.jar
看到有着的事例。

hdfs namenode -format
mv ./etc/hadoop/mapred-site.xml.template ./etc/hadoop/mapred-site.xml # 文件重命名
gedit ./etc/hadoop/mapred-site.xml         # 用gedit 文本编辑器打开


<configuration>
 <property>
 <name>mapreduce.framework.name</name>
 <value>yarn</value>
 </property>
</configuration>

软件条件:

顶点中的粘贴可通过鼠标点击右键接纳 Paste 粘贴,也可因而快速键
【Shift + Insert】粘贴。

成功的话,会看出 “successfully formatted” 和 “Exitting with status 0”
的升迁,若为 “Exitting with status 1” 则是失误。

但诸如此类登入须要每一趟都输入密码,我们需求配置成SSH无密码登入相比方便。

安装用户密码.jpg

上述正是本文的全体内容,希望对大家的就学抱有帮助,也希望大家多多帮忙脚本之家。

echo $JAVA_HOME  # 检验变量值
java -version
javac -version
$JAVA_HOME/bin/java -version # 与直接执行 java -version 一样

安装好后大家来查证一下是还是不是设置科学,如下图所示。

SSH安装到位后,推行如下命令测验一下 SSH 是还是不是可用(SSH第一回登入提醒 yes/no
音讯,输入 yes 就能够,然后根据提醒输入 root
用户的密码,那样就登入到本机了),如下图所示。

若出现如下 SSH 的唤醒 “Are you sure you want to continue
connecting”,输入 yes 就能够。

一般景观下,CentOS 暗中同意已设置了 SSH client、SSH
server,可打开终端执行如下命令举办检查:

下一场就能够运行 YA纳瓦拉N 了,实行 start-yarn.sh 命令。

下边发号施令任选其一。

只顾:在运营 YA路虎极光N 以前,要保管 dfs Hadoop 已经起步,也等于推行过
start-dfs.sh

Hadoop 的配置文件位于 /usr/local/hadoop/etc/hadoop/
下,伪遍布式要求修改2个布局文件 core-site.xmlhdfs-site.xml
。Hadoop的布局文件是 xml 格式,各样配置以宣称 property 的 name 和 value
的章程来贯彻。

在 .bashrc 文件最前边扩展如下内容,注意 HADOOP_HOME
的职责对不对,假使都以依照前面包车型地铁配备,那部分可照抄。

yum install openssh-clients
yum install openssh-server

紧接着修改配置文件 yarn-site.xml

澳门凯旋门注册网址 17

启动YARN

假使回到的结果如下图所示,包蕴了 SSH client 跟 SSH
server,则无需再安装。

stop-yarn.sh
mr-jobhistory-daemon.sh stop historyserver
gedit ~/.bashrc # 使用 gedit 文本编辑器打开 .bashrc 文件

澳门凯旋门注册网址 18

一些 CentOS 6.4 暗中认可安装了 OpenJDK 1.7,这里大家能够利用命令检查一下,和
Windows 下的命令一样,还足以查看 JAVA_HOME 那个景况变量的值。

rm -rf ./output  # 在 /usr/local/hadoop 目录下执行

若果系统尚未设置 OpenJDK,我们得以经过 yum
包管理器来安装。(安装进度中会让输入 [y/N],输入 y 即可)

在文书最前面加多如下单独一行(指向 JDK 的设置地方),并 保存

先是有限支撑您的 CentOS
系统能够平常的上网,你可以查看桌面右上角的网络Logo,若突显红叉则注明未联网,可点击选拔可用网络,也足以选取桌面左上角的银狐浏览器输入网站验证是还是不是网络连接经常。如若依然无法上网,检查虚构机的装置,选用NAT 形式,恐怕上网百度化解。

起步成功后,能够经过命令 jps 来决断是或不是成功运营,若出现上边NameNode、DataNode、SecondaryNameNode、Jps 多少个过程,则 Hadoop
运营成功。

检查网络意况.jpg

YA奇骏N 主如果为集群提供更加好的能源管理与任务调治,假诺不想运转YAPAJERON,务必把陈设文件 mapred-site.xml 重命名,改成
mapred-site.xml.template,需求用时改回来就行。不然在该配置文件存在,而未开启
YALANDN 的情事下,运转程序会提醒 “Retrying connect to server:
0.0.0.0/0.0.0.0:8032” 的荒谬,那也是干什么该配置文件早先文件名叫mapred-site.xml.template。

在前面 软件条件 已经交付了 hadoop2.6.5
的下载地址,可以直接通过火狐浏览器展开下载,私下认可下载地点是在用户的 Home
中的 Downloads 文件夹下,如下图所示。

若运营出错,如现身如下图提醒。

澳门凯旋门注册网址 19

先是修改配置文件 mapred-site.xml ,需求先将 mapred-site.xml.template
文件的重命名称叫 mapred-site.xml。

查阅SSH是或不是已安装.jpg

澳门凯旋门注册网址 20

Hadoop:2.6.5(下载地址)

相关文章