服务器 2023-07-19

使用SSH远程启动Hadoop服务器 (ssh启动hadoop服务器)

Hadoop 是一个开源的分布式数据处理软件，能够处理大规模数据，能够在集群环境下进行数据处理。在 Hadoop 的环境中，一般会存在多台服务器，为了方便使用和管理 Hadoop，我们需要对 Hadoop 进行远程启动，这就需要使用 SSH。

SSH 的全称是 Secure Shell，它是一种网络协议，用于加密远程控制的传输。SSH 可以加密数据传输，同时也可以验证身份，保证通信过程的安全。在 Hadoop 的环境中，我们利用 SSH 远程连接到远程机器上启动 Hadoop。

本文将介绍如何使用 SSH 远程启动 Hadoop 服务器。

准备工作

在进行 SSH 远程启动之前，需要先了解一些基本知识和准备一些工具。具体如下：

1. 确认 Hadoop 的地址和端口。如果使用 Hadoop 2.x 版本，则需要知道 YARN 的地址和端口；如果使用 Hadoop 1.x 版本，则需要知道 JobTracker 的地址和端口。这些信息可以在 Hadoop 的配置文件中找到。

2. 确认 SSH 服务已经启动。SSH 通常已经在系统中预装，如果没有则需要安装 SSH。

3. 准备 SSH 工具。常见的 SSH 工具有 OpenSSH、PuTTY 等。

4. 确认 SSH 登录的用户名和密码。需要知道 SSH 登录 Hadoop 服务器的用户名和密码。

步骤一：创建 SSH 密钥

在使用 SSH 远程启动 Hadoop 服务器时，我们需要使用 SSH 密钥进行认证。在这里，我们使用 ssh-keygen 工具创建 SSH 密钥。具体步骤如下：

1. 打开终端或命令行窗口。

2. 输入命令 ssh-keygen，按下回车键。

3. 在弹出的窗口中，一路按 Enter，不需要输入任何内容。

4. 完成上述步骤之后，SSH 密钥就已经创建完成了。你可以在你的 home 目录下的 .ssh 目录中找到一个 id_rsa 文件，这就是你刚刚创建的 SSH 密钥。

步骤二：将公钥添加到 Hadoop 服务器

在使用 SSH 远程启动 Hadoop 服务器时，我们需要将公钥添加到 Hadoop 服务器中。具体步骤如下：

1. 打开终端或命令行窗口，输入命令 ssh-copy-id -i ~/.ssh/id_rsa.pub username@remote_host，其中，username 是你登录 Hadoop 服务器的用户名，remote_host 是远程服务器的 IP 地址或主机名。

2. 当提示输入远程登录的密码时，输入密码，按下回车键。

3. 如果一切正常，那么你应该可以看到类似以下的输出信息：

Now try logging into the machine, with “ssh ‘username@remote_host’”, and check in:

.ssh/authorized_keys

此时，你的公钥已经成功添加到 Hadoop 服务器中了。

步骤三：远程启动 Hadoop 服务器

在完成了上述步骤之后，就可以使用 SSH 远程启动 Hadoop 服务器了。具体步骤如下：

1. 打开终端或命令行窗口，输入命令 ssh username@remote_host，其中，username 是你登录 Hadoop 服务器的用户名，remote_host 是远程服务器的 IP 地址或主机名。

2. 当提示输入远程登录的密码时，输入密码，按下回车键。

3. 在远程服务器上，输入命令 start-all.sh，启动 Hadoop。

4. 等待一段时间，直到 Hadoop 启动完成。你可以在 Hadoop 的管理页面上查看正在运行的任务和作业。如果一切正常，那么你可以开始使用 Hadoop 进行数据处理了。

使用 SSH 远程启动 Hadoop 服务器能够提高 Hadoop 的使用效率和管理效率，非常方便实用。在使用 SSH 远程启动 Hadoop 服务器时，我们需要首先创建 SSH 密钥，然后将公钥添加到 Hadoop 服务器中，最后远程启动 Hadoop 服务器。如果一切正常，那么你就可以使用 Hadoop 进行数据处理了。

相关问题拓展阅读：

如何在Linux上安装与配置Hadoop
centos 6.5怎么搭建hadoop2.7.3
window中怎么打开hadoop网页解决方法

如何在Linux上安装与配置Hadoop

Hadoop最早是为了在Linux平台上使用而开发的，但是Hadoop在UNIX、Windows和Mac OS X系统上也运行良好。不过，在Windows上运行Hadoop稍显复杂，首先必须安装Cygwin以模拟Linux环境，然后才能安装Hadoop。Hadoop的安装非常简单，大家可以在官网上下载到最近的几个版本，在Unix上安装Hadoop的过程与在Linux上安装基本相同，因此下面不会对其进行详细介绍。

在Linux上安装与配置Hadoop

在Linux上安装Hadoop之前，需要先安装两个程序：

1. JDK 1.6或更高版本;

2. SSH(安全外壳协议)，推荐安装OpenSSH。

下面简述一下安装这两个程序的原因：

1. Hadoop是用Java开发的，Hadoop的编译及MapReduce的运行都需要使用JDK。

2. Hadoop需要通过SSH来启动salve列表中各台主机的守护进程，因此SSH也是必须安装的，即使是安装伪分布式版本(因为Hadoop并没有区分集群式和伪分布式)。对于伪分布式，Hadoop会采用与集群相同的处理方式，即依次序启动文件conf/slaves中记载的主机上的进程，只不过伪分布式中salve为localhost(即为自身)，所以对于伪分布式Hadoop，SSH一样是必须的。

一、安装JDK 1.6

安装JDK的过程很简单，下面以Ubuntu为例。

(1)下载和安装JDK

确保可以连接到互联网，输入命令：

sudo apt-get install sun-java6-jdk

输入密码，确认，然后就可以安装JDK了。

这里先解释一下sudo与apt这两个命令，sudo这个命令允许普通用户执行某些或全部需要root权限命令，它提供了详尽的日志，可以记录下每个用户使用这个命令做了些什么操作;同时sudo也提供了灵活的管理方式，可以限制用户使用命令。sudo的配置文件为/etc/sudoers。

apt的全称为the Advanced Packaging Tool，是Debian计划的一部分，是Ubuntu的软件包管理软件，通过apt安装软件无须考虑软件的依赖关系，可以直接安装所需要的软件，apt会自动下载有依赖关系的包，并按顺序安装，在Ubuntu中安装有apt的一个图形化界面程序synaptic(中文译名为“新立得”)，大家如果有兴趣也可以使用这个程序来安装所需要的软件。(如果大家想了解更多，可以查看一下关于Debian计划的资料。)

(2)配置环境变量

输入命令：

sudo gedit /etc/profile

输入密码，打开profile文件。

在文件的最下面输入如下内容：

#set Java Environment

export JAVA_HOME= （你的JDK安装位置，一般为/usr/lib/jvm/java-6-sun）

export CLASSPATH=”.:$JAVA_HOME/lib:$CLASSPATH”

export PATH=”$JAVA_HOME/:$PATH”

这一步的意义是配置环境变量，使你的系统可以找到JDK。

(3)验证JDK是否安装成功

输入命令：

java -version

查看信息：

java version “1.6.0_14”

Java(TM) SE Runtime Environment (build 1.6.0_14-b08)

Java HotSpot(TM) Server VM (build 14.0-b16, mixed mode)

二、配置SSH免密码登录

同样以Ubuntu为例，假设用户名为u。

1)确认已经连接上互联网，输入命令

sudo apt-get install ssh

2)配置为可以无密码登录本机。

首先查看在u用户下是否存在.ssh文件夹(注意ssh前面有“.”，这是一个隐藏文件夹)，输入命令：

ls -a /home/u

一般来说，安装SSH时会自动在当前用户下创建这个隐藏文件夹，如果没有，可以手动创建一个。

接下来，输入命令：

ssh-keygen -t dsa -P ” -f ~/.ssh/id_dsa

解释一下，ssh-keygen代表生成密钥;-t(注意区分大小写)表示指定生成的密钥类型;dsa是dsa密钥认证的意思，即密钥类型;-P用于提供密语;-f指定生成的密钥文件。(关于密钥密语的相关知识这里就不详细介绍了，里面会涉及SSH的一些知识，如果读者有兴趣，可以自行查阅资料。)

在Ubuntu中，~代表当前用户文件夹，这里即/home/u。

这个命令会在.ssh文件夹下创建两个文件id_dsa及id_dsa.pub，这是SSH的一对私钥和公钥，类似于钥匙及锁，把id_dsa.pub(公钥)追加到授权的key里面去。

输入命令：

cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

这段话的意思是把公钥加到用于认证的公钥文件中，这里的authorized_keys是用于认证的公钥文件。

至此无密码登录本机已设置完毕。

3)验证SSH是否已安装成功，以及是否可以无密码登录本机。

输入命令：

ssh -version

显示结果：

OpenSSH_5.1p1 Debian-6ubuntu2, OpenSSL 0.9.8g 19 Oct 2023

Bad escape character ‘rsion’.

显示SSH已经安装成功了。

输入命令：

ssh localhost

会有如下显示：

The authenticity of host ‘localhost (::1)’ can’t be established.

RSA key fingerprint is 8b:c3:51:a5:2a:31:b7:74:06:9d:62:04:4f:84:f8:77.

Are you sure you want to continue connecting (yes/no)? yes

Warning: Permanently added ‘localhost’ (RSA) to the list of known hosts.

Linux master 2.6.31-14-generic #48-Ubuntu P Fri Oct 16 14:04:26 UTC 2023 i686

To access official Ubuntu documentation, please visit:

Last login: Mon Oct 18 17:12:from master

admin@Hadoop:~$

这说明已经安装成功，之一次登录时会询问你是否继续链接，输入yes即可进入。

实际上，在Hadoop的安装过程中，是否无密码登录是无关紧要的，但是如果不配置无密码登录，每次启动Hadoop，都需要输入密码以登录到每台机器的DataNode上，考虑到一般的Hadoop集群动辄数百台或上千台机器，因此一般来说都会配置SSH的无密码登录。

三、安装并运行Hadoop

介绍Hadoop的安装之前，先介绍一下Hadoop对各个节点的角色定义。

Hadoop分别从三个角度将主机划分为两种角色。之一，划分为master和slave，即主人与奴隶;第二，从HDFS的角度，将主机划分为NameNode和DataNode(在分布式文件系统中，目录的管理很重要，管理目录的就相当于主人，而NameNode就是目录管理者);第三，从MapReduce的角度，将主机划分为JobTracker和TaskTracker(一个job经常被划分为多个task，从这个角度不难理解它们之间的关系)。

Hadoop有官方发行版与cloudera版，其中cloudera版是Hadoop的商用版本，这里先介绍Hadoop官方发行版的安装方法。

Hadoop有三种运行方式：单节点方式、单机伪分布方式与集群方式。乍看之下，前两种方式并不能体现云计算的优势，在实际应用中并没有什么意义，但是在程序的测试与调试过程中，它们还是很有意义的。

你可以通过以下地址获得Hadoop的官方发行版，下载Hadoop-0.20.2.tar.gz并将其解压，这里会解压到用户目录下，一般为：/home//。

单节点方式配置：

安装单节点的Hadoop无须配置，在这种方式下，Hadoop被认为是一个单独的Java进程，这种方式经常用来调试。

伪分布式配置：

你可以把伪分布式的Hadoop看做是只有一个节点的集群，在这个集群中，这个节点既是master，也是slave;既是NameNode也是DataNode;既是JobTracker，也是TaskTracker。

伪分布式的配置过程也很简单，只需要修改几个文件，如下所示。

进入conf文件夹，修改配置文件：

Hadoop-env.sh:

export JAVA_HOME=“你的JDK安装地址”

指定JDK的安装位置：

conf/core-site.xml:

fs.default.name

这是Hadoop核心的配置文件，这里配置的是HDFS的地址和端口号。

conf/hdfs-site.xml:

dfs.replication

这是Hadoop中HDFS的配置，配置的备份方式默认为3，在单机版的Hadoop中，需要将其改为1。

conf/mapred-site.xml:

mapred.job.tracker

localhost:9001

这是Hadoop中MapReduce的配置文件，配置的是JobTracker的地址和端口。

需要注意的是，如果安装的是0.20之前的版本，那么只有一个配置文件，即为Hadoop-site.xml。

接下来，在启动Hadoop前，需格式化Hadoop的文件系统HDFS(这点与Windows是一样的，重新分区后的卷总是需要格式化的)。进入Hadoop文件夹，输入下面的命令：

bin/Hadoop NameNode -format

格式化文件系统，接下来启动Hadoop。

输入命令：

bin/start-all.sh（全部启动）

最后，验证Hadoop是否安装成功。

打开浏览器，分别输入网址：

(MapReduce的Web页面)

(HDFS的Web页面)

如果都能查看，说明Hadoop已经安装成功。

centos 6.5怎么搭建hadoop2.7.3

总体思路，准备主从服务器，配置主服务器可以无密码SSH登录从服务器，解压安装JDK，解压安装Hadoop，配置hdfs、mapreduce等主从关系。

1、环境，3台CentOS6.5，64位，Hadoop2.7.3需要64位Linux，操作系统十几分钟就可以安装完成，

Master 192.168.0.182

Slave1 192.168.0.183

Slave2 192.168.0.184

2、SSH免密码登录，因为Hadoop需要通过SSH登录到各个节点进行操作，我用的是root用户，每台服务器都生成公钥，再合并到authorized_keys

(1)CentOS默认没有启动ssh无密登录，去掉/etc/ssh/sshd_config其中2行的注释，每台服务器都要设置，

#RSAAuthentication yes

#PubkeyAuthentication yes

(2)输入命令，ssh-keygen -t rsa，生成key，都不输入密码，一直回车，/root就会生成.ssh文件夹，每台服务器都要设置，

(3)合并公钥到authorized_keys文件，在Master服务器，进入/root/.ssh目录，通过SSH命令合并，

cat id_rsa.pub>> authorized_keys

ssh cat ~/.ssh/id_rsa.pub>> authorized_keys

(4)把Master服务器的authorized_keys、known_hosts复制到Slave服务器的/root/.ssh目录

(5)完成，ssh 、ssh

3、安装JDK，Hadoop2.7需要JDK7，由于我的CentOS是最小化安装，所以没有OpenJDK，直接解压下载的JDK并配置变量即可

(1)下载“jdk-7u79-linux-x64.gz”，放到/home/java目录下

(2)解压，输入命令，tar -zxvf jdk-7u79-linux-x64.gz

(3)编辑/etc/profile

export JAVA_HOME=/home/java/jdk1.7.0_79

export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

export PATH=$PATH:$JAVA_HOME/bin

(4)使配置生效，输入命令，source /etc/profile

(5)输入命令，java -version，完成

4、安装Hadoop2.7，只在Master服务器解压，再复制到Slave服务器

(1)下载“hadoop-2.7.0.tar.gz”，放到/home/hadoop目录下

(2)解压，输入命令，tar -xzvf hadoop-2.7.0.tar.gz

(3)在/home/hadoop目录下创建数据存放的文件夹，tmp、hdfs、hdfs/data、hdfs/name

5、配置/home/hadoop/hadoop-2.7.0/etc/hadoop目录下的core-site.xml

fs.defaultFS

hadoop.tmp.dir

file:/home/hadoop/tmp

io.file.buffer.size

131702

6、配置/home/hadoop/hadoop-2.7.0/etc/hadoop目录下的hdfs-site.xml

dfs.namenode.name.dir

file:/home/hadoop/dfs/name

dfs.datanode.data.dir

file:/home/hadoop/dfs/data

dfs.replication

dfs.namenode.secondary.http-address

192.168.0.182:9001

dfs.webhdfs.enabled

true

7、配置/home/hadoop/hadoop-2.7.0/etc/hadoop目录下的mapred-site.xml

mapreduce.framework.name

yarn

mapreduce.jobhistory.address

192.168.0.182:10020

mapreduce.jobhistory.webapp.address

192.168.0.182:19888

8、配置/home/hadoop/hadoop-2.7.0/etc/hadoop目录下的mapred-site.xml

yarn.nodemanager.aux-services

mapreduce_shuffle

yarn.nodemanager.auxservices.mapreduce.shuffle.class

org.apache.hadoop.mapred.ShuffleHandler

yarn.resourcemanager.address

192.168.0.182:8032

yarn.resourcemanager.scheduler.address

192.168.0.182:8030

yarn.resourcemanager.resource-tracker.address

192.168.0.182:8031

yarn.resourcemanager.admin.address

192.168.0.182:8033

yarn.resourcemanager.webapp.address

192.168.0.182:8088

yarn.nodemanager.resource.memory-mb

768

9、配置/home/hadoop/hadoop-2.7.0/etc/hadoop目录下hadoop-env.sh、yarn-env.sh的JAVA_HOME，不设置的话，启动不了，

export JAVA_HOME=/home/java/jdk1.7.0_79

10、配置/home/hadoop/hadoop-2.7.0/etc/hadoop目录下的slaves，删除默认的localhost，增加2个从节点，

192.168.0.183

192.168.0.184

11、将配置好的Hadoop复制到各个节点对应位置上，通过scp传送，

scp -r /home/hadoop 192.168.0.183:/home/

scp -r /home/hadoop 192.168.0.184:/home/

12、在Master服务器启动hadoop，从节点会自动启动，进入/home/hadoop/hadoop-2.7.0目录

(1)初始化，输入命令，bin/hdfs namenode -format

注意：执行这步的时候可能会报一个错误：

java.net.UnknownHostException: tiancunPC: tiancunPC: unknown error

at java.net.InetAddress.getLocalHost(InetAddress.java:1505)

at org.apache.hadoop.net.DNS.resolveLocalHostname(DNS.java:264)

at org.apache.hadoop.net.DNS.(DNS.java:57)

at org.apache.hadoop.hdfs.server.namenode.NNStorage.newBlockPoolID(NNStorage.java:982)

at org.apache.hadoop.hdfs.server.namenode.NNStorage.newNamespaceInfo(NNStorage.java:591)

at org.apache.hadoop.hdfs.server.namenode.FSImage.format(FSImage.java:157)

at org.apache.hadoop.hdfs.server.namenode.NameNode.format(NameNode.java:992)

at org.apache.hadoop.hdfs.server.namenode.NameNode.createNameNode(NameNode.java:1434)

at org.apache.hadoop.hdfs.server.namenode.NameNode.main(NameNode.java:1559)

Caused by: java.net.UnknownHostException: tiancunPC: unknown error

at java.net.Inet4AddressImpl.lookupAllHostAddr(Native Method)

at java.net.InetAddress$2.lookupAllHostAddr(InetAddress.java:928)

at java.net.InetAddress.getAddressesFromNameService(InetAddress.java:1323)

at java.net.InetAddress.getLocalHost(InetAddress.java:1500)

… 8 more

16/11/11 19:15:23 WARN net.DNS: Unable to determine address of the host-falling back to “localhost” address

java.net.UnknownHostException: tiancunPC: tiancunPC: unknown error

at java.net.InetAddress.getLocalHost(InetAddress.java:1505)

at org.apache.hadoop.net.DNS.resolveLocalHostIPAddress(DNS.java:287)

at org.apache.hadoop.net.DNS.(DNS.java:58)