Hadoop部署web服务器，轻松搭建大数据处理平台 (hadoop部署web服务器)
在当今大数据时代，如何高效地存储、处理和分析数据是每个企业都需要面对的挑战。Hadoop是当今更流行的开源大数据处理平台之一，其分布式计算和数据处理能力使得其广受欢迎。本文将介绍如何使用。
一、Hadoop简介
Hadoop是Apache基金会开发的一个开源框架，旨在处理大规模数据和分布式存储。它由两个核心部分组成：HDFS和MapReduce。HDFS（Hadoop分布式文件系统）用于存储大规模的数据，而MapReduce则用于处理数据。Hadoop还有许多其他的组件，如YARN（Yet Another Resource Negotiator）用于集群资源的管理，HBase用于非关系型数据库的存储等等。Hadoop的高扩展性和高容错性使得其成为了处理大数据的首选平台之一。
二、Hadoop的web服务器部署
1. 安装Java
在安装Hadoop之前，需要先安装Java。可以从Oracle官方网站或其他可靠渠道下载Java。安装完Java后，可以通过以下命令验证是否成功：
“`bash
java -version
“`
2. 下载和安装Hadoop
Hadoop可以从Apache官方网站或其他可靠渠道下载。下载完毕后，将其解压到一个目录中，例如：
“`bash
tar -xzvf hadoop-x.x.x.tar.gz -C /usr/local/
“`
Hadoop安装完成后，需要设置一些必要的环境变量，包括JAVA_HOME、HADOOP_HOME和PATH。配置方法如下：
“`bash
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
export HADOOP_HOME=/usr/local/hadoop-x.x.x
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/in
“`
3. 修改Hadoop配置文件
进入$HADOOP_HOME/etc/hadoop目录，修改以下文件：
core-site.xml：
“`xml
fs.defaultFS
hdfs://localhost:9000
“`
hdfs-site.xml：
“`xml
dfs.replication
1
dfs.namenode.name.dir
/usr/local/hadoop-x.x.x/hadoop_data/hdfs/namenode
dfs.datanode.data.dir
/usr/local/hadoop-x.x.x/hadoop_data/hdfs/datanode
“`
mapred-site.xml：
“`xml
mapreduce.framework.name
yarn
“`
4. 启动Hadoop
输入以下命令启动Hadoop：
“`bash
start-dfs.sh
start-yarn.sh
“`
输入jps命令，可以看到以下进程已经启动：
“`bash
1100 ResourceManager
943 Jps
727 DataNode
581 NameNode
800 SecondaryNameNode
1042 NodeManager
“`
5. 部署web服务器
安装Tomcat作为web服务器，下载地址：https://tomcat.apache.org/download-80.cgi。下载完成后解压到一个目录中。修改$TOMCAT_HOME/conf/server.xml文件，添加以下内容：
“`xml
unpackWARs=”true” autoDeploy=”true”>
“`
6. 访问web服务器
启动Tomcat服务器：
“`bash
cd $TOMCAT_HOME/bin
./startup.sh
“`
访问http://localhost:8080/hadoop即可进入Hadoop的web界面，进行文件系统管理、作业管理以及集群管理等操作。
三、结语
通过以上步骤，我们已经成功地使用Hadoop搭建了web服务器，轻松搭建了一个大数据处理平台。当然，为了更好地利用Hadoop的分布式计算和数据处理能力，我们还需要深入了解Hadoop的其他组件，如YARN、HBase等等，以及如何编写MapReduce程序。只有这样，我们才能更大化地发挥Hadoop的威力，在海量的数据中发现商机和价值。
相关问题拓展阅读：
哪些Hadoop版本支持WebHDFS?是不是Hadoop 1.0之后的都支持
WebHDFS观盯粗念是基于HTTP操作，比如GET、PUT、POST和DELETE。像OPEN、GETFILESTATUS、LISTSTATUS的操作是使用HTTP GET，其它的像CREAT、凯悉镇MKDIRS、RENAME、SETPERMISSION是依赖于HTTP PUT类型。 APPEND操作时基于HTTP POST类型，然而，DELETE是使用HTTP DELETE。
在配置开源日志系统fluentd过程中，fluentd就是利用webHDFS和HDFS进行通信，配置好久没有通，最后发现Hadoop 0.20.2 不支持webHDFS！所以本陆余文中的hadoop版本是：hadoop-1.2.1
应该是吧！我0.20.2都用过的，可以的！
Hadoop安装过程中常见问题
一、启动namenode服务后，web页面依然无法访问
1、启动namenode服务，
指令：start-all.sh
”’
# start-all.sh
Starting namenodes on
Starting datanodes
Starting secondary namenodes
Starting resourcemanager
Starting nodemanagers
ERROR: Refusing to run as root: roo account is not found. Aborting.
”’
2、查看namenode服务是否启动，
”’
# jps
8130 Jps
7494 ResourceManager
6871 NameNode
7244 SecondaryNameNode
”’
3、查看后台监听端口
”’
# netstat -nltp |grep 6871
tcp 0 192.168.43.250:.0.0.0:* LISTEN/java
tcp 0 0.0.0.0:.0.0.0:* LISTEN 态态 6871/java
”’
4、查看web是否可以访问，发现web页面无法访问
5、检查防火墙设置，可以看帆燃源到hadoop1服务器已经禁用了除本机外的其他多有服务访问，
# service iptables status
表格：filter
Chain INPUT (policy ACCEPT)
num target prot opt source destination
1 ACCEPT all.0.0.0/.0.0.0/state RELATED,ESTABLISHED
2 ACCEPT icmp — 0.0.0.0/.0.0.0/
3 ACCEPT all.0.0.0/.0.0.0/
4 ACCEPT tcp.0.0.0/.0.0.0/state NEW tcp dpt:22
5 REJECT all.0.0.0/.0.0.0/段野reject-with icmp-host-prohibited
Chain FORWARD (policy ACCEPT)
num target prot opt source destination
1 REJECT all.0.0.0/.0.0.0/reject-with icmp-host-prohibited
Chain OUTPUT (policy ACCEPT)
num target prot opt source destination
6、关闭防火墙，并把防火墙设置为开启不启动
centos6：
关闭防火墙：service iptables stop
设置开启不启动防火墙：chkconfig iptables off
centos7：
关闭防火墙：systemctl stop firewalld.service
设置开启不启动防火墙：systemctl disable firewalld.service
7、检查web已经可以正常显示
8、如果上面的操作依然无法访问的话，需要查看一下主机的hosts文件 是否有配置域名映射
二、开启datanode指令时出现waring
# hadoop-daemon.sh start datanode
WARNING: Use of this script to start HDFS daemons is deprecated.
WARNING: Attempting to execute replacement “hdfs –daemon start” instead.
主要是2.7版本的hadoop已经把hadoop命令改为hdfs命令了，所以尝试使用
指令：hdfs –daemon start datanode
”’
# hdfs –daemon start datanode
# jps
4064 Jps
4033 DataNode
2922 ResourceManager
”’
三、使用root配置的hadoop并启动会出现报错
错误：
Starting namenodes on
ERROR: Attempting to operate on hdfs namenode as root
ERROR: but there is no HDFS_NAMENODE_USER defined. Aborting operation.
Starting datanodes
ERROR: Attempting to operate on hdfs datanode as root
ERROR: but there is no HDFS_DATANODE_USER defined. Aborting operation.
Starting secondary namenodes
ERROR: Attempting to operate on hdfs secondarynamenode as root
ERROR: but there is no HDFS_SECONDARYNAMENODE_USER defined. Aborting operation.
原因分析：由于root没有start-dfs.sh和 stop-dfs.sh脚本的执行权限，在这两个脚本的开头加上如下参数，给root赋予执行权限即可：
HDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=hdfs /* 后续版本这边需要修改为 HDFS_DATANODE_SECURE_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root
start-yarn.sh，stop-yarn.sh顶部也需添加以下
YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn /* 后续版本这边需要修改为 HDFS_DATANODE_SECURE_USER=hdfs
YARN_NODEMANAGER_USER=root
4、hdfs运行指令时出现warn警告提示：
:07:58,517 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform… using builtin-java classes where applicable
该警告信息主要是由于是依赖库的问题
我们对静态库查看下依赖：看下依赖是否都正常：
通过指令 ldd libhadoop.so.1.0.0
”’
./libhadoop.so.1.0.0: /lib64/libc.so.6: version `GLIBC_2.14′ not found (required by ./libhadoop.so.1.0.0)
linux-vdso.so.1 => (0x00007fff369ff000)
libdl.so.2 => /lib64/libdl.so.2 (0x00007f3caa7ea000)
libc.so.6 => /lib64/libc.so.6 (0x00007f3caa455000)
/lib64/ld-linux-x86-64.so.2 (0x00007f3caac1b000)
”’
可以看到是glibc 版本的问题：
我们再确认下：
GLIBC_2.14找不到，现在检查系统的glibc库, ldd –version 即可检查。
输入命令：
”’
ldd –version
ldd (GNU libc) 2.12
Copyright (C) 2023 Free Software Foundation, Inc.
This is free software; see the source for copying conditions. There is NO
warranty; not even for MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.
Written by Roland McGrath and Ulrich Drepper.
”’
还可以直接确认下glibc 目前支持的版本：
通过如下查询方法：
”’
strings /lib64/libc.so.6|grep GLIBC
GLIBC_2.2.5
GLIBC_2.2.6
GLIBC_2.3
GLIBC_2.3.2
GLIBC_2.3.3
GLIBC_2.3.4
GLIBC_2.4
GLIBC_2.5
GLIBC_2.6
GLIBC_2.7
GLIBC_2.8
GLIBC_2.9
GLIBC_2.10
GLIBC_2.11
GLIBC_2.12
GLIBC_PRIVATE
”’
可以看到目前只支持到 2.12
解决办法有两个
1、升级 glibc 库
2、屏蔽hadoop提示这个告警
直接在log4j日志中去除告警信息。在$HADOOP_HOME/etc/hadoop/log4j.properties文件中添加
hadoop部署web服务器的介绍就聊到这里吧，感谢你花时间阅读本站内容，更多关于hadoop部署web服务器,Hadoop部署web服务器，轻松搭建大数据处理平台,哪些Hadoop版本支持WebHDFS?是不是Hadoop 1.0之后的都支持,Hadoop安装过程中常见问题的信息别忘了在本站进行查找喔。
