本教程适用于以下操作系统版本

  • Ubuntu 22.04(Jammy Jellyfish)
  • Ubuntu 20.04(Focal Fossa)

本页内容

  • 准备工作
  • 安装 Java OpenJDK
  • 创建用户并配置免密 SSH 认证
  • 下载 Hadoop
  • 配置 Hadoop 环境变量
  • 搭建 Apache Hadoop 集群:伪分布式模式以及 NameNode、DataNode 与 Yarn Manager 的配置
  • 总结
  • 配置 NameNode 与 DataNode
  • Yarn Manager

Apache Hadoop 是一个用于处理与存储大数据的开源框架。在当今的行业中,Hadoop 已成为大数据领域的事实标准框架。Hadoop 被设计用于运行在包含数百甚至数千台集群计算机或专用服务器的分布式系统之上。正因如此,Hadoop 能够处理结构化和非结构化的大规模、高复杂度数据集。

每一个 Hadoop 部署都包含以下组件:

  • Hadoop Common:为其他 Hadoop 模块提供支持的公用工具集。
  • Hadoop 分布式文件系统(HDFS):一种分布式文件系统,为应用数据提供高吞吐量的访问能力。
  • Hadoop YARN:用于作业调度和集群资源管理的框架。
  • Hadoop MapReduce:基于 YARN 的系统,用于大规模数据集的并行处理。

在本教程中,我们将在 Ubuntu 22.04 服务器上安装最新版本的 Apache Hadoop。Hadoop 将被安装在单节点服务器上,并采用伪分布式(Pseudo-Distributed)模式进行部署。

准备工作

要完成本指南,你需要满足以下要求:

  • 一台 Ubuntu 22.04 服务器——本示例使用的 Ubuntu 服务器主机名为 'hadoop',IP 地址为 '192.168.5.100'。
  • 一个拥有 sudo/root 管理员权限的非 root 用户。

安装 Java OpenJDK

Hadoop 是 Apache 软件基金会旗下的大型项目,主要使用 Java 编写。撰写本文时,Hadoop 的最新版本为 v3.3.4,与 Java v11 完全兼容。

Java OpenJDK 11 默认包含在 Ubuntu 软件源中,你可以通过 APT 进行安装。

首先,运行以下 apt 命令来更新并刷新 Ubuntu 系统上的软件包列表与软件源。

sudo apt update

现在通过下面的 apt 命令安装 Java OpenJDK 11。在 Ubuntu 22.04 软件源中,软件包 'default-jdk' 指向的就是 Java OpenJDK v11。

sudo apt install default-jdk

当系统提示时,输入 y 确认并按 ENTER 继续,Java OpenJDK 的安装随即开始。

在 Ubuntu 22.04 系统上安装部署 Apache Hadoop 大数据平台

Java 安装完成后,运行以下命令验证 Java 版本。你应当看到 Ubuntu 系统上已安装 Java OpenJDK 11。

java -version

在 Ubuntu 22.04 系统上安装部署 Apache Hadoop 大数据平台

Java OpenJDK 安装完成后,接下来你将创建一个具备免密 SSH 认证的新用户,该用户将用于运行 Hadoop 进程与服务。

创建用户并配置免密 SSH 认证

Apache Hadoop 要求系统上运行 SSH 服务。Hadoop 脚本将利用它来管理远程服务器上的 Hadoop 守护进程。在本步骤中,你将创建一个用于运行 Hadoop 进程与服务的新用户,并随后配置免密 SSH 认证。

如果你的系统尚未安装 SSH,请运行下面的 apt 命令来安装 SSH。软件包 'pdsh' 是一个多线程远程 shell 客户端,可让你在多个主机上并行执行命令。

sudo apt install openssh-server openssh-client pdsh

现在运行以下命令创建新用户 'hadoop' 并设置该用户的密码。

sudo useradd -m -s /bin/bash hadoop
sudo passwd hadoop

输入 'hadoop' 用户的新密码并重复确认一次。

接下来,通过下面的 usermod 命令将 'hadoop' 用户加入 'sudo' 组,这样 'hadoop' 用户即可执行 'sudo' 命令。

sudo usermod -aG sudo hadoop

'hadoop' 用户创建完成后,通过以下命令登录该用户。

su - hadoop

登录后,你的命令提示符将变为类似如下形式:"hadoop@hostname.."。

在 Ubuntu 22.04 系统上安装部署 Apache Hadoop 大数据平台

接下来,运行以下命令生成 SSH 公钥与私钥。当系统提示为密钥设置密码时,直接按 ENTER 跳过。

ssh-keygen -t rsa

SSH 密钥现已生成至 ~/.ssh 目录。其中 id_rsa.pub 为 SSH 公钥,而 'id_rsa' 文件则是私钥。

在 Ubuntu 22.04 系统上安装部署 Apache Hadoop 大数据平台

你可以通过下列命令验证已生成的 SSH 密钥。

ls ~/.ssh/

接下来,运行以下命令将 SSH 公钥 'id_rsa.pub' 复制到 'authorized_keys' 文件中,并将默认权限修改为 600。

在 SSH 中,'authorized_keys' 文件用于存放 SSH 公钥,其中可以包含多个公钥。任何在 'authorized_keys' 文件中存有公钥且拥有对应私钥的人,都无需密码即可作为 'hadoop' 用户连接至服务器。

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 600 ~/.ssh/authorized_keys

在 Ubuntu 22.04 系统上安装部署 Apache Hadoop 大数据平台

免密 SSH 配置完成后,你可以通过下面的 ssh 命令连接到本机进行验证。

ssh localhost

输入 yes 确认并添加 SSH 指纹后,你将在无需密码认证的情况下连接至服务器。

在 Ubuntu 22.04 系统上安装部署 Apache Hadoop 大数据平台

'hadoop' 用户已创建且免密 SSH 认证已配置妥当,接下来你将通过下载 Hadoop 二进制包来完成 Hadoop 的安装。

下载 Hadoop

在创建新用户并配置好免密 SSH 认证之后,你现在可以下载 Apache Hadoop 二进制包并为其设置安装目录。在本示例中,你将下载 Hadoop v3.3.4,目标安装目录为 '/usr/local/hadoop'。

运行以下 wget 命令将 Apache Hadoop 二进制包下载到当前工作目录。你应当会在当前工作目录中得到 'hadoop-3.3.4.tar.gz' 文件。

wget https://dlcdn.apache.org/hadoop/common/hadoop-3.3.4/hadoop-3.3.4.tar.gz

接下来,通过下面的 tar 命令解压 Apache Hadoop 包 'hadoop-3.3.4.tar.gz',然后将解压后的目录移动到 '/usr/local/hadoop'。

tar -xvzf hadoop-3.3.4.tar.gz
sudo mv hadoop-3.3.4 /usr/local/hadoop

最后,将 Hadoop 安装目录 '/usr/local/hadoop' 的所有权更改为用户 'hadoop' 和组 'hadoop'。

sudo chown -R hadoop:hadoop /usr/local/hadoop

在 Ubuntu 22.04 系统上安装部署 Apache Hadoop 大数据平台

在本步骤中,你下载了 Apache Hadoop 二进制包并配置了 Hadoop 安装目录。至此,你可以开始对 Hadoop 的安装进行配置了。

配置 Hadoop 环境变量

通过下面的 nano 编辑器命令打开配置文件 '~/.bashrc'。

nano ~/.bashrc

将以下行添加到文件中。请确保将这些行放在文件末尾。

# Hadoop environment variables
export JAVA_HOME=/usr/lib/jvm/java-11-openjdk-amd64
export HADOOP_HOME=/usr/local/hadoop
export HADOOP_INSTALL=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export HADOOP_YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib/native"

完成后保存文件并退出编辑器。

接下来,运行以下命令使 '~/.bashrc' 文件中的新改动生效。

source ~/.bashrc

命令执行后,新的环境变量即被应用。你可以通过下列命令检查各个环境变量来进行验证,应当能看到每个环境变量的输出结果。

echo $JAVA_HOME
echo $HADOOP_HOME
echo $HADOOP_OPTS

接下来,你还将在 'hadoop-env.sh' 脚本中配置 JAVA_HOME 环境变量。

使用下面的 nano 编辑器命令打开 'hadoop-env.sh' 文件。该文件位于 '$HADOOP_HOME' 目录中,也就是 Hadoop 的安装目录 '/usr/local/hadoop'。

nano $HADOOP_HOME/etc/hadoop/hadoop-env.sh

取消 JAVA_HOME 环境变量的注释行,并将其值修改为 Java OpenJDK 的安装目录 '/usr/lib/jvm/java-11-openjdk-amd64'。

export JAVA_HOME=/usr/lib/jvm/java-11-openjdk-amd64

完成后保存文件并退出编辑器。

在 Ubuntu 22.04 系统上安装部署 Apache Hadoop 大数据平台

完成环境变量配置后,运行以下命令验证系统中 Hadoop 的版本。你应当看到系统已安装 Apache Hadoop 3.3.4。

hadoop version

在 Ubuntu 22.04 系统上安装部署 Apache Hadoop 大数据平台

至此,你已经准备好搭建并配置 Hadoop 集群,它可以部署为多种运行模式。

搭建 Apache Hadoop 集群:伪分布式模式

在 Hadoop 中,你可以以三种不同的模式来创建集群:

  • 本地模式(Standalone)——Hadoop 的默认安装方式,以单个 Java 进程运行,属于非分布式模式。借助该模式,你可以轻松地调试 Hadoop 进程。
  • 伪分布式模式(Pseudo-Distributed)——即使只有单个节点/服务器,也能让你以分布式模式运行 Hadoop 集群。在该模式下,Hadoop 各进程将作为独立的 Java 进程分别运行。
  • 完全分布式模式(Fully-Distributed)——由多个乃至数千个节点/服务器组成的大规模 Hadoop 部署。如果你要在生产环境中运行 Hadoop,应当采用完全分布式模式。

在本示例中,你将在一台 Ubuntu 服务器上以伪分布式模式搭建 Apache Hadoop 集群。为此,你需要修改部分 Hadoop 配置:

  • core-site.xml——用于定义 Hadoop 集群的 NameNode。
  • hdfs-site.xml——该配置用于定义 Hadoop 集群上的 DataNode。
  • mapred-site.xml——Hadoop 集群的 MapReduce 配置。
  • yarn-site.xml——Hadoop 集群的 ResourceManager 与 NodeManager 配置。

配置 NameNode 与 DataNode

首先,你将为 Hadoop 集群配置 NameNode 与 DataNode。

使用下面的 nano 编辑器打开文件 '$HADOOP_HOME/etc/hadoop/core-site.xml'。

sudo nano $HADOOP_HOME/etc/hadoop/core-site.xml

将以下行添加到文件中。请务必修改 NameNode 的 IP 地址,或者将其替换为 '0.0.0.0',这样 NameNode 将在所有网络接口与 IP 地址上运行。

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://192.168.5.100:9000</value>
    </property>
</configuration>

完成后保存文件并退出编辑器。

接下来,运行以下命令创建将供 Hadoop 集群 DataNode 使用的新目录,然后将 DataNode 目录的所有权更改为 'hadoop' 用户。

sudo mkdir -p /home/hadoop/hdfs/{namenode,datanode}
sudo chown -R hadoop:hadoop /home/hadoop/hdfs

之后,使用下面的 nano 编辑器命令打开文件 '$HADOOP_HOME/etc/hadoop/hdfs-site.xml'。

sudo nano $HADOOP_HOME/etc/hadoop/hdfs-site.xml

将以下配置添加到文件中。在本示例中,你将以单节点方式搭建 Hadoop 集群,因此必须将 'dfs.replication' 的值修改为 '1'。同时,你还必须指定将供 DataNode 使用的目录。

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
   <property>
      <name>dfs.name.dir</name>
      <value>file:///home/hadoop/hdfs/namenode</value>
   </property>
   <property>
      <name>dfs.data.dir</name>
      <value>file:///home/hadoop/hdfs/datanode</value>
   </property>
</configuration>

完成后保存文件并退出编辑器。

NameNode 与 DataNode 配置完成后,运行以下命令对 Hadoop 文件系统进行格式化。

hdfs namenode -format

你将看到类似如下的输出:

在 Ubuntu 22.04 系统上安装部署 Apache Hadoop 大数据平台

接下来,通过以下命令启动 NameNode 与 DataNode。NameNode 将运行在你于 'core-site.xml' 文件中配置的服务器 IP 地址上。

start-dfs.sh

你将看到类似如下的输出:

在 Ubuntu 22.04 系统上安装部署 Apache Hadoop 大数据平台

NameNode 与 DataNode 启动后,你将通过 Web 界面来验证这两个进程。

Hadoop NameNode 的 Web 界面运行在 9870 端口。因此,请打开你的 Web 浏览器并访问服务器 IP 地址加 9870 端口(例如:http://192.168.5.100:9870/)。

你现在应当看到类似如下截图的页面——NameNode 当前处于活动状态。

在 Ubuntu 22.04 系统上安装部署 Apache Hadoop 大数据平台

现在点击 'Datanodes'(数据节点)菜单,你应当能看到 Hadoop 集群上当前处于活动状态的 DataNode。下方截图确认了 DataNode 正运行在 Hadoop 集群的 9864 端口上。

在 Ubuntu 22.04 系统上安装部署 Apache Hadoop 大数据平台

点击 DataNode 的 'Http Address'(HTTP 地址),你将打开一个显示 DataNode 详细信息的新页面。下方截图确认了 DataNode 正运行在卷目录 '/home/hadoop/hdfs/datanode' 上。

在 Ubuntu 22.04 系统上安装部署 Apache Hadoop 大数据平台

NameNode 与 DataNode 运行之后,你将在 Yarn Manager(Yet Another ResourceManager 与 NodeManager)上配置并运行 MapReduce。

Yarn Manager

要在伪分布式模式下于 Yarn 上运行 MapReduce,你需要对配置文件做几处修改。

使用下面的 nano 编辑器命令打开文件 '$HADOOP_HOME/etc/hadoop/mapred-site.xml'。

sudo nano $HADOOP_HOME/etc/hadoop/mapred-site.xml

将以下行添加到文件中。请务必将 mapreduce.framework.name 修改为 'yarn'。

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <property>
        <name>mapreduce.application.classpath</name>
        <value>$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/*:$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/lib/*</value>
    </property>
</configuration>

完成后保存文件并退出编辑器。

接下来,使用下面的 nano 编辑器命令打开 Yarn 配置文件 '$HADOOP_HOME/etc/hadoop/yarn-site.xml'。

sudo nano $HADOOP_HOME/etc/hadoop/yarn-site.xml

使用以下设置替换默认配置。

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.env-whitelist</name>
        <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_HOME,PATH,LANG,TZ,HADOOP_MAPRED_HOME</value>
    </property>
</configuration>

完成后保存文件并退出编辑器。

现在运行以下命令启动 Yarn 守护进程。你应当看到 ResourceManager 与 NodeManager 均被启动。

start-yarn.sh

在 Ubuntu 22.04 系统上安装部署 Apache Hadoop 大数据平台

ResourceManager 应当运行在默认的 8088 端口上。回到你的 Web 浏览器,访问服务器 IP 地址加 ResourceManager 端口 '8088'(即:http://192.168.5.100:8088/)。

你应当看到 Hadoop ResourceManager 的 Web 界面。从这里你可以监控 Hadoop 集群内所有正在运行的进程。

在 Ubuntu 22.04 系统上安装部署 Apache Hadoop 大数据平台

点击 Nodes(节点)菜单,你应当能看到 Hadoop 集群上当前正在运行的节点。

在 Ubuntu 22.04 系统上安装部署 Apache Hadoop 大数据平台

至此,Hadoop 集群已以伪分布式模式运行。这意味着每个 Hadoop 进程都在单台 Ubuntu 22.04 服务器节点上以单一进程的方式运行,其中包括 NameNode、DataNode、MapReduce 和 Yarn。

总结

在本指南中,你在一台 Ubuntu 22.04 服务器上安装了 Apache Hadoop。你以启用伪分布式模式的方式安装了 Hadoop,这意味着每个 Hadoop 组件都在系统中作为单个 Java 进程运行。在本指南中,你还学习了如何配置 Java、设置系统环境变量,以及通过 SSH 公私钥配置免密认证。

此类 Hadoop 部署方式(伪分布式模式)仅建议用于测试。如果你需要一个能够处理中等或大规模数据集的分布式系统,可以将 Hadoop 部署为集群模式(Clustered mode),该模式需要更多的计算系统,并为你的应用提供高可用性。