CentOS 7.4 下 Hadoop 3.0 單機安裝教程

Apache Hadoop 是一個開源的分布式計算框架，廣泛應用於大數據處理。本文將介紹如何在 CentOS 7.4 上進行 Hadoop 3.0 的單機安裝，幫助用戶快速上手大數據技術。

前期準備

在開始安裝之前，請確保您的系統已經安裝了 Java。Hadoop 需要 Java 環境來運行，建議使用 JDK 1.8 版本。您可以通過以下命令檢查 Java 是否已安裝：

java -version

如果未安裝 Java，您可以使用以下命令進行安裝：

sudo yum install java-1.8.0-openjdk-devel

下載 Hadoop

接下來，您需要下載 Hadoop 3.0 的安裝包。可以從 Apache 的官方網站下載最新版本：

wget https://downloads.apache.org/hadoop/common/hadoop-3.0.0/hadoop-3.0.0.tar.gz

下載完成後，解壓縮安裝包：

tar -xzvf hadoop-3.0.0.tar.gz

然後將解壓縮的文件夾移動到 /usr/local 目錄下：

sudo mv hadoop-3.0.0 /usr/local/hadoop

配置環境變量

為了方便使用 Hadoop，您需要配置環境變量。編輯 ~/.bashrc 文件：

nano ~/.bashrc

在文件末尾添加以下內容：

export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk

保存並退出編輯器，然後執行以下命令使變更生效：

source ~/.bashrc

配置 Hadoop

接下來，您需要配置 Hadoop 的核心配置文件。編輯 core-site.xml 文件：

nano $HADOOP_HOME/etc/hadoop/core-site.xml

在文件中添加以下配置：

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

然後編輯 hdfs-site.xml 文件：

nano $HADOOP_HOME/etc/hadoop/hdfs-site.xml

添加以下配置：

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

格式化 HDFS

在啟動 Hadoop 之前，您需要格式化 HDFS。執行以下命令：

hdfs namenode -format

啟動 Hadoop

現在可以啟動 Hadoop 了。首先啟動 HDFS：

start-dfs.sh

然後啟動 YARN：

start-yarn.sh

驗證安裝

您可以通過訪問 Hadoop 的 Web 界面來驗證安裝是否成功。打開瀏覽器，輸入以下地址：

http://localhost:9870

如果您能看到 Hadoop 的主頁，則表示安裝成功。

總結

本文介紹了如何在 CentOS 7.4 上進行 Hadoop 3.0 的單機安裝。通過這些步驟，您可以快速搭建一個大數據處理環境，為後續的數據分析和處理打下基礎。如果您需要更高效的運行環境，可以考慮使用 香港VPS 服務，這將為您的大數據項目提供穩定的支持。