服务器设置和教程 · 3 10 月, 2024

CentOS 6.7 安裝 Hadoop 2.7.3

CentOS 6.7 安裝 Hadoop 2.7.3

Apache Hadoop 是一個開源的分散式計算框架，主要用於處理大數據。它的核心組件包括 Hadoop 分散式檔案系統（HDFS）和 MapReduce。本文將介紹如何在 CentOS 6.7 上安裝 Hadoop 2.7.3，並提供詳細的步驟和注意事項。

前期準備

在開始安裝之前，請確保您的 CentOS 6.7 系統已經更新到最新版本。您可以使用以下命令來更新系統：

sudo yum update

接下來，您需要安裝 Java，因為 Hadoop 是用 Java 編寫的。可以使用以下命令安裝 OpenJDK：

sudo yum install java-1.8.0-openjdk-devel

安裝完成後，您可以使用以下命令檢查 Java 是否安裝成功：

java -version

下載 Hadoop

接下來，您需要下載 Hadoop 2.7.3。可以使用 wget 命令來下載：

wget http://apache.mirrors.pair.com/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gz

下載完成後，解壓縮檔案：

tar -xzvf hadoop-2.7.3.tar.gz

然後，將解壓縮的目錄移動到 /usr/local 目錄下：

sudo mv hadoop-2.7.3 /usr/local/hadoop

配置環境變數

為了方便使用，您需要配置 Hadoop 的環境變數。編輯 ~/.bashrc 文件：

nano ~/.bashrc

在文件末尾添加以下內容：

export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk

保存並退出編輯器，然後執行以下命令使變更生效：

source ~/.bashrc

配置 Hadoop

接下來，您需要配置 Hadoop 的核心配置文件。進入 Hadoop 的配置目錄：

cd /usr/local/hadoop/etc/hadoop

編輯 core-site.xml 文件：

nano core-site.xml

添加以下配置：

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

然後編輯 hdfs-site.xml 文件：

nano hdfs-site.xml

添加以下配置：

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

格式化 HDFS

在啟動 Hadoop 之前，您需要格式化 HDFS。使用以下命令進行格式化：

hdfs namenode -format

啟動 Hadoop

現在，您可以啟動 Hadoop。首先啟動 HDFS：

start-dfs.sh

然後啟動 YARN：

start-yarn.sh

驗證安裝

要驗證 Hadoop 是否安裝成功，您可以訪問 Hadoop 的網頁界面，通常是 http://localhost:50070。如果您能看到 Hadoop 的主頁，則表示安裝成功。

總結

本文介紹了如何在 CentOS 6.7 上安裝 Hadoop 2.7.3 的詳細步驟。從安裝 Java 到配置 Hadoop，這些步驟都是為了確保您能夠順利運行 Hadoop。若您需要穩定的環境來運行 Hadoop，考慮使用 香港VPS 服務，以獲得更好的性能和可靠性。

You may also like...