首页/资讯中心/详情

hadoop应用遇到的问题

hadoop应用遇到的问题
📅 发布时间：2026/6/26 11:34:24

image
当遇到如下问题，大致是安装包有问题，需要重新下载安装包，但是直接用命令行下载需要十个小时，这边在widows上下载好在传送到虚拟机
接着按照以下步骤
结合你当前hdfs命令功能受限的问题，以下是彻底修复Hadoop环境的详细操作步骤，确保能正常执行MapReduce词频统计任务：

一、卸载现有异常Hadoop环境

  1. 查找当前hdfs命令位置：
    执行以下命令确认异常hdfs的安装路径：

    which hdfs

    假设输出为/usr/local/bin/hdfs（非标准Hadoop路径）。

  2. 删除异常Hadoop文件：
    若存在非官方Hadoop安装，执行：

    sudo rm -rf /usr/local/bin/hdfs  # 根据实际路径删除
sudo rm -rf /usr/local/hadoop    # 若存在旧安装目录，一并删除

二、安装官方完整Hadoop（以3.3.4版本为例）

1. 安装依赖

sudo apt update
sudo apt install -y openjdk-8-jdk ssh rsync

验证Java安装：

java -version  # 应显示openjdk版本信息

2. 下载并解压Hadoop

# 下载官方包（国内可使用镜像加速）
wget https://archive.apache.org/dist/hadoop/common/hadoop-3.3.4/hadoop-3.3.4.tar.gz# 解压到/usr/local
sudo tar -zxf hadoop-3.3.4.tar.gz -C /usr/local# 重命名为hadoop并授权
sudo mv /usr/local/hadoop-3.3.4 /usr/local/hadoop
sudo chown -R lalala:lalala /usr/local/hadoop  # 替换为你的用户名

3. 配置环境变量

编辑~/.bashrc文件：

nano ~/.bashrc

在末尾添加：

# Java环境
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
# Hadoop环境
export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME

生效配置：

source ~/.bashrc

4. 验证Hadoop安装

执行：

hadoop version

若输出Hadoop 3.3.4版本信息，说明基础安装成功。

三、配置Hadoop伪分布式模式

1. 配置SSH免密登录

# 生成密钥
ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
# 授权本地登录
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 600 ~/.ssh/authorized_keys
# 测试免密登录
ssh localhost  # 应无需密码直接登录，执行exit退出

2. 修改Hadoop配置文件

所有配置文件位于$HADOOP_HOME/etc/hadoop：

  • core-site.xml：

    nano $HADOOP_HOME/etc/hadoop/core-site.xml

    在<configuration>中添加：

    <property><name>fs.defaultFS</name><value>hdfs://localhost:9000</value>
</property>

  • hdfs-site.xml：

    nano $HADOOP_HOME/etc/hadoop/hdfs-site.xml

    添加：

    <property><name>dfs.replication</name><value>1</value>  <!-- 伪分布式单节点，副本数设为1 -->
</property>
<property><name>dfs.namenode.name.dir</name><value>/usr/local/hadoop/hdfs/name</value>
</property>
<property><name>dfs.datanode.data.dir</name><value>/usr/local/hadoop/hdfs/data</value>
</property>

  • mapred-site.xml：

    cp $HADOOP_HOME/etc/hadoop/mapred-site.xml.template $HADOOP_HOME/etc/hadoop/mapred-site.xml
nano $HADOOP_HOME/etc/hadoop/mapred-site.xml

    添加：

    <property><name>mapreduce.framework.name</name><value>yarn</value>  <!-- 使用YARN作为MapReduce框架 -->
</property>

  • yarn-site.xml：

    nano $HADOOP_HOME/etc/hadoop/yarn-site.xml

    添加：

    <property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value>
</property>
<property><name>yarn.resourcemanager.hostname</name><value>localhost</value>
</property>

3. 格式化NameNode（首次安装执行）

hdfs namenode -format

看到SUCCESS提示说明格式化成功。

四、启动Hadoop并验证

  1. 启动HDFS和YARN：

    start-dfs.sh   # 启动HDFS
start-yarn.sh  # 启动YARN

  2. 检查进程：

    jps

    应显示以下进程（缺一不可）：

    • NameNode
    • DataNode
    • SecondaryNameNode
    • ResourceManager
    • NodeManager

  3. 验证HDFS命令功能：

    hdfs version  # 应输出Hadoop版本
hdfs dfs -mkdir -p /user/lalala/input  # 创建输入目录（成功无报错）

  4. 验证Web界面：
    打开浏览器访问：

    • HDFS Web界面：http://localhost:50070（能正常打开）
    • YARN Web界面：http://localhost:8088（能正常打开）

五、上传文件并运行MapReduce任务

  1. 上传本地文件到HDFS：

    # 假设wordfile1.txt和wordfile2.txt在当前目录
hdfs dfs -put wordfile1.txt wordfile2.txt /user/lalala/input/
# 验证上传
hdfs dfs -ls /user/lalala/input/  # 应显示两个文件

  2. 运行词频统计程序：
    使用Hadoop自带的wordcount示例（无需手动编译）：

    hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.4.jar wordcount /user/lalala/input /user/lalala/output

  3. 查看结果：

    hdfs dfs -cat /user/lalala/output/part-r-00000

    应输出正确的词频统计结果。

按以上步骤操作后，你的Hadoop环境将恢复正常，可顺利完成词频统计任务。