当前位置: 首页 > news >正文

【赵渝强老师】HDFS数据上传和下载的过程

1

在Hadoop的HDFS中客户端的操作请求,无论是上传数据或者下载数据都是由NameNode负责接收和处理。最终将数据按照数据块的形式保存到数据节点DataNode上。下图说明了HDFS数据上传的过程。

2

image.png
点击这里查看视频讲解:【赵渝强老师】HDFS数据上传的过程

假设需要上传200M大小的一个文件。按照数据块128M的大小为单位进行切块,该文件就会被切分成两个数据块。客户端发出上传命令后,由DistributedFileSystem对象创建一个DFSClient对象,该对象负责与NameNode建立RPC通信,并请求NameNode生成文件的元信息。当NameNode接收到请求后,会生成对应的元信息,如图中的第4步所示。元信息包含了以下的内容:数据块的个数、存储的位置,以及冗余的位置。例如:数据块1将保存到了DataNode1上,同时,对应的两份冗余存储在DataNode2和DataNode3上。NameNode会将生成的元信息返回给DistributedFileSystem对象,并由其创建输出流对象FSDataOutputStream。然后根据生成的元信息上传数据块。例如图中的第7步所示,客户端会将数据块1上传到了DataNode1上,并通过水平复制将其复制到其他的冗余节点上,最终保证数据块冗余度的要求。通过这样的方式,直到所有的数据块上传成功。

了解到了HDFS数据上传的过程,下图说明了HDFS数据下载的过程。

3

image.png
点击这里查看视频讲解:【赵渝强老师】HDFS数据下载的过程

http://www.rkmt.cn/news/108878.html

相关文章:

  • 如何在大数据领域开展高效的数据挖掘工作
  • 2026毕设ssm+vue基于健身房管理系统论文+程序
  • 3个Vim效率插件对比:让你的编辑速度翻倍
  • 2025年武汉办公家具厂家综合实力排行榜:企业采购决策白皮书 - 速递信息
  • 基于SpringBoot的农商对接系统的设计与实现毕业论文+PPT(附源代码+演示视频)
  • 7个关键指标:为什么Noria能实现5倍性能飞跃?
  • Godot引擎光照贴图技术深度解析:从性能瓶颈到视觉优化
  • 企业AI如何开发:告别“黑盒”试错,拥抱智能体工程化
  • 终极指南:快速上手FLAN-T5 XL大语言模型
  • 大模型推理性能瓶颈诊断与Accelerate优化实战
  • 10、计算机安全:数据与黑客工具解析
  • U型底,k型底
  • Actix Web终极实战指南:从零构建高性能Rust微服务
  • 12、表格设计与格式调整全攻略
  • 解放双手:用PurestAdmin轻松搞定RBAC权限管理
  • 新手必看!10分钟给个人博客装雷池WAF,零代码搞定防护
  • ThingsBoard Vue3前端解决方案完整部署与开发指南
  • uPlot图表库实战指南:轻量级高性能数据可视化的终极解决方案
  • AI + 区块链:去中心化智能的未来形态
  • 雾计算架构:边缘-云端协同的分布式 AI 推理
  • WordPress企业管理系统完全指南
  • 2025年知名的不锈钢卷簧厂家信誉综合榜(权威) - 品牌宣传支持者
  • C. Dora and C++
  • 性能边界:何时用 Go 何时用 Java 的技术选型指南
  • 中医药AI开源项目实战:从零搭建智能中医助手
  • 强化学习:Agent AI 动态决策模型训练
  • 2025年比较好的不锈钢恒力发条/发条弹簧实力厂商TOP榜(专业) - 行业平台推荐
  • 如何快速掌握Google Cloud AI核心功能?语音识别与图像分析的终极指南
  • UTP测试系统为智能水电表打造全方位、高可靠的验证解决方案
  • 3大核心优势深度解析:Actix Web如何重塑分布式系统架构