2021-12-30大数据学习日志——Hadoop离线阶段——HDFS

发布时间:2022-10-17 09:00

学习目标

理解分布式文件存储的概念与实现
掌握HDFS分块存储、副本机制等特性
学会shell操作HDFS
掌握HDFS读写流程
理解NameNode元数据管理机制
理解SecondaryNameNode checkpoint机制

内容大纲

#HDFS入门
	HDFS介绍
	如何模拟实现分布式文件存储系统? 具备哪些特性。
		分布式、分块存储、副本机制、元数据管理
	HDFS设计目标和重要特性
#HDFS操作
	shell command
#HDFS原理(重中之重)
	工作机制--读写流程  角色之间如何配合的 每个角色承担了什么职责
	NN DN角色职责概述总结
#HDFS辅助功能
	distcp 跨集群复制数据 
	Archive 归档文件  处理小文件
#HDFS元数据管理机制
	namenode如何管理元数据
	secondarynamenode职责
		checkpoint机制
#HDFS安全模式
#理清两个东西  数据data 元数据metadata
元数据:data about data关于数据的数据  描述性的数据

01_传统文件系统及其面临的挑战

   大数据场景下,传统文件系统如何才能支撑海量数据存储?

02_分布式文件存储系统核心特性与作用

场景互动:如何模拟实现分布式文件系统。

或者说一个成熟的分布式文件系统应该要具备哪些属性、功能呢?

  • 分布式存储
  • 元数据记录
  • 分块存储
  • 副本机制

ItVuer - 免责声明 - 关于我们 - 联系我们

本网站信息来源于互联网,如有侵权请联系:561261067@qq.com

桂ICP备16001015号