发布时间:2023-08-29 11:00
Hadoop大数据从入门到精通—48021人已学习
课程介绍
Hadoop分布式文件系统(HDFS)和MapReduce的工作原理 如何优化Hadoop机群所需要的硬件配置 搭建Hadoop机群所需要考虑的网络因素 如何利用Hadoop配置选项进行系统性能调优 如何利用FairScheduler为多用户提供服务级别保障 Hadoop机群维护和监控 如何使用Flume从动态生成的文件加载数据到Hadoop
课程收益
学员将学习和掌握使用高级脚本语言或类SQL语言来编写MapReduce任务,而无需掌握Java编程语言和熟悉Hadoop API。通过掌握Hive和/或Pig,将极大缩短数据分析人员设计编写和调试常见数据分析问题的周期,提高工作效率;从而为企业节省费用,缩短分析结果市场化的周期。
讲师介绍
任亮更多讲师课程
十年项目经验,曾经任职中国移动架构师,丰富的教学经验让无数人获得高薪
课程大纲
第1章:大数据Hadoop第1章
1.大数据技术领域介绍及学习方法和发展规划 19:34
2.Hadoop的介绍及基本概念 12:23
3.Hadoop的必要性-1 16:56
4.Hadoop的必要性-2 12:58
5.Hadoop集群安装部署-linux服务器环境准备 21:06
6.Hadoop集群安装部署-hadoop安装部署及配置 20:44
7.Hadoop集群启动-手动启动 9:44
8.Hadoop集群启动-自动化脚本启动 9:29
9.Hadoop集群从单节点的伪分布式扩展为多节点分布式 12:39
10.Hdfs的功能体验及shell命令行操作 20:18
11.Hdfs分布式文件系统的基本工作机制及相关概念解析 21:05
12.Hdfs的JAVA客户端基本操作-1 19:50
13.Hdfs的JAVA客户端基本操作-2 13:53
14.Hdfs的JAVA客户端基本操作-3 9:33
15.Hdfs的JAVA客户端基本操作-4 10:32
16.Hdfs的JAVA客户端IO流操作 16:20
17.Hdfs读写数据流程 20:08
18.Hdfs中namenode管理元数据的机制 12:50
第2章:大数据Hadoop第2章
1.Hadoop的RPC框架运行机制 16:13
2.Hadoop的RPC框架应用示例-1 21:47
3.Hadoop的RPC框架应用示例-2 13:37
4.Mapreduce概念介绍 14:05
5.Mapreduce框架运行机制 11:44
6.Mapreduce运行机制的数据流程 11:27
7.wordcount的mapreduce逻辑实现流程 13:03
8.wordcount程序的mapper类实现 21:52
9.wordcount程序的reducer类实现 13:53
10.wordcount程序的job提交客户端实现 13:24
11.wordcount程序打包运行演示 14:30
12.流量汇总需求及mapreduce编程思路 11:58
13.流量汇总mapreduce程序的实现-1-hadoop序列化机制 13:49
14.流量汇总mapreduce程序的实现-2-mapper和reducer 19:26
15.流量汇总mapreduce程序打包执行及网页监控 7:15
16.分区汇总流量程序的思路及实现-1 23:09
17.分区汇总流量程序的思路及实现-2 23:46
18.分区汇总流量程序的执行及分区数与reducetask数的关系 12:11
第3章:大数据Hadoop第3章
1.流量汇总并按流量大小倒序排序的代码实现 24:27
2.流量汇总并按流量大小倒序排序的代码实现 6:59
3.mapreduce程序的本地运行模式及debug 18:57
4.mapreduce框架中的shuffle机制详解 27:35
5.YARN的基本概念--MR程序提交的流程 21:24
6.YARN的工作机制--MR程序运行流程 14:28
7.YARN的工作机制及特性总结 12:55
8.mapreduce程序运行并发度--reduce并发度 6:25
9.mapreduce程序运行并发度--数据切片的思考 16:12
10.mapreduce程序运行并发度--maptask决定机制 29:13
11.mapreduce编程练习之共同好友-需求解析 2:12
12.mapreduce编程练习之共同好友-思路分析 11:06
13.mapreduce编程练习之共同好友--步骤1实现 20:27
14.mapreduce编程练习之共同好友--步骤2实现 18:23
15.mapreduce编程练习之连表查询--需求分析 5:26
16.mapreduce编程练习之连表查询--mapper的实现 22:27
17.mapreduce编程练习之连表查询--reducer的实现 27:25
第4章:大数据Hadoop第4章
1.zookeeper简介 18:12
2.mapreduce编程练习之连表查询--reduce端join的缺点 9:24
3.mapreduce编程练习之连表查询--map端join的思想 8:34
4.mapreduce编程练习之连表查询--map端join的mapper实现 31:14
5.mapreduce编程练习之倒排索引--需求说明 3:53
6.mapreduce编程练习之倒排索引--编程思路 11:17
7.mapreduce编程练习之倒排索引--步骤1的实现 14:17
8.mapreduce编程练习之倒排索引--步骤2的实现 11:19
9.mapreduce编程练习之倒排索引--多job串联执行的实现 24:12
10.zookeeper集群搭建--集群组件介绍 6:55
11.zookeeper集群搭建--配置文件修改 14:51
12.zookeeper集群搭建--集群启动及可靠性测试 13:33
13.zookeeper的功能 21:34
14.zookeeper的命令行客户端使用及功能测试 15:43
15.zookeeper的java客户端初步使用 13:26
第5章:大数据Hadoop第5章
1.zookeeper的java客户端创建znode 14:25
2.zookeeper的java客户端获取及修改znode数据 11:27
3.zookeeper的java客户端删除znode节点 6:57
4.zookeeper的java客户端监听器的使用 19:31
5.zookeeper应用案例——服务器列表动态更新-实现思路 12:28
6.zookeeper应用案例——服务器列表动态更新-服务端实现 19:26
7.zookeeper应用案例——服务器列表动态更新-客户端实现 21:21
8.zookeeper应用案例——服务器列表动态更新-运行测试 6:41
9.zookeeper应用案例——分布式锁-实现思路 7:01
10.zookeeper应用案例——分布式锁-主体逻辑 7:37
11.zookeeper应用案例——分布式锁-主体逻辑2 9:38
12.zookeeper应用案例——分布式锁-代码实现-1 17:22
13.zookeeper应用案例——分布式锁-代码实现-2-运行测试 16:47
14.hadoop-HA机制的实现原理-1 15:17
15.hadoop-HA机制的实现原理-2 15:21
16.hadoop-HA集群部署-服务器环境准备 21:28
17.hadoop-HA集群部署-zookeeper部署及ha配置要点 8:05
18.hadoop-HA集群部署-配置文件修改-1 11:33
19.hadoop-HA集群部署-配置文件修改-2 9:32
20.hadoop-HA集群部署-初始化及启动 12:05
21.hadoop-HA集群的使用和HA特性测试 18:43
第6章:大数据Hadoop第6章
1.hbase数据库简介 13:18
2.hbase集群结构 7:43
3.hbase集群部署与测试 23:58
4.hbase命令行客户端简单使用 5:46
5.hbase表结构与传统数据库表结构的对比 13:43
6.hbase命令行客户端创建表和插入数据及表的排序特性 21:47
7.hbase命令行客户端get查询命令 10:46
8.hbase命令行客户端管理名称空间 6:25
9.hbase客户端api--建表 22:11
10.hbase客户端api-数据插入 17:09
11.hbase客户端api-数据删除 7:27
12.hbase客户端api-数据更新 4:31
13.hbase客户端api--查询数据--Get 8:29
14.hbase客户端api--查询数据--Scan 9:10
15.hbase客户端api--过滤器查询 24:13
16.hbase分布式存储机制简介 11:57
第7章:大数据Hadoop第7章
1.hive的安装和建表语句 9:58
2.hive的设计思想和技术架构 14:37
3.hive如何往表中导入数据 11:03
4.hive中的内部表和外部表的区别 13:34
5.hive的元数据库配置 10:46
6.sqoop的安装配置 7:55
7.sqoop导入数据的最基本用法 7:39
8.sqoop导入数据到hdfs的高级用法 14:17
9.sqoop导入数据到hive及导出数据 16:00
10.storm实时流式计算系统简介 11:44
11.storm实时流式计算系统的工作机制 9:45
12.storm集群的配置和部署 10:50
13.storm集群的部署及动态增加节点 20:58
14.storm编程的基本概念-topo-spout-bolt 12:20
15.storm编程的基本概念-2 14:32
16.storm编程接口--spout的结构 7:58
17.storm编程案例--spout组件实现 10:06
18.storm编程案例--bolt组件A-实现 9:19
19.19.storm编程案例--bolt组件B-实现 9:53
20.storm编程案例--提交topo的客户端 26:00
21.storm编程案例--网站访问来源实时统计--需求 6:17
22.storm编程案例--网站访问来源实时统计--代码实现 24:52
大家可以点击【查看详情】查看我的课程
有技术及面试方面的问题可以加我微信renlliang2013,随时欢迎。