大数据开发写sql写烦了,要不要转?

发布时间:2022-10-14 22:30

如果说大数据是每天写sql还不太精准(精准的是用各种方式写SQL)

当你不创造东西时,你只会根据自己的感觉而不是能力去看待问题。会不会转别的,看个人兴趣,大数据方向还有那么多。

瞅瞅方向:如数据分析师、大数据开发工程师、大数据分析师、数据开发工程师、大数据架构师、大数据运维工程师、ELT工程师、数据仓库工程师、大数据BI工程师等。

丰富自己的能力,到处都机会。

现如今,正式为了应对大数据的这几个特点,开源的大数据框架越来越多,越来越强,先列举一些常见的:

文件存储:Hadoop HDFS、Tachyon、KFS
离线计算:Hadoop MapReduce、Spark
流式、实时计算:Storm、Spark Streaming、S4、Heron
K-V、NOSQL数据库:HBase、Redis、MongoDB
资源管理:YARN、Mesos
日志收集:Flume、Scribe、Logstash、Kibana
消息系统:Kafka、StormMQ、ZeroMQ、RabbitMQ
查询分析:Hive、Impala、Pig、Presto、Phoenix、SparkSQL、Drill、Flink、Kylin、Druid
分布式协调服务:Zookeeper
集群管理与监控:Ambari、Ganglia、Nagios、Cloudera Manager
数据挖掘、机器学习:Mahout、Spark MLLib
数据同步:Sqoop
任务调度:Oozie

眼花缭乱的上面就有30多种吧,别说精通了,全部都会使用的,估计也没几个。

就我个人而言,主要经验是在第1个方向(开发/设计/架构)

大数据开发写sql写烦了,要不要转?_第1张图片

入职了大半年后,经常加班,虽然累但学起来很快,不久就把大数据的相关组件,hadoop,hive,oozie ,shell,sparksql,spark ,sqoop,kylin,等等都学到了,还学会了用python处理数据,shell如何做工具脚本,怎样搭大数据平台,大数据仓库,都有所学习到,自己周末也是拼命的学习,因为在北京,你不努力,随时可能被淘汰。耐下心来慢慢学

关于数仓开发

数仓开发其实主要就是基于数仓模型对数据进行分层建模工作,整合加工数据完成OLAP,数仓分为实时数仓离线数仓两种。如果公司只有离线数仓,那么其实主要的工作内容用sql就可以完成了,可以用hive ql 或者是 spark sql 完成,当然也不排除需要应用到spark 算子去完成相关计算的逻辑,而且一些复杂的逻辑需要通过实现自定义函数来完成,这就要求不但要会写sql,而且还能有一定的代码功底。如果公司对数据的实时性要求比较高,那么还会有实时数仓的业务,实时部分当前比较流行的是flink去做,当然也有spark streaming去做的,这就要求对代码有比较深厚的掌握了。因为数据往往不是存在hive中的,而是hbase、clickhouse等这种实时性较强的内存数据库中,不但实时计算框架的各种api需要熟练掌握,对数据库的底层和调用也要掌握,而且实时数据一般来自消息队列如kafka,所以也需要对消息队列比较熟悉。

之前练过一个数仓项目很有收获,做这个项目电脑内存大点,基本现在工作用的都有讲的,是企业级实时数仓和离线数仓构建,值得一收。数仓实战项目,大数据千亿级数仓实战(离线数仓+实时数仓)_哔哩哔哩_bilibili2021重磅推出数仓项目实战,点赞,投币,收藏是对老师最大的鼓励哈。本课程采用由浅入深,层层递进的讲解方式, 让你轻松掌握企业级数仓架构的搭建及使用, 使用该架构可以胜任企业级实时数仓和离线数仓构建。, 视频播放量 34372、弹幕量 86、点赞数 477、投硬币枚数 269、收藏人数 1879、转发人数 90, 视频作者 黑马程序员, 作者简介 进阶学习、课程体验、就业指导,可联系播妞q:2291329369,相关视频:全网首次披露大数据Spark离线数仓工业项目实战,Hive+Spark构建企业级大数据平台,黑马程序员大数据项目实战教程_大数据企业级离线数据仓库,在线教育项目实战(Hive数仓项目完整流程),clickhouse+flink构建实时数仓,【好程序员】最新大数据用户画像项目教程,一套精通大数据用户画像项目实战,【尚硅谷】电商数仓V4.0丨大数据数据仓库项目实战,2019kettle8.2最新教程,大数据多源数据采集实战【企业实战项目免费首发 ,大数据采集,爬虫,ETL、Flume、Kettle】,离线+实时全栈数仓项目,大数据项目:基于Spark2.x新闻网大数据实时分析可视化系统项目,数仓工程师在大数据职位中优势,为啥up主推荐大数据上岸首选数仓,小伙伴围观!https://www.bilibili.com/video/BV1bv411x7vr?spm_id_from=333.999.0.0

下面的也一定收藏起来有一天你一定会回来谢谢我的。

大数据-分布式数据存储

  • TiDB:大数据基础-TiDB数据库从入门到实践
  • Redis:2020年最新大数据redis系统教程
  • HBase:黑马程序员大数据教程HBase海量数据存储实战
  • Kafka:黑马程序员Kafka视频教程,大数据企业级消息队列kafka入门到精通

ItVuer - 免责声明 - 关于我们 - 联系我们

本网站信息来源于互联网,如有侵权请联系:561261067@qq.com

桂ICP备16001015号