大数据开发写sql写烦了，要不要转？

如果说大数据是每天写sql还不太精准（精准的是用各种方式写SQL）

当你不创造东西时，你只会根据自己的感觉而不是能力去看待问题。会不会转别的，看个人兴趣，大数据方向还有那么多。

瞅瞅方向：如数据分析师、大数据开发工程师、大数据分析师、数据开发工程师、大数据架构师、大数据运维工程师、ELT工程师、数据仓库工程师、大数据BI工程师等。

丰富自己的能力，到处都机会。

现如今，正式为了应对大数据的这几个特点，开源的大数据框架越来越多，越来越强，先列举一些常见的：

文件存储：Hadoop HDFS、Tachyon、KFS
离线计算：Hadoop MapReduce、Spark
流式、实时计算：Storm、Spark Streaming、S4、Heron
K-V、NOSQL数据库：HBase、Redis、MongoDB
资源管理：YARN、Mesos
日志收集：Flume、Scribe、Logstash、Kibana
消息系统：Kafka、StormMQ、ZeroMQ、RabbitMQ
查询分析：Hive、Impala、Pig、Presto、Phoenix、SparkSQL、Drill、Flink、Kylin、Druid
分布式协调服务：Zookeeper
集群管理与监控：Ambari、Ganglia、Nagios、Cloudera Manager
数据挖掘、机器学习：Mahout、Spark MLLib
数据同步：Sqoop
任务调度：Oozie

眼花缭乱的上面就有30多种吧，别说精通了，全部都会使用的，估计也没几个。

就我个人而言，主要经验是在第1个方向（开发/设计/架构）

入职了大半年后，经常加班，虽然累但学起来很快，不久就把大数据的相关组件，hadoop,hive,oozie ,shell,sparksql,spark ,sqoop,kylin,等等都学到了，还学会了用python处理数据，shell如何做工具脚本，怎样搭大数据平台，大数据仓库，都有所学习到，自己周末也是拼命的学习，因为在北京，你不努力，随时可能被淘汰。耐下心来慢慢学

关于数仓开发

数仓开发其实主要就是基于数仓模型对数据进行分层建模工作，整合加工数据完成OLAP，数仓分为实时数仓和离线数仓两种。如果公司只有离线数仓，那么其实主要的工作内容用sql就可以完成了，可以用hive ql 或者是 spark sql 完成，当然也不排除需要应用到spark 算子去完成相关计算的逻辑，而且一些复杂的逻辑需要通过实现自定义函数来完成，这就要求不但要会写sql，而且还能有一定的代码功底。如果公司对数据的实时性要求比较高，那么还会有实时数仓的业务，实时部分当前比较流行的是flink去做，当然也有spark streaming去做的，这就要求对代码有比较深厚的掌握了。因为数据往往不是存在hive中的，而是hbase、clickhouse等这种实时性较强的内存数据库中，不但实时计算框架的各种api需要熟练掌握，对数据库的底层和调用也要掌握，而且实时数据一般来自消息队列如kafka，所以也需要对消息队列比较熟悉。

之前练过一个数仓项目很有收获，做这个项目电脑内存大点，基本现在工作用的都有讲的，是企业级实时数仓和离线数仓构建，值得一收。数仓实战项目，大数据千亿级数仓实战（离线数仓+实时数仓）_哔哩哔哩_bilibili2021重磅推出数仓项目实战，点赞，投币，收藏是对老师最大的鼓励哈。本课程采用由浅入深,层层递进的讲解方式, 让你轻松掌握企业级数仓架构的搭建及使用, 使用该架构可以胜任企业级实时数仓和离线数仓构建。, 视频播放量 34372、弹幕量 86、点赞数 477、投硬币枚数 269、收藏人数 1879、转发人数 90, 视频作者 黑马程序员, 作者简介 进阶学习、课程体验、就业指导，可联系播妞q：2291329369，相关视频：全网首次披露大数据Spark离线数仓工业项目实战，Hive+Spark构建企业级大数据平台，黑马程序员大数据项目实战教程_大数据企业级离线数据仓库，在线教育项目实战（Hive数仓项目完整流程），clickhouse+flink构建实时数仓，【好程序员】最新大数据用户画像项目教程，一套精通大数据用户画像项目实战，【尚硅谷】电商数仓V4.0丨大数据数据仓库项目实战，2019kettle8.2最新教程，大数据多源数据采集实战【企业实战项目免费首发 ，大数据采集，爬虫，ETL、Flume、Kettle】，离线+实时全栈数仓项目，大数据项目：基于Spark2.x新闻网大数据实时分析可视化系统项目，数仓工程师在大数据职位中优势，为啥up主推荐大数据上岸首选数仓，小伙伴围观！https://www.bilibili.com/video/BV1bv411x7vr?spm_id_from=333.999.0.0

下面的也一定收藏起来有一天你一定会回来谢谢我的。

大数据-分布式数据存储

• TiDB：大数据基础-TiDB数据库从入门到实践
• Redis：2020年最新大数据redis系统教程
• HBase：黑马程序员大数据教程HBase海量数据存储实战
• Kafka：黑马程序员Kafka视频教程，大数据企业级消息队列kafka入门到精通