大一分流，有人工智能，大数据，计算机科学与技术，通信工程，电子信息
发布时间：2022-11-25 11:06:47 所属栏目：大数据 来源：
导读： 随着科技的发展，大家肯定会越来越重视数据的流向，包括数字化中国，都需要数据作为支撑，所以可以考虑大数据方向。
本书从大数据时代的前因后果讲起，全面分析大数据时代的特征、企业实践的案例、大数据
本书从大数据时代的前因后果讲起，全面分析大数据时代的特征、企业实践的案例、大数据
|
随着科技的发展，大家肯定会越来越重视数据的流向，包括数字化中国，都需要数据作为支撑，所以可以考虑大数据方向。 本书从大数据时代的前因后果讲起，全面分析大数据时代的特征、企业实践的案例、大数据的发展方向、未来的机遇和挑战等内容，可以更好地帮你更加全面的了解大数据。 分享一位学习群的小伙伴转型经历给你参考，他毕业之后做过微商、服务员、销售、外卖小哥等，后面去培训机构培训运维大数据专业，最后转的大数据开发。薪资也从最开始的4K，到现在的年薪40W。 一、不堪回首的奋斗往事 2016年6月从湖南某二本文科专业毕业之后在老家做了半年的微商 2017年2月南下深圳，先是做过维也纳酒店的前台服务员，贷款中介公司的电话销售，自如友家的服务管家，后来还去跑过美团外卖，以及在乐凯撒餐厅做过披萨，在这一年多的时间里，平均月收入只有4K。 2018年9月参加某机构线下培训半年。 2019年3月入职深圳某A公司从事运维工作，月薪9.7K。 2020年1月离职在家自学大数据，在此非常感谢@无精疯 峰哥当时的耐心指导和帮忙规划学习路线，三个月后成功转型大数据，入职深圳某B公司从事数据仓库开发工作，月薪17K。 2020年10月离职后入职深圳某C公司从事大数据开发工作，月薪21K 2021年4月经峰哥再次指导，成功入职深圳某世界500强企业，担任高级大数据工程师职位，月薪27K，总包40W。 二、大数据转型时期的学习路线 第一阶段：学完第一阶段就可以开始找数据仓库开发相关的岗位了（市场上40%的岗位可以投了） 1、Java基础： 2、SQL课程：MySQL【重点】 3、Linux基础 4、框架：HDFS、、Yarn【重点】 5、Hive【重点】 6、HBase 7、辅助框架：Flume、Sqoop、 这份资料涵盖了Java基础、集合、JVM多线程、、微服务分布式、计算机基础(网络、操作系统)、数据库、大数据等面试知识点，对于Java或大数据岗来说完全够用，大家可以直接拿着它补缺补漏。 8、大数据项目实战（一）：基于Hive的离线数仓项目【重点中的重点】 第二阶段：学完第二阶段就可以找大数据开发相关的岗位了（市场上75%的岗位都可以投了） 1、Scala基础 2、Spark框架：、【重点】 3、Kafka消息队列 4、大数据项目实战（二）：基于Spark的实时+数仓项目【重点中的重点】 第三阶段：学完第三阶段就可以找所有和数据开发相关的岗位了（市场上90%的岗位都可以投了） 1、Flink【重点】 2、Redis 3、大数据一些其它的辅助框架（Kylin、Druid、、、等） 4、大数据项目实战（三）：基于Flink的实时ETL和数仓项目【重点中的重点】 第四阶段：（进一线互联网大厂必备的技能) 1、计算机基础和数据结构算法 这份笔记里面共包含作者刷算法题后整理的数百道题大数据专业，每道题均附有详细题解过程。很多人表示刷数据结构和算法题效率不高，甚是痛苦。有了这个笔记的总结，对校招和社招的算法刷题帮助之大不言而喻，果断收藏了。 2、Java底层和部分框架源码 三、企业面试真题 这份资料涵盖了Java基础、集合、JVM多线程、、微服务分布式、计算机基础(网络、操作系统)、数据库、大数据等面试知识点，对于Java或大数据岗来说完全够用，大家可以直接拿着它补缺补漏。 1、请详细描述下hive中的优化？ 2、hive在集群过程中怎么解决数据倾斜？ 3、hive导致数据倾斜的可能性(哪些操作会导致)-->分桶 join key 分布不均匀的大量空值导致如何解决？ 4、悲观锁和乐观锁的区别以及CAS乐观锁怎么实现，或者有哪些其他方式？ 5、编程的设计模式举例一下，用过哪些，什么场景下使用的？ 6、你对实时计算这块的理解是怎么样的？ 7、突然断掉了怎么办？怎么保证数据消费至少一次和精确一次？ 8、消费kafka数据怎么手动维护 ？保存到什么数据库？处理的顺序是什么？以及程序刚上线第一次从kafka消费这是怎样的流程？ 9、Spark解决了哪些问题让你很有成就感？ 10、Spark发生了数据倾斜你会怎么做？ 11、的背压机制，除了设置背压参数为true之外还需要做什么？ 12、Spark性能调优？ 13、跑spark作业的时候，给到的个数是10个，每个的核数是2个，请问跑这个作业时并行度设置为多大比较合适？ 14、这么做是为了避免操作，为什么会存在数据倾斜？ 15、为什么会有的存在？操作的意义又是什么？ 16、Java中的的底层数据结构？？ 17、创建一个里面的空间有多大？ 18、让你设计一个容器类，比如，你怎么去实现？ 19、的数据结构是什么？为什么要这么设计？ 20、数组和链表的区别是什么？ 21、你们每天需要同步的数据量有多大？ 22、Druid的工作原理？ 23、每天集群的数据增量有多大？ 24、业务数据量有多大？每日订单量有多少？ 25、各大数据组件在各机器上是怎么分配的？ 26、离线和实时分别是怎么分层设计的？ 27、维表数据的加载和更新？ 28、生产环境中Kafka要增加topic分区的时候怎么操作？ 29、数仓中每层用的数据存储格式分别是什么？ 30、Hive中两个大表进行join的时候有什么优化方法？ 31、JVM的垃圾回收器有哪些？你们用的哪种？ 32、项目架构流程图：手画+讲解 33、Druid和Kylin做一个技术选型你会考虑哪些因素？ 34、现有一个n*m的方格，每个格子里有一个100以内的随机数字，现在需要从方格的最左上角走到最右下角，只能往下和往右走，如何计算出数字之和最大的一条路线？ 35、流处理：用户如果在10s内，同时连续输入同样一句话超过5次，就认为是恶意刷屏，请您写出检测刷屏用户的代码？ 四、总结 在大学毕业之后，我花了足足3年的时间仅仅才实现月薪从4K到9.7K，而后面仅仅花了3个月的时间就实现了月薪从9.7K到17K，以及最近1年的时间已经实现从17K到27K，对此，我最想说的四句话就是： 1、选择大于努力，知识改变命运； 2、找准自己的赛道，然后努力奔跑，做到足够自律，在这个过程中你可能会很痛苦，但是不要轻言放弃； 3、想获得更快速的成功，还得需要高人的指点和贵人的相助； 4、越努力，越幸运！ （编辑：均轻资讯网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
站长推荐