如何从0到1转型到大数据圈子:大数据领域涉及岗位与困难

2020年9月21日21:41:38如何从0到1转型到大数据圈子:大数据领域涉及岗位与困难已关闭评论

如何从0到1转型到大数据圈子:大数据领域涉及岗位与困难

对于一个陌生的领域,最重要的还是正确的方向,如果有人引导你会更好,把有限的时间花在必要的事上,做一件正确的事。

2017年年初,有一位朋友给我来信,他很客气地向我请教了一个令他苦恼很久的问题:

“我是从事 Java 开发的,但是工作经验很少,也并非“科班”出身,可以理解成跨行业。但是一直特别喜欢数据、人工智能等这些新的方向。自己平时也没闲着,看了很多关于Python的书,也很想接触大数据领域,找了非常多的教程,但是对大数据领域还是比较模糊,不知道如何下手,担心费力不讨好。”

类似的问题其他人也问过我,接下来从以下几个方面谈谈看法。

· 大数据领域都会涉及哪些岗位。

· 转型到大数据圈子,或者是大数据挖掘,困难在哪里。

· 我们能做什么。

1.大数据领域都会涉及哪些岗位

不少人认为,从事大数据行业的人,要么在折腾集群的事,要么在折腾数据的事,总之肯定要和数据打交道。这是事实,但是还可以说得更深入一点。对于这个领域,从数据源到数据化运营,涉及的细分岗位特别多。数据从哪里来呢?大多数平台的数据来源及其占比如下。

· 60%来源于关系数据库的同步迁移,偏业务运营数据。

· 30%来源于平台埋点数据的采集,偏用户行为数据。

· 10%来源于第三方数据,或者是跨行业数据。

有数据就需要结合实际业务场景进行数据清洗加工,这时,自然而然地孕育了ETL工程师,即活跃于业务和数据之间的“小蜜蜂”。

但是很多公司已经不再满足于数据的展示了,这时就需要在现有数据的基础上做很多探索性的工作,大数据挖掘工程师和算法工程师主要在做这方面的工作。

所以,从0到1的第一步,是先清楚在大数据领域都有哪些岗位,了解清楚自己感兴趣和真正适合的岗位。

2.大数据挖掘的困难在哪里

大数据挖掘这个领域薪资相对高一些,因为门槛较高。毋庸置疑就两点:基础功底和学习方向。需要具备的基础功底如下。

(1)数学,高数、线性代数、概率论、博弈论和图论、数值计算等这些是你躲也躲不开的必学基础知识。

(2)算法也是不可缺少的,不管是算法导论,还是模型中常用的算法(分类、聚类、预测和综合评估等),都是构建业务场景模型和写出高效模型的关键。

(3)代码工程能力,这可能会难倒不少偏理论和工具型的朋友。它之所以重要,是因为你从事的是大数据挖掘,能动手实践最重要。

(4)英文阅读能力,阅读国外的学习资源,看懂外文的参考文献,除了要有数学基础外,英文阅读能力也非常重要。

可以说,想从事大数据挖掘的朋友,有一个正确的学习方向很重要,有人引导当然最好,但更多时候需要自己实践和总结。

3.我们能做什么

要在基础功底和学习方向上花时间。

你可能花了两年的时间掌握了80%的专业能力,但是需要再花5年的时间甚至是更长的时间才能领悟到剩余20%的精髓。

在学习方向上,有以下几点建议。

(1)不闭门造车:大数据这个领域发展很快,有很多新技术产生,也有很多多以旧技术被淘汰,但都离不开这几个场景:离线、准实时和实时。所以要多关注社区的发展。

(2)找到伙伴一起学习:知识在于分享和讨论,与别人共同学习,会发现很多你曾经忽视的细节,也能用更少的时间获得更多的知识。

(3)试着找到一个引导人:不听老人言,吃亏在眼前。古话说的就是这个道理。当然,引导并不代表单方面的依赖。

希望每一位刚刚转型入门的朋友都能铭记于心,减少不必要的“试错成本”。

  • 版权声明:本篇文章(包括图片)来自网络,由程序自动采集,著作权(版权)归原作者所有,如有侵权联系我们删除,联系方式(QQ:452038415)。