DS到底学什么第四章

四、未来的就业前景以及职业规划是怎样的

Google前段时间招聘quantitative analyst跟marketing部门合作，这个部门据说有40多个PhD，来自各个专业，设计各种模型和实验来帮助google盈利；最让人惊奇的是，Google每年收200万份简历，HR筛选不过来，干脆也招个做machine learning的高手，要用机器学习来处理世界各地提交的简历；微软Online Service Division有跟marketing更接近的Data Scientist，也有很多学统计或者IE出身的Applie Scientist做ranomize controlle experiment；而LinkeIn、Facebook的ata scientist感觉要求Java编程技术熟练，可能学Computer Science出身的最适合；Amazon强大的recommenation system，你浏览了啥产品，amazon立刻customize你的页面，全是极其相关的东西推荐给你买。

另外，一般只有大公司，才会对工作划分比较细致，有可能有人专门编程、有人专门做分析；而公司规模越小，对ata scientist的编程技术要求更越高，因为你要做everything。

Insurance行业招的是Preictive Moeler，他们的总体目标就是要基于数据，预测在不同客户身上收多少保险费能最大化收益、optimize profits，所有相关专业的它们都考虑，比如波士顿的liberty mutual这家大公司，preictive analytics team里，OR、Stat、Math、Economics、Machine Learning等各种背景的人都有，论资历、学历，从比较新的博士到有经验的硕士都有。

同时，传统行业也在加强analytics（他们一般不叫ata science），比如做Texas一家工业废油处理公司的analytics team，目前只是用很基本的统计分析对市场做合理的segmentation，就让公司在某个地区的利润增长超过20%；俄亥俄生产化肥的公司、常春藤大学里校友办公室负责募捐的、美国全国各地的超市等，都在过去的两年里尤其是2012年，拼命的组建或者扩充自己的analytics team，分析数据，用数据来支持决策。这类工作，一般更接近Business Intelligence（BI）和Marketing。

因此，三类行业：Information Technology、Insurance、Marketing/BI，是目前招聘ata scientist的主力。金融行业尽管也有公司在招聘会machine learning的人，但是整体上机会不多。

Data是一切分析的基础，于是所有公司里也都有一些人，集中做最基本的数据收集和整理，主要用SQL，尽管也可能写一些简单的程序、做一些粗浅的分析，但是整体上工作比较枯燥无聊，也可以说是“底层人群“；用Machine Learning或者统计建模的则属于高级人群；同时，分析数据要用到各种软件工具，可能需要高级的软件系统来支持experiments，自然也就需要软件工程师来支持。分析结果最终要用来帮助公司盈利，所以公司的管理层和直接带来盈利的部门（sales、marketing、business evelopment）也会参与，最终的决定权（ecision making），还是在这些人手里。

从2011年下半年开始，LinkeIn上Data Scientist相关工作在迅速增长，2012年更是增幅显著，好多公司都在扩充或者创建自己的ata science or analytics team。也有越来越多的人在自己的LinkeIn profile头衔里添加big ata、ata scientist、ata analyst之类的字眼，希望被猎头或者公司直接搜索到。

大凡专业或者工作跟ata沾边的，很多人都卯足劲往这条船上跳。我的观点很直接：如果你玩的了统计、懂的了数学、建的了模型、写的了程序，就能找到ata scientist工作。请注意，我说的是“写的了程序”，我没说“你写程序必须得很牛才行”。无论你是啥都懂一点，还是学有专长，都可以。如果你背景合格却在挣扎着找不到工作，那你自身有问题，需要改进。

传统行业（非IT）各个公司无论主动还是被迫，都要建设analytics team，最终是个zero-sum game，这个就像GRE/TOEFL考试一样，大家都长期做真题备考，分数都提高了，最后大家谁都占不着便宜。

说到ata science就要提到big ata。很多公司其实做的事情跟big ata无关。对于Internet公司来说，来自世界各地的每一下点击、每一次访问，都被Google和各类社交网站记录下，数据规模肯定远大于其他行业；genome ata会很大；超市的顾客购物数据、信用卡刷卡记录、任何场合的实时监控录像，也会产生big ata，但是LV、爱马仕这种奢侈品公司或者小型的医疗器械公司的数据，规模肯定要小多了。big ata带来的三大挑战：volume、velocity、variety，得靠被big ata困扰的公司，而且目前一些问题已经有了解决方案，比如Haoop MapReuce。另外，学术界，以计算机、统计、电子工程系的教授们为主，也在研究传统的技术如何应用在big ata context里，后面一段时间内，会从不同的层次、不同的角度，提出更多的创新。有新问题要解决，也就意味着工作机会，比如读了博士想做faculty的，做big ata这类新兴方向，机会更多。

目前很多公司用到的统计方法，并不高深，比如a/b testing算是很基本的方法了，学统计的都应该会，目前在被广泛应用来做controlle experiment，而meia mixe moeling已经是IT公司里用的较为复杂的统计moel了。在早期阶段，使用基本的统计模型就可以带来很大的回报；随着竞争的激烈，各个公司必须雇用优秀的ata scientist来保持竞争力。公司ata收集好了，海量数据能用来干嘛，看数据科学家们的能力了。

以往，美国很多公司的CEO是商学院、MBA出身的，随着金融危机和IT创新浪潮的兴起，很多CEO是纯粹engineer做起来的，属于技术流派，公司并不是从外面随便拉个西装革履、满口企业管理的人来做领头羊。这个现象，有个戏称叫：Revenge of the ners。随着更多的商务决策要建立在ata analytics的基础上，今后会有一些能力很强的ata scientist，借着风头，从技术人员成长为business leaers。而且加盟传统行业、做统计分析，会更容易出头，牛点的ata scientist/analysts在技术成分低的行业，很有潜力挂上 Director of Marketing Operations & Research、VP of Global Analytics an Insights等众多码农这辈子无法企及的头衔。而在人才储备丰富的IT行业，如果工作内容也侧重底层编程实现，反而不容易出头。

总的来说，作为一个有广阔前景、代表着未来方向的职业，ata scientist今后发展空间很大，同时这类工作又需要多个专业的技能，最近几年开始做ata scientist的，大体都算是有first mover avantage，前景很好。