一份关于人工智能、机器学习和大数据的报告

Analytics Vihya

2018是特殊的一年.我们看到来自实验室的人工智能和机器学习成为了我们日常生活的一部分。无论是亚马逊开设的无人便利店"Amazon Go"还是Google在Gmail上推出的智能回复，人工智能都已经成为了我们身边的常客。

创建这份报告的目的是为我们的数据科学社区提供宏观层面发生变化的背景，以及他们如何为即将到来的变化做好充分的准备。所以，如果您已经是数据科学专业人员或者您想进入数据科学，我们希望这份报告可以为您提供背景信息并为您未来的学习做好准备。

Analytics Vihya和Great learning 目前都处于创建印度下一代数据科学生态系统的最前沿，我们真的希望这份报告可以帮助您一睹未来的发展方向。

为了你最好的未来，请不断的学习

Kunal jain

创始人兼首席执行官

greatlearning

人工智能和机器学习的时代已经到来了，这些领域都有可能对印度的行业产生重大的影响。使智能系统成为可能的技术,数据和人才的组合达到临界值，推动人工智能的投资增长。在印度努力重振生产力增长的同时，AI人工智能和机器学习有望填补这一空白。事实上，金融、国防、网络安全、医疗保健和环境保护等行业都已经采用了人工智能，并且取得了进展。但真正让公司有优势的是找到适合解决内部问题的AI方案。如何找到这个方案？创新才是关键。为了实现这一目标，我们需要时间创建一个生态系统来培训AI专业人员，我们正在寻找培养在AI领域的人工智能专业人员。这份报告不是我们的努力，而是与Analytics Vihya一起努力也是为了让人们在这个快速发展的领域抓住机遇。

这是一个使AI人工智能实现飞跃的时代

Mohan Lakhamraju

创始人兼首席执行官

以数据为中心的转换和变更

"正如电力在100年前几乎改变了一切,今天的我很难找到一个理由不认为人工智能将在未来的几年内改变行业"-Anrew NG(吴恩达)

我们在生活的方方面面都感受到了数据科学和人工智能的影响。Amazon 是如何知道你对哪种产品最感兴趣?或者你的手机是如何明白是"你"需要看手机解锁呢？当我们需要送朋友礼物的时候，我们会纠结于我们的朋友中会喜欢什么样的礼物，这个时候,Google不仅会建议各种礼物，还会在眨眼之间展示这些产品的广告。即使是您所访问的超市，也可以确保在结账柜台引起您的注意。您的银行能够实时的区分潜在的欺诈和真实的交易，不仅如此，他们还可以决定哪些客户值得信任,以及信用卡的额度是多少。不仅仅是这些，人工智能的可能性和影响性在我们的生活中是无限的。

在接下来的十年左右的时间中，我们将看到每个行业都会发生巨大的变化。医疗，银行，网络安全只是这其中的一小部分。所以如何捕获数据并利用它将会是在未来的日子里面定义这些行业新格局的关键。

数据将会是这一切的核心

当你读到这篇文章的时候正在发生转变 - 数据将会是这一切的核心

这就是为什么现在几乎任何职业都需要不断的提高自己的技能并且学习这场游戏的新规则。我们现在需要的管理人员不仅仅要了解业务的领域,还要了解我们正在获得的数据，以及如何去利用这些数据为公司创造竞争的优势。

数据科学和今天的颠覆

我们现在获取、存储和分析数据的能力已经彻底改变了当今行业的运作方式。当人们从床上醒来的那一刻，智能手机上的应用程序已经开始尽可能多地捕获数据，并利用这些数据为他们带来好处。这清晰的描绘了当今行业正在努力的利用人的行为模式。这份报告的目的就是帮助人们了解数据是如何几乎破坏了所有行业的运作方式。

在我们在进一步讨论之前，我们先来看一个简单的统计数据——在Gartner公司的一项调查中显示，在印度有超过100万家注册公司，并且这些公司中有75%的公司已经投资或者计划投资大数据领域。 

大公司,大投资,大数据

让我们先来看一些有趣的数据——

在今天的数字世界中存在着2.7兆字节的数据 在Facebook中单独存储,访问和分析30+PB用户生成的数据 超过50亿人在全球范围内通过手机拨打电话,发短信,发推文和浏览网页 几年前,解码人类的基因最初需要10年才能完成.现在由于有处理大量解码信息的能力,所以在一周之内就可以完成解码人类的基因. 沃尔玛需要处理每小时100个客户的交易,这些交易被导入到估计超过2.5PB数据的数据库中. 糟糕的数据会使企业损失20%-35%的营业收入

这些简单的陈数强调了我们今天通过生成、获取、存储和分析数据所拥有的强大功能。但是现在的问题是，我们是否拥有处理好数据和利用数据的能力?鉴于这些大量的数据,我们需要具有不同技能的人来安排,存储和分析数据. 

数据科学中的角色

数据科学家

在印度,数据科学家肯定是现在最受欢迎的职位之一，数据科学家起薪为7.7万卢比，也是数据科学行业的最高收入者之一。数据科学家能够使用最新技术和技术处理原始数据，通过清理和组织（大）数据执行必要的分析，并以信息的方式向团队提供所获得的数据.

语言/工具:R,SAS,SPSS,Matlab,Stata,Python,Perl,SQL,Hive,Pig,Spark

雇佣单位:领英,强生,百事

数据库管理员

数据库管理员需要确保组织中的每个需要数据的人都可以访问数据库。此外，还需要确保采取必要的安全措施，以确保存储的数据安全。要成为数据库管理员，需要掌握从SQL和XML到更通用的编程语言（如java）的不同技术。

语言/工具:SQL,Java,Ruby on Rails,XML,C#,Python

雇佣单位:Reit,twitter,Tableau

业务分析师

这可能是数据科学领域中技术含量最低的.但是，业务分析师通过对各种业务流程的深刻理解来弥补技术知识的缺乏。因此，业务分析师经常扮演业务人员和技术人员之间的中介角色.

语言/工具:SQL

雇佣单位:Uber,Dell,oracle

数据和分析经理

数据和分析经理负责指导数据科学团队的方向。这个职位巩固了各种各样的基础（如SQL，R，SAS）的强大和特定技能，以及处理小组所需的社交能力

语言/工具:SQL,R,SAS,Python,Matlab,Java

雇佣单位:Coursera,Slack,Motorola Solutions

数据科学的工作在哪里

统计数据显示，印度目前有超过50,000个与数据分析相关的职位空缺。这清楚地表明，我们并没有真正掌握这些可用机会的合适技能。目前与世界相比,印度提供了12%的就业机会,,然而，由于世界上缺乏这类技能的人和潜在的需求，此类工作的人才需求数量可能会呈指数级增长。

如果我们看一下数据科学家职位的招聘数量，就业岗位以及求职者的兴趣,就会发现这类的数量在2017年创下历史新高.然而,求职者的数量几乎是招聘职位数量的一半.这清楚地表明了该行业是多么的需要数据科学家。

数据科学并没有局限于任何特定的行业。它的应用跨越多个领域。银行和金融服务是分析和数据科学专业人士的最大市场。2017年，该领域创造了44%的就业岗位。银行业广泛使用数据科学与分析领域来估计和预测市场风险。数据科学广泛应用于欺诈检测和信用风险预测。电子商务也成为分析专业人士的一个巨大市场。电子商务网站推荐引擎的广泛使用为这一领域提供了大量的机会。2017年，电子商务行业创造了12%的分析职位。医疗保健行业也一直在使用数据科学来预测疾病的风险、它们的模式、癌症风险等。媒体等其他行业正在使用数据科学来理解和设计媒体策略，以获得最佳效果。 

提高技能-前进的方向

有了这么多的机会，我们现在应该利用我们的技能来充分利用它们。要在任何特定领域取得优异成绩，我们需要掌握正确的基础知识,即使在今天，仍然可以观察到用于SQL的inee(作业门户)上作业的数量最多。Python和Java紧随其后，但是随着深度学习库的的更大支持，Python越来越受欢迎.Haoop拥有大数据功能,可以处理数百GB的数据。其次是R，这是一个广泛使用的统计和机器学习工具，其次是C。随着Python和R市场的巨大需求，SAS中的工作岗位数量最近出现了下降。 

虽然这些工具是当前业界最流行的需求工具，但是还需要了解业界中各种数据驱动角色。尽管各种复杂工具的应用使数据科学家的工作比没有它们时容易得多，但有些技能只有实践经验才能传授。其中之一就是领域知识。对于拥有领域知识的数据科学家或分析师来说，需要深入研究并理解领域的整个功能。成为一名优秀的数据科学家的另一个重要方面是拥有一种分析方法，学习新的工具是一回事，但是需要有正确的方法来对应最合适的结果.

每个人可以挑选认为适合自己的角色，然后努力获得必要的技能,这个网格是有助于理解特定角色的最重要技能的一个集合. 

分析和数据科学产业-及其未来的领域

我们都看到并经历了数据科学在电子商务和银行等领域的渗透。但是数据的力量并不仅限于这些领域。在当今世界，几乎所有的行业都在努力利用数据的力量，我们估计到2020年，在以下每个领域中，将有多少人从事分析和数据科学工作:

网络安全——你可能以前听说过——公司必须保护自己免受各种攻击。但是攻击者只需要一次成功的尝试。有了这些可能性，你不能只是试图阻止攻击发生。分析公司一直在撰写报告，并就“大数据分析对各行业网络安全的影响”向“客户”提供咨询。目前，25％的全球最大公司已采用大数据分析技术，以实现至少一种欺诈检测用例的安全性。

到2020年，印度此类的分析工作岗位估计将达到5000个

医疗保健——在不同的医疗机构(支付方、提供者、制药公司)中，已经有大量的异构医疗数据可用。这些数据集的庞大和复杂给临床环境的分析和后续应用带来了巨大的挑战。

到2020年，印度此类分析工作岗位估计为15000个

基因组学——基因组学是研究生物体完整的遗传物质(基因组)。该领域包括测序映射和分析广泛的RNA和DNA代码。大数据帮助解开了这些基因组序列的基本原理。分析现在被用来检测异常和识别疾病。

到2020年,印度此类分析工作岗位估计将达到2000个

太空探索——大数据已经取得了巨大而有影响力的进展。虽然大数据分析已经被用于研究暗物质，但通过数据发现技术，统计学家和天体物理学家正在应用先进技术来解开宇宙之谜.

到2020年,印度此类分析工作岗位估计将达到350个

农业-农业不再是一个非技术性工作。分析被广泛应用于农业，特别是精确农业，在那里植物和种子被特别选择用于杂交育种。它还被用来了解土壤成分，加速作物改良。在农业领域发生的大量技术和数据采集使计算机科学成为其中的一个重要部分

到2020年,印度此类分析工作岗位将达到5500个

航空——你知道航空公司使用分析已经很长时间了吗?长期以来，航空公司一直在对客户进行细分。他们观察模式、行为、偏好、支付能力和意愿等，以提供更好的客户体验，并获得最大的收益。

到2020年,印度此类分析工作岗位将达到4500个

无人驾驶交通——无人驾驶汽车成为人工智能和机器学习最流行的应用。无人驾驶汽车可以进行多次驾驶，并学会根据交通状况自动理解和行动。自动驾驶汽车已经成为机器学习、深度学习、物联网和人工智能融合的先锋产品。

到2020年,印度此类分析的工作岗位将达到7000个. 

使用数据能力的热门技能

数据科学目前的发展已经超越了统计学，甚至机器学习。这个行业需要有技能的人来设计和开发机器人和智能机器，这是现在非常高的需求。

人工智能

这就是目前世界正在走向的潮流——拥有一台与人类大脑和智力水平相当或超过人类的机器。正是因为这个原因，人工智能技术受到了人们的高度追捧。

机器人

机器人目前正在崛起,它们以远远高于人类的速度执行特殊的重复功能,网络爬虫，互联网机器人，聊天机器人等,目前的需求量很大,所以根据这个形式不言而喻,能够设计这些机器人的人更受欢迎。

物联网

据预测，到2020年联网设备将达到500亿部，到2021年市场价值将达到6610亿美元，物联网是目前最热门的技术。物联网与大数据和分析相结合，将为组织和专业人士创造巨大的机会

AR/VR

虚拟现实可以定义为计算机生成的对真实生活环境的模拟。一个例子是3D商店货架，它可以适应为每个顾客提供更多相关的商品。增强现实可以定义为一种技术，它将计算机生成的增强层置于现有的现实之上，并通过交互性使其更有意义。 

muit kulshreshta博士

古尔冈大湖管理学院卓越分析中心副主任

由于各行各业都出现了如此多的混乱，应对这种局面的压力可能是压倒性的。考虑到这一点，我们请到了muit kulshreshta博士.

让我们看看他有什么要说的……

这些年来，技术领域发生了怎样的变化?您如何看待数据科学在当今世界日益重要的地位?

企业级存储和计算能力对个人来说越来越容易获得和负担得起。在接下来的十年里。大多数企业将通过SAAS、PAAS、DAAS等,将存储、应用和数据平台转移到云计算，物联网不再是战略选择，而是势在必行。它已经处于大数据和海量数据出现的拐点。我们已经看到千兆字节的数据以空前的规模和速度通过数字渠道实时流动。从图片到点击流再到视频，如今一切都是数据。开源革命包括公众参与共同创造IT产品、机器学习、人工智能、机器人和机器人。我们目前正在经历一场技术革命，尤其是数据的获取和使用方式.

目前在机器学习和人工智能领域中，哪些领域从正在进行的工作中获益最多?

从资本货物到零售，从制造到服务，从金融银行到医疗保健的每个领域都将受益并建立基于ML和AI的差异化商业模式。营销、零售、金融科技和医疗保健等领域已经采用了这种模式，并正在取得进展。

未来5年，哪些工业领域将从这些技术中受益最多?

为了生存和差异化，所有工业领域无一例外地将采用和拥抱这场数字革命。此外，一些新的领域也将被创造出来——从自动驾驶汽车到工业规模的3D打印、增强现实、虚拟娱乐、机器人、基因组研究、大气科学等.

人们在这个阶段应该扮演什么样的角色，这样他们才能在未来的5-10年里做好准备?

坦白地说，这是一场无人幸免的洪水——人们需要参与其中并与之共舞——他们能做的最好的事情就是开始学习技术和计算技能——大数据、ML、Al、云、技术产品管理等等。

从行业对这一领域的高需求来看，专业人士是否有足够的技能来满足这一需求?教育系统需要更新吗?

并非如此——不仅仅是从技能的角度来看——整个世界都毫无准备——就好像整个世界都走在了教育体系的前面——传统的教育机构现在正对其需求做出回应，但这些努力充其量也只是零散的。由数字平台和在线教育推动的点对点学习，填补了传统学校本应填补的空白.

专业人士目前应该关注哪些最重要的技能?

云、大数据分析、机器学习、Al、深度学习——产品管理也将变得至关重要。

另一个大问题是机器人的自动化。有些人担心将来可能会有更少的工作。你认为这是真的吗?

传统领域的工作岗位将减少，而上述领域的工作岗位将增加——随着自动化成为一个自我维持的过程，人们将不得不进行变革，并走上持续学习的道路。一线希望在于，以数字、数据和人工智能为核心的新产业将会出现。这些行业将创造新的就业机会和新的机会

有关于终结者中AI的讨论 - 你对AI作为宏观层面来讲对人类物种的影响有什么看法？

尽管人工智能带来了重大机遇，但世界还没有准备好迎接人工智能带来的风险.技术可能有有一个糟糕的主人,可能会被滥用(甚至是无意中的),滥用的规模可能是全球性的，影响到数百万人的生活,在这个潜在的人工智能驱动的世界里,我们离全面了解道德后果还很远.我们将需要大量的经济，法律和社会法规，来对涉及隐私，未经请求的信息使用和网络欺诈的预防.这些机器人变得自我意识的后果，无论它看起来多么牵强，都是一种可能性。并且已经出现了这种威胁的例子.

未来的路

正如Muit博士所说，传统领域的工作岗位可能会减少，因为我们将能够实现重复性工作的自动化。然而，到2020年，非传统领域的机会将大幅增加。我们正在迈向一个机器可以帮助人类智能的世界，帮助他们在不同领域提高能力。我们进入了一个ACs可以理解我们是否感到寒冷的世界，我们的医生可以预测我们患致命疾病的风险。