机器学习入门笔记（二）行业分析

0. 引子

AI 原本是一个专业领域，没什么特别的。作为码农一枚，笔者的工作内容正好在这个领域。

近来这一年左右时间里，连续发生了多件事情，使得笔者不得不抬起原本一直低着敲代码的头，看看这个为 AI 狂欢的世界。

【Case 1】 居然在一个月里碰到两位在相对传统行业创业的亲友，来打听将 AI 技术应用到他们所在行业上的问题，例如：聊天机器人是否可以代替人工客服？

两位亲友居然都动了雇佣一位算法工程师的念头。其中一位真的已经开始物色了。颇费周折找到一位某非985院校专业对口的博士，友人有点动心想要聘用，奈何人家开口就要100万年薪。创业企业虽然已经拿了两轮融资，还是不敢烧钱作死，故而多方打听“算法”这东西的用处。

【Case 2】 笔者所在公司今年的校园招聘，本人照例作为 interviewer 参加，面试了几个来自不同985院校的学生（明年毕业）。顺便又和几位今年刚入职的应届生聊了聊。

结果发现，所有 interviewee（至少是我碰到的），全都是人工智能或机器学习方向的学生，所有交流过的新同事，在学校里做的也全部都是机器学习 or 深度学习算法。而且，每一个人对于入职后工作的期望都是做算法。

人工智能，已经跌入到两三年前大数据风口上，全民皆“数据科学家”的套路里了。

到底做什么，算是入行 AI？

这个话题其实在笔者之前的几个 chat 里面已经反复提到过了，在此再说一遍：工业界直接应用 AI 技术的人员，大致可以分为三个不同角色：算法、工程，和数据。

现在各种媒体上，包括 GitChat 中有大量的文章教大家怎么入行 AI，怎么成为具体某个领域的工程师，告诉大家要在某领域内发展需要掌握的技术栈是什么，等等……对此本文不再赘述。

我们不说怎么能够成为XXX，我们先来看看成为XXX之后要做什么事情，而做这些事情，需要什么样的能力，在拥有了这些能力、做上了这件事情之后，又能向什么方向发展。

换言之，本文中，我们将从直观的角度，管窥承担不同角色工作所需要具备的素质，日常工作的状态，和职业发展路径。

1. 做算法

1.1 日常工作

所有人都想做算法，那么，说到底，在工业界做算法倒是干什么？

真正的算法工程师（也有公司叫科学家），最基本的日常工作其实是：读论文&实现之——确认最新论文中的阐述是否真实可重现，进一步确认是否可应用于本企业的产品，进而将其应用到实践中提升产品质量。

1.2 必备能力

既然日常工作首先是读别人论文。那么，必不可少，作为算法工程师得具备快速、大量阅读英语论文的能力。

有一个网站，所有有志于算法的同学必须要知道：https://arxiv.org ——这里有多个学科（包括 computer science）大量的最新论文。

现在许多科学家、学者、研究人员和博士生在论文刚刚完成，尚未在正式期刊会议上发表时就先将论文发布在此处，为的是尽早对外传播自己的成果。

传统的正规渠道，从论文完成到正式发表之间存在短则三四个月，长则一年半载的延迟。这对一些传统学科，还勉强可以接受。但计算机科学，尤其是人工智能、机器学习、深度学习这几个当今世界最热门的主题，大家都在争分夺秒地抢占制高点，几个月的耽搁根本不能容忍。 因此，对于 AI 的学术性文献而言，arxiv.org 实际上已经成为了当前的集大成之地。

如果要做算法，平均而言，大致要保持每周读一篇最新论文的频率。

也许这就是为什么，到目前为止，笔者所听闻和见过的算法工程师都是名校相关专业博士的原因。经过几年强化学术研究训练，这些博士们，就算英语综合水平不过 CET-4，也能读得进去一篇篇硬骨头似的英语论文！

1.3 自测“算法力”

但当然不能说硕士、学士或者其他专业的有志之士就做不成算法了。人都不是生而知之，不会可以学嘛。

但是到底能不能学会，其实也并不需要三年五载的时间，花费几万十几万金钱在各种培训或者付费阅读上才能够知道。

有个很简单的验证方法：现在就去 https://arxiv.org 找一篇论文（比如这篇：Dynamic Routing Between Capsules），从头到尾读一遍。现在不懂没关系，至少先试试在不懂的情况下能不能把它从头到尾一字不漏的读完，有不认识的字查字典。

如果这都做不到，还是当机立断和“算法”分手吧。既然注定无缘，何必一味纠缠？

1.4 学术实践能力

如果，碰巧你喜欢读论文，或者就算不喜欢也有足够强大的意志力、专注力压迫自己去强行阅读论文。那么恭喜你，你已经跨上了通往算法山门的第一级台阶。

下面一级是：读懂论文。

既然要读论文，读最新论文，而且阅读的目的是指导实践，那么自然要读懂。拿起一篇论文就达到*懂*的程度，至少需要下面这三种能力：

1.4.1 回溯学习能力

一篇论文拿来一看，一大堆名词术语不懂，它们互相之间是什么关系也不知道。怎么办？去读参考文献，去网上搜索，去书籍中查找……总之，动用一切资源和手段，搞清不明概念的含义和联系。

这种能力是学术研究的最基础能力之一，一般而言，有学术背景的人这一点不在话下。

如果现在没有，也可以去主动培养，那么可能首先需要学习一下学术研究方法论。

1.4.2 数学能力

如果只是本着学习的目的读经典老论文，那么只要清楚文中图表含义，看公式推导明白一头一尾（最开始公式成立的物理意义，以及结束推导后最终形式所具备的基本性质）也就可以了。

但读最新论文就不同。因其新，必然未经时光检验，因此也就没人预先替你验证的它的正确性。在这种情况下，看公式就得看看推导了。否则，外一是数学推导有错，导致了过于喜人的结果，却无法在实践中重现，岂不空耗时力？

如果目前数学能力不够，当然也可以学。但就与后面要说的做工程用到什么学什么的碎片化学习不同，做算法，需要系统学习数学。

微积分、线性代数、概率统计，是无法回避的。如果在这方面有所缺乏，那还是先从计算机系的本科数学课开始吧，个人推荐北师大教材。

1.4.3 理论联系实际，将学术论述与产品、业务结合的能力

一般来说，在大企业里做到真正的算法工程师/科学家，也就不需要自己去动手开发产品了。但做 demo/prototype 还是不能避免的。

算法工程师，可不是用别人写好的工具填几个参数去运行就可以的，需要负责实际业务问题到数学模型的抽象，并能够将他人最新成果（敲黑板——那些论文！！！）应用到业务数据上去。

说得更通俗一点，就算是用别人写的工具或框架，做算法的，也得是i）第一拨、最前沿那批试用者，或者ii）工具最新玩法的发明者。

1.5 创新型人才

算法工程师，即使自己不发明新的算法，不提出新的算法优化方法，也得去尝试最新算法的使用或者把已有算法用出新花样来。

毋庸置疑，这是一个有着必然创新性的角色。因此，这个角色必然不适合绝大多数人！

2. 做工程

2.1 日常工作

相对于算法的创新和尖端，做工程要平实得多。

这一角色比较有代表性的一种岗位就是：机器学习工程师（或戏称调参工程师）——他们使用别人开发的框架和工具，运行已有算法，训练业务数据，获得工作模型。

其间可能需要一些处理数据、选取特征或者调节参数的手段，不过一般都有据可循，并不需要自己去发明一个XXXX。

做工程也得读论文，不过和做算法不同，做工程读论文的一般目的不是尝试最新方法，而是用已知有效的方法来解决实际问题。

这就导致了，做工程的，读的经常是“旧”论文，或者相对学术含量低一些（不那么硬）的论文。而且在阅读时，主要是为了直接找到某个问题的处理方法，因此，可以跳读。对于其中的数学公式，能够读懂头尾也就可以了。论文阅读频率和学术深度的要求，都比做算法低得多。

TIP：很多 title 写的是“人工智能/机器学习/深度学习算法工程师”的招聘岗位，其实招的是做工程的人。不要执着于辞藻，看清楚具体职责和工作内容。

2.2 软件工程师的分支

说到底，机器学习工程师，是广义的软件工程师（或云程序员）的一个分支。AI产品开发，是广义软件开发的一个领域。

说起来，每一个程序员都有一个领域。不过，不同领域在不同时期热度不同，发展趋势不同。

若干年前，做*底层*的程序员在程序界睥睨群雄。写协议栈的、开发驱动的、实现各种系统接口的程序员，站在鄙视链的最顶端。如今，风水轮流转，昨日黄花已谢，轮到AI封神了。

但说到底，开发人工智能产品的程序员，也还是程序员。不过是需要懂一定程度的领域内理论知识而已，和以前开发 PCI 协议栈要懂 PCI 协议，写网卡 driver 要懂 TCP/IP 的道理是一样的。

2.3 程序员的基本素质

既然是程序员，首先就不能丢掉程序员的基本素质：编码能力，和基础算法能力（不是前面说的那种算法，而是链、树、图的构建、删除、遍历、查找、排序等数据结构里讲的那种算法），是最起码要求。

其实，在 AI 成为潮流的今天，只要能找到一个在 AI 方面相对比较前沿的企业，进去做一名普通程序员。那么即使本来开发的产品不属于 AI 范畴，未来通过在旧产品上应用新的AI技术，或者在公司内部 transfer 到做 AI 产品的 team，都可能获得入行的机会。甚至具体知识的掌握，都可以在入职后慢慢积累——对于大多数AI工程人员，这可能才是一条自然的入行之路。

但这一切的前提是：此人首先得是一个合格的程序员！而不是本末倒置，虽然花功夫学了几个模型、算法，却连最基本的编程面试题都做不对。

2.4 做工程，「机器学习」学到多深够用

当然，既然是有领域的程序员，在专业上达到一定深度也是必要的。

虽然做工程一般要使用现成技术框架，但并不是说，直接把算法当黑盒用就可以做一名合格的“调参”工程师了。

把算法当黑盒用的问题在于：黑盒能够解决问题的时候，使用方便，而一旦不能解决问题，或者对质量有所要求，就会感觉无所适从。

作为程序员、工程人员，想用机器学习算法解决实际问题，就得对算法有一定程度的掌握，此外对于数据处理和模型验证，也需具备相应知识。

2.4.1 算法

仅从使用角度而言，掌握算法，大致可分为如下由浅入深的几步：

【1】简单使用：了解某个算法基本原理，应用领域，功能和局限。

• a) 该算法的应用问题域是什么？（e.g. 分类、回归、聚类……）
• b) 该算法的应用目标是什么？（e.g. 判别算法、生成算法……）
• c) 该算法适合应用在怎样的数据集，它能对数据造成怎样的影响？（e.g. 适用少量高维稀疏数据……）
• d) 能够主动获取该算法的函数库，调用该算法生成模型。