关于人工智能行业寒冬的思考

发布时间:2024-01-26 17:30

作者:折射
链接:https://www.zhihu.com/question/308512268/answer/582984020
来源:知乎
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。
 

本人目前在美国念数据跟AI方向的硕士,打算在AI领域发展。其他各位答主,大多都是业内人士跟相关机构。我作为一名学生有幸能够亲身经历这波AI的浪潮。因此也想以一个普通学生的视角,给各位分享下一些我粗浅的看法与经历。

AI热潮

记得刚读大学的时候,大家热衷讨论还是物联网、云计算这些概念。大约14到16年,尤其是AlphaGo横空出世的16年,人人都开始讨论AI,深度学习。那年,即使我们学生内部举办的创业比赛,都开始说AI,企图搭上AI的顺风车。更不用说,外面那些创业者,做个好PPT,靠卖AI的概念就能圈到钱,投资人也都乐意往里撒钱。甭管你有没有货,只要跟AI这个词沾上边,资本马上一股脑往里涌入。

那时候,搞算法搞AI的,找工作也很简单。舍友当年买了本周志华的西瓜书,在宿舍啃完了小半本(貌似只看到决策树那一章)。就找到了当时的某大厂的算法岗的工作。后来,他去工作一年,辞职了,想去考个研究生继续读算法。

那几年,腾讯举办了首届社交广告算法大赛,滴滴搞了算法大赛,Kaggle,阿里天池、CCF等算法竞赛平台开始火热。这些数据挖掘比赛,无论是受关注度还是最终奖金,都大大压过了传统的ACM算法竞赛。人工智能、算法这些词在周围突然就火热了起来。很多人都买了西瓜书开始看,学校开设的人工智能、数据挖掘相关课也被学生选爆。算法工程师岗位备受关注,大批人员涌入。一方面,算法待遇确实好;另一方面,优秀的学生都多少有点不甘心只做开发,希望接触所谓高大上的算法。

同时迎来了一波转专业的热潮。算法领域相对传统的CS要容易转型得多,当时的面试基本上只涉及机器学习的知识。周围出现很多学数学、统计电子之类还算好的,还有学化学生物材料等,甚至还有学医的同学(不好意思,没有专业歧视的意思,意思是跨专业跨得太厉害)。这批人的加入,使得算法市场的竞争愈加激烈。

由于开始几年形势的确很乐观,不少人都成功找到了工作。后来者也都想着加入这个行业。开始张口深度学习,闭口神经网络。各种比赛项目,简历包装起来,里面不乏牛人。绝大部分还是普通人,只稍微过一遍西瓜书,学一遍Andrew Ng的公开课,Kaggle上面提交几个比赛,调几个知名库的样例项目,然后就敢跑去面试。

互联网行业近几年的变化

到18年来,由于之前大批量涌入的人员迎来了第一个毕业期。同时伴随整体的经济形势下行,风气明显不一样了。企业发现并不需要养那么多算法人员,成本又高,研究模型的产出又不是马上可以衡量的。开发的效益可以量化、考核的。而算法研究,可能投入了很多,结果收益并没有多少。尤其是行业已经发展起来,接近稳定之后。强行提高一点儿准确率、转化率,其实收益相对来说不大。在纯技术研究方面,去培养以PhD为主的小而精的高端团队,比去招一大批水平中等的人收益要大。

互联网的大厂的算法岗也就那几个热门方向:搜索引擎、推荐系统、用户画像、图像识别、自然语言处理,一切都围绕着互联网产品的需求来。这么多年了,互联网行业相关的产品业务也差不多成熟了。作为学生,在学校里面是接触不到实际的工业级的数据的。主要时间还是在研究新算法,在各种benchmark上面跑实验,调参,争取提升个百分之零点几的准确率。

不否认技术上限的突破,带来的经济效益确实很庞大。毕竟谷歌就靠搜索算法能发家。大公司的体量决定了只要提升百分之零点几的效果,就能带来巨大收益。但是现如今的技术已经足够厉害,有些领域准确率已经达到95%了,再往着上面死磕,最多也就能提升到个99.99%。就好比准备考试,从0分复习到60分,60分到90分,跟90分到100分,里面的难度不是线性的,而是越来越难,相反,收益越来越低。现在这些领域优秀的框架、开源的技术已经很成熟了,差不多能做到80分甚至接近90分。

不妨去关注一下那些只有10分甚至0分的行业。把资源跟技术用到传统行业。比如建筑,教育,交通,农业等等。国内的这些领域对数据的利用还在刚刚起步阶段,绝大部分企业才刚刚有这个意识,不知道浪费了多少数据。你只要稍微用几个经典的模型,就能实现从无到有的突破。这是质的飞跃,根据传统行业的产值,里面存在的巨大经济效益,可想而知。

实习经历

去年暑假去了一家小公司实习,也不算小,是一家世界500强的外企,不过是在传统制造行业。在这里我看到了另外一面,我发现互联网人看待数据、处理数据的能力,目前已经领先传统行业起码两个时代。我所在的部门,是这个企业的产品研发部门,他们也想要试图往AI方向转型,于是尝试先拿一些无关紧要的项目试试水。在跟leader交流过程中,发现他们对于AI能帮助到他们什么,根本就没有概念。听我讲到机器学习模型、讲算法的时候,他们是一无所知,而且也不相信能有什么价值。

我跟进了他们的产品研发项目,边看边学了将近一个月。他们研发新产品的过程,需要不断做实验尝试各种可能的变量因素。但是实验的方法,在我看来可谓相当随性。对于数据的理解可能只有高中数学水平,也就是求一下平均值,用Excel记录一下,打成报表,厉害的能画个图出来,就已经很高端了。同时,他们实验设计相当不严谨,没有规范的实验框架。很多探讨多变量的影响因素的实验,没有设计合理的正交实验的意识,没有考虑到随机的噪声干扰。更不用说对实验结果进行一些统计学分析,相关性、独立性跟假设检验。大部分都是基于经验跟玄学,在我看来是很低效的。当然他们的特长就是对他们的产品理解相当透彻,业务很熟悉,经验非常丰富。

我试着用自己学到的机器学习的方法跟编程基础,给他们搭了一个自动化检查产品状态的系统。也没用上什么特别牛逼特别高大上的算法,就只用上了最简单的逻辑回归模型,对测试数据进行建模。当然主要工作都花在了去调研他们需要哪些参数,哪些特征,然后如何采集每个特征,如何跟设备进行通讯。最后成功做出来了,部署到测试产线上去了。

他们用起来特别爽。以前需要专门安排一个员工,在测试之前手动输入参数。需要天天守着设备记录参数跟各种指标,每天最少花一个小时手动录入结果。现在我这系统直接给他们全自动化了。只要每天把需要测试的参数列出来,稍微配置一下。打开软件点一下,人就可以走开了。隔天直接打开电脑就能看到生成的报表,哪个部件出问题坏掉了,都给他标记好,参数也都标注上去了,还自动整理结果,还带画图功能,而且测试的准确率也比以前稍微高一点。

我的领导最后也很开心,我相信他们在尝到甜头以后,他们可能以后更有信心去建设自己的数据团队。

传统行业

我的实习的经历可能跟AI技术都沾不上多大边儿,但是也说明了,现在传统行业里面对于数据的建设、利用是相当落后的。现在机器学习跟AI技术,正在掀起一场革命,革一切行业的命。到处都可以进行跨专业、跨领域的合作应用,用计算机的自动化能力跟数学统计知识,以及AI算法创造效益。

教育行业,可以给学生建模,对每次考试试卷、成绩建模,量化分析每个学生的发挥,每种题型的熟悉程度;医疗行业,给病人的病历做数据建模,分析监控病情,跟进治疗,监控健康状态;交通,可以规划交通路线,用图像识别来自动记录车牌,监控交通事故;就算是日常的财务、会计各种行业,也能写一些脚本去快速处理批量数据。还有各种制造产业,多少会涉及到选址规划,物流仓储,产业链设计,工业流程设计,路径规划。我不相信这里面已经没有东西可以提高了,结合计算机强大的计算能力,极有可能给传统行业带来全新变革。只要传统行业能够产生数据,就能够从里面挖掘出有价值的东西。

跟老师接触过一个项目,是面向鱼群养殖场提供服务的。在鱼塘里面造一个小水池,顶上装上摄像头,把鱼群赶着从水池里游过去。提取图像进行识别,用矩形框出来每条鱼,把每个鱼的尺寸,品种,长度自动录入到数据库里面。里面并没有多厉害的技术,就调用了一个边缘检测加目标检测的库,用矩形把鱼的图像框起来。这也算是一个落地的项目,给企业节省了大量人力物力,同时创造出了巨大的效益。

我真的想呼吁各位大老板跟投资人,多多关注传统行业。随便用上点儿机器学习跟算法技术。都能帮他们做到从无到有的创新,从而赚好多好多钱。或者传统行业的老板,要不要想一想,你们遇到的哪些问题说不定可以通过算法跟机器学习来解决。

学术界

学术界肯定远没有达到寒冬,顶会的投稿数量越来越多。

现在的AI的繁荣,神经网络越来越庞大,投入的成本越来越夸张,却没有配套的理论跟上来解释清楚。而是随着计算能力的变强,以前不可实现的事情变得可能了。距离真正的人工智能,还差了十万八千里。

我怀疑学术界已经遇到了瓶颈,进几年的突破,很大程度上得归功于计算能力的突破。我们迫切地需要一个开创性的理论,或者数学工具,将这个东西彻底解释明白,才会有质的飞跃。否则深度学习最终会发展成为一门玄学炼丹术,大家都来在比谁的配方更好更厉害,至于为什么这样做,管他的。

很多研究者用同一个结构,同一种机制,用到CV里面发一篇,换到NLP又发一篇,用到推荐系统里面又发一篇。搞来搞去就那几个模型、那几个方法。无非就是改改模型深度,调调参数,就又多了很多新的方法新的paper,到处灌水。很多方法,也不是你说好,它就真的好,你自己找的实验数据集,自己调出的参数,肯定出来的效果比别人的算法好。至于到底有多少含金量,能不能复现,能不能落地,我看大部分都会有问题。这种人会被寒冬影响到,那也实属正常现象。

我不是否认科研的价值,我发自内心地尊重认真搞科研的人,他们是创造未来的开创者。我真心希望那些有能力的人全都去投入到科研上面带来新的技术变革。

而学术界搞出来的这些东西,在工业界具体到落地,其实可能用不上那么高大上的技术。真正想产生效果,关键还是要结合对业务的理解,做出合适的特征、设计良好的特征模型。如果做得好,就用最简单的机器学习模型,也比直接盲目套用那些高大上的技术效果要来得好。甚至有些场景,根本不需要上什么机器学习,写写SQL就能搞一搞。我同学在某著名大厂实习回来说,他们业务里面的模型很大一部分都还是基于规则的。好几页的规则文档都快编成一本书了。那些深度学习的项目只在极个别特定的地方,才有非常大的优越性。

AI求职者

现在的AI求职者,大部分人还是更愿意待在一线互联网行业。由于大量人员涌入,岗位并没增多,算法岗的招聘门槛也越来越高。去看网上对比一下早几年算法岗的面经跟今年的面经,就能看出来有多大的差别。

不像前几年面试只考个决策树跟SVM,就能找到工作了。现在不仅要高背景,精通各种机器学习算法,还得会传统算法,编程语言,计算机相关的基础。还要有论文、项目、比赛跟实习。少了哪一个,都会有一大批比你更优秀的简历填上来。

没有哪个公司会愿意花重金招一大批人,天天研究模型,死扣着那么点儿准确率。公司需要的还是能够干实事,把技术落地的人。也就要求算法工程师有一定的技术落地能力,有开发产品的能力。很多人被算法工程师的名头吸引,以为能天天接触高大上的算法模型,攀登技术巅峰。结果去了才发现,主要时间都在收集数据,清理数据,调参数,干的还是开发的活。

一些二线以下的互联网企业,他们倒是属于互联网企业。但是他们可能根本不需要招来的人有多么厉害多么领先业界的算法,往往只需要你搭建出来一个能用的算法,上线跑起来就行了。

真正有能力,知道怎么将技术落地、实践的人才,绝对是稀缺资源,这些人都被大厂牢牢圈住了。

传统行业以及一些二线以下的互联网行业,即使想要这样的人才,但又无力支撑起这样团队的高额花费。因此,现在的求职形式就是,企业招人难,求职者就业难,双方都在喊着寒冬。

展望未来

我看好的方向,就是AI能够真正落地,真的能解决传统行业里面的痛点的那些企业跟项目。说白了就是能解决实际问题,赚得到钱的AI项目跟企业。

对于传统行业,转型存在很多风险,需要全面地评估。我挺看好那些自己有一个好的技术团队,利用AI技术给别的企业定制化地提供解决方案的公司,所谓的B2B公司。企业将自身需求外包,B2B公司派有经验的人过来调研,并且提供解决方案,以及提供后续的长期维护服务,我觉得这可能是传统企业能够接受的一种折中的办法。这样的B2B公司,用户粘度也相对会大很多,实现长期稳定盈利。

那些被寒冬影响到了的求职者,到时候投简历的时候,不要只投递那些你装过它们家APP的公司。要是没机会去那些听过名字的大厂,不妨顺便去关注下那些B2B的企业吧。其中的绝大部分企业,可能你们连名字都没听过。但这种行业的开拓者,第一个能做得好的企业,直接赢家通吃整个行业的巨大利益,说不定就是未来下一波的新浪潮的先驱者。整个人工智能行业,毕竟还是有很大缺口,想找到一份工作还是不难的,不要被寒冬的危言耸听给吓跑了。

AI求职者最早的乐园时代已经过去,逐渐趋向于正规化健康化。AI的概念已经逐渐深入人心,到了要开始真正盈利的时候。不要只是沉迷新的技术、框架,管他黑猫白猫能抓住老鼠就是好猫。沉得下心来,安心修炼一两门技术。了解透彻,知道怎么应用跟落地。以后发展前途肯定是有的。寒冬远没有到来,机会还有很多,大家保持信心。

 

补充一下:

这个行业厉害的人实在是太多了,我就是很普通很平庸的一名学生,自认为没资格去指导别人什么。之前匿名以为随便写写没人会看,结果这个答案就被顶上去了。大部分人还是都挺友善在交流的,评论里面也有很多人分享了自己行业内的有关经验见闻。

所以,我想了下还是取匿了吧。欢迎各位评论或者私信找我交流~我自己也开了机器学习跟AI相关的专栏,面向初学者的,大佬就没必要看了。在这不要脸地在这打一波广告,有兴趣可以点我主页跟文章,了解一下。

ItVuer - 免责声明 - 关于我们 - 联系我们

本网站信息来源于互联网,如有侵权请联系:561261067@qq.com

桂ICP备16001015号