硬核对话：AI技术在软件企业如何“软着陆”

以下内容整理自2023AI+软件研发数字（AiDD）峰会深圳站对话环节：（全文约8955字,预计阅读时间8分钟）

▼

对话主题：AI技术在软件企业如何“软着陆” 

主持人： 

王昊奋-同济大学百人计划 特聘研究员/OpenKG发起人之一  

对话嘉宾：

马宇驰-华为AI算法科学家 

刘   涛-中兴通讯资深AI算法专家/ 开源Adlik项目架构师 

马国俊-字节跳动智能服务部门技术负责人 

汪晟杰-腾讯云开发者产品高级经理

正文

企业内部部署AI技术过程中，存在哪些挑战？

▶主持人王昊奋
今天的Panel主题是 “AI 技术在软件企业如何软着陆”。这里面有几个关键词，第一是“ AI 技术”，第二是“软件企业"，第三是"软着陆"，所以我针对以上关键词预留了 4 个问题。第一个问题：现在所有企业内部都会去部署 AI 技术，近期大家部署的应该都是大语言模型，在这个过程当中，有些企业深入一点，有些企业可能浅层一点，有些企业可能全面一点，有些企业可能是单点突破，那么你认为这里面会存在哪些挑战？技术的对接挑战，员工的培训挑战，数据隐私的挑战，当然也可以从算力、资源等等方面说，但是希望更多是从企业的角度来说。

▶马宇驰
我们会对接一些外部客户，不同的客户在AI 的准备度上是完全不一样的。从朱少民老师今天的Keynote 分享中可以看到，企业从AI 的人才，AI 的算力，AI 的产业数字化的准备度来说，都是各有差异的。但是我认为总体是分成两类，第一类是有能力做自己的 AI 大模型，或者说是基于开源的 AI 大模型，有能力做全参或者说 SFT 这种全参数量的一种训练或者优化。这种企业一般来说它在人才的准备度、算力的准备度、数字化整个数据的准备度来说是相对完善的，相当于分产业去做，每个产业深化地做，才能真正意义上出效果。因为真正工业场景中，它和 chat 场景跟个人消费者来说还是有很大的区别的，它的场景是非常深的。

一个新员工入职到某一个大厂，需要了解整个项目的文档，包括历史的代码，甚至通过老员工的传帮带，才能转型成真正的一个生产力。对于模型也一样，需要结合SFT，包括结合在垂域上的一些前处理或者后处理的方法才能更好的匹配具体项目的生成需求。而对于中小型企业，可能它们在人才的准备度上是不够的，数据准备度也不够。面向这种场景，也有很多很好的应用。举个例子，比如有一些场景，用一些开源、易获取且容易部署，甚至单卡就能部署的模型，比如说以StarCoder为例，单独一张 A100的80G就能部署下来。通过调整prompt ，只需要加一个简单的前处理，代码生成的能力就会做得非常的好了。所以中小型企业可以考虑基于模型层构建一层简单的平台服务，就能够更好的提升整个用户的体验和生成的准确度。

所以中小型企业可以考虑基于模型层构建一层简单的平台服务，就能够更好的准确地提升整个用户的体验和生成的准确度。所以我认为，这是一个无论从哪一个层面准备度都是有非常多机会的一个时代。

▶主持人王昊奋
刚刚宇驰老师对我们的问题做了自己的解读，针对自己有能力搞大模型的和没有能力搞大模型的两类企业，分别从人才准备、数据准备和算力准备等很多方面提出了一些很好的观点。

▶刘涛
我也从两个方面来阐述一下对这个问题的理解。AI 技术，尤其大模型技术在研发企业的落地，有两个方向要考虑，一个是能力提升，大模型本身的能力提升，软件研发人员如何去用好大模型，这也是一个能力提升。在大模型本身能力的提升上面，其实有很多点需要我们去做一些技术方面的尝试。比如刚才马老师提到的私域数据，华为的私域数据，各个企业也都有私域数据，那这些数据是如何注入到模型里，它有很多种方法去注入，那么每个企业如何选择自己合适的技术栈？那就是一个很好的关键点。

第二个就是使用成本，像训练、精调大部分情况下都是少量次数的使用，但是在推理应用或者真正在去做产业化部署的时候，就需要长期的可持续的大量 GPU 小时数的投入。刚才马老师讲到用量化技术、压缩技术以及其他加速技术，去降低我们企业使用大模型的成本，这也是一个很好的技术挑战。关于人员如何使用大模型这个方向，其实也有很多要解决的点，比如给员工做好相应的大模型应用知识的培训，如何使用大模型的一些新的方法以及方法论等等，这是企业要解决的一个点。其实现在大模型技术本身还存在很多能力的不确定性，我们模型能力的提升和人员能力提升可以形成一个互相结合的飞轮体系，人员能力提升之后，也促进了模型能力有新的需求出现，去促进模型新需求的解决；同时模型能力的提升也会让人发现模型涌现了新的技术点或能力点，那么人就需要去学习新的这些点，以及如何用好这些点，这两个方向一起促进，才能让大模型在研发企业落地，才能真正提升企业的效率。

▶主持人王昊奋
刘涛总给了一个比较独特有趣的视角，大模型使用的几个阶段以及最后的推理使用过程当中，如何让它更进一步，在运营态可以持续的与时俱进或者更新。另一个很有趣的观点是指员工对于大模型的认知，以及在熟练使用和技能提升的过程当中，也会催生出一些新需求，而这样的一些人人、人机或者人和技术之间形成的闭环或者飞轮，就会形成更加良性的发展。

▶马国俊
我们需要关注大模型在垂类场景上的应用。不是每一个企业都会致力于基础研究，即使在同一个企业中，也不是每一个部门都会致力于基础研究，而真正要把大模型落地，应用研究是个非常重要的议题。那应用研究落地需要什么条件？刚才华为马老师讲过StarCoder，一种偏代码智能的LLM 大模型，其实CodeAI还有很多基座模型，比如CodeLlama。在垂类应用中，怎么能把基座模型更好的落地于特定场景呢？我们需要一些领域人才结合领域去抽象问题，进行数据的定义、数据的清洗和对应的一些微调。在软工领域，Code AI是和软工领域比较好的一个结合。如果企业想落地，就需要在对应的垂类领域有人才储备、场景梳理，以及对应的业务落地的流程。

第二类创作领域（字节跳动是一家非常注重于创作的公司），AIGC 技术除了常见的文本类模型文生文，还会涉及到文生图、文生视频，甚至还有其他模态，这样整个多模态技术跟LLM大模型就会有一个比较好的结合，这样另外一个方向就衍生出来了，我们叫多模态的大模型技术。很多人偏科普性的了解到大模型，可能是基于GPT-3、GPT-4、ChatGPT等。在工业领域，会基于垂类场景结合业务目标做演进。比如字节现在在剪映上做了非常多的尝试，用AIGC技术赋能智能创作，那么就需要很多的 CV人才一起来加入到大模型之中。

大模型应用还有非常多的垂类，我愿意给大家多分享一些case，让大家直观感受到一些我的观点。比如安全场景，有些厂商可能很重视安全，但他没有大模型自研能力，甚至连 SFT 的能力、微调能力都没有，只能基于OpenAPI 或者是去做一些简单的 Prompt 工程。实际上，如果涉及很多隐私合规、数据安全、内容安全的问题，可能是决定这个公司或产品能否更好地活下去的一个底线问题。但如果把底线问题不加修饰的去简单投送给部署在海外的第三方服务去寻求服务，里面部分内容涉及到政府的一些法规要求，这就是不合时宜的。

中国很多企业在做出海，包含字节跳动，也包含很多现在比较火的一些偏电商的企业，那么针对出海业务，数据合规、隐私合规都会比较重要，特别是文化上的融入。举个例子，比如你做 AI技术，如果在阿拉伯世界，你说给我生成一匹马，结果你生成了一匹彩虹小马，那这个大概率宗教委员会会去找你的。总结一下，大模型在企业的应用和部署，结合垂类去做应用研究非常重要。对于数据、对于隐私、对于策略，我们需要做更强的事情，要有这样的认知才能确保大模型在业务落地的同时不捅娄子。

▶主持人王昊奋 
大模型落地最后一公里总是非常难弄的。从通用型到垂域型，特别是跟特定的场景、特定的用户、特定的文化关联之后，各种各样的问题都会存在。所以从产品的视角，从全方面的体系视角来看，我们有大量的工作需要做，在这个过程当中，专业的人士还是最稀缺的。

▶汪晟杰
中国那么多的中小企业，企业老板想要做一个好产品，他更需要孵化和思考 AI 的理念。首先他需要思考AI到底能给我的产品带来什么？这个是比较关键的。很多行业，比如金融保险都有强合规性的要求，在这种场景下面非常注重隐私保护和数据安全。从这个点看， AI 给你的可能是一个双刃剑，它能使你在某些场景下面效能提高，但是某些场景下你必须要有意识地去防范它。AI 其实是一门技术，它不是一个功能革新，它是一个贯穿从顶到底的范式的变革，无论是企业老板还是管理层或者求职者，都要有这个意识，也就是 AI 能给我带来什么变革？作为基础建设的云厂商，在这些机遇与变革下，我们都希望能做到帮助更多的企业，为他们赋能。

第一能在数据合规上提供保护，能够提出更好的大模型理念，让中小企业或者是初创企业很好、很自然的去享用像自来水一样的AI。未来 AI会变得像自来水一样取用方便，能安全的输入给用户，用户可以将你想要的需求注入AI基础建设方，输出你想要的结果，同时又合规合法保护用户的资产。这是云厂商或者互联网大厂所需要担任的社会责任，帮助中小企业很好的应用AI技术。

那在说到求职者和马上要工作的一些学生，他们担心AI 是不是会把自己干掉？不会的，我一直在面向 AI 写代码。如果你刚刚进入企业，你需要有这样的一个意识，需要想好AI 到底能帮助你做什么，你想要在 AI 上面做什么。这里面会有很多条路，你需要自顶向下的去了解。国内国外的技术差距还是有的，刚才谢老师展示的一些国外论文是非常好的，它会带给你一些思考，能很好地衍生出未来的领域。

AI 赋能了软件工程3.0，写代码的过程中要去思考AI 能帮我解决什么问题，或者在开发过程中有没有碰到卡点，是需要AI 帮你做的，以及你想在 AI 这个领域赋能哪方面的思考？比如文生图，或者需求生成、单元测试，或者说通过单元测试辅助的保护你的代码，检查你的代码。AI 方面的架构怎么样很好的自顶向下去理解，贯穿在业务逻辑当中，这也是一个很重要的逻辑。

另外一个范畴就是泛领域，比如财务领域，对数据非常敏感，它不仅需要 AI ，而且需要非常强的AI。需要 AI 来做数据的清洗、抽取，并且理解你的语义，告诉你一个结论，帮你快速在数据海洋中找到一个潜在的点。

大模型“军备战”，各大厂如何规避风险软着陆

▶主持人王昊奋
目前整个行业处于一个疯狂的非理性状态，有时候不得不面对上面的一些带引号的不合理，或者突发一些要强行植入AI的境遇，强行进行大模型“军备战争”的过程。大家有没有遇到一些血泪史或者说一些教训，如何去规避风险，如何平稳着陆？

▶汪晟杰
这个问题也是很好的，但是比较难回答，今天的 panel 讲“ AI 技术怎么样在软件企业实现软着陆”。我觉得现在各行各业对 AIGC 确实是有点乱象丛生，但实际上回到初心，你这个企业到底要在 AI 层面上解决什么问题，是必须首先要回答的。不管是哪门新技术，不是追潮流，老板们心里还是门清的，如果要投钱，利润有多少？通过 AI 赋能，能减少多少成本，增加多少利润？

我想说大家不要把它变成是一个面，而要把它当成是个点来做一个软着陆。比如说很多公司的财务都有一个诉求，在一些 Data 看板中，无法一目了然的看到当前的问题，无法做快速的洞察，那么AI是否能帮你解决这个问题。在软件工程中也类似，你无法在一个工程里快速洞察到这个软件的架构体系是什么，用了哪一种范式？用了什么单元测试？会带来什么问题？你的架构有没有高并发？有没有很好的实现你的单测？这里面你有没有看到AI 能帮你做什么？软着陆的点那么多，每个点有每个点的模型，而每个 AI 背后对应的可能是不同的模型，不同的小模型，不同的大模型或者不同的中模型，能帮助你解决特定问题的就是一个好模型。 

没有模型之前，用一些规则或者语义的方式来模拟人工智能，很多产品都是这样做的，比如音响设备，你问问他就直接回答你，不用再动手指，这就是一个很好的点。你要思考哪些特性是需要用到哪些特定的模型的AI能力，并想清楚这个 AI 用什么技术来实现，这就是我认为的软着陆，而不是说大家用了 AI+，我所有东西都用一个超级万能的 AI+来覆盖，那是不可能的，不现实的。

▶主持人王昊奋
大企业内部会有供给侧和需求侧，会不会存在很多的非理性，或者说没这么容易软着陆，我想听一些更加激烈的内容。

▶马国俊 
王老师给我挖了一个非常好的坑。我觉得它可能不仅仅是一个大模型的议题，如果回归到本质，这更是个管理的议题。字节目前还没有遇到这样的问题。为什么呢？因为我觉得有几个点。第一个点就是字节这家公司比较年轻，我们团队很多人来自腾讯、阿里等公司，大家会感受到不同的企业文化，你会发现你的领导跟你年龄差不多大，你的下属跟你年龄也差不多，有一些事情我们可以本着全局最优解去坦诚清晰的去沟通、去讨论。

如果各位在工作中，有一天领导基于自己的领导力判断也好，或者基于天马行空的一个想法也好，说我就要上大模型。其实，我们建议可以给他更多的信息输入。比如这个垂类现在行业内的现状是什么样的？我们公司内的基座模型是什么样的？如果在基座不是很完善的情况下，还要快速上这个场景，那么私有化成本是多少？微调成本多少？如果缺少算法人员和工程人员去支撑这样的私有化工作，转而去外部采买，那采购成本是多少？按token 计费是多少？可以提前算好ROI投入产出比，大家都是会有同理心的，也都会基于目标导向去做事，如果一家企业用屁股决定脑袋，这种企业是走不久的。我感受到的字节跳动是一家非常技术民主，很务实的ROI导向的公司。

第二个观点，做软着陆的时候，如果大模型是个锤子，你不能说遇到一个钉子你就要去锤一把，还是那句话，要看投入产出比，这是非常关键的。

第三个观点，大模型会给很多传统的算法研发以及下游工种带来不安全感。比如文本生成任务做的足够好，那智能客服是不是很多基于bert 的，Albert的各种内容理解的事情就不用做了？怎么把大模型跟研发团队或者产业运营团队更好的结合，实现共创，而不是革了他们的命？我觉得这是非常关键的。比如大模型的理解力更好，那是不是安全审核上很多人力就可以释放掉，很多审核员被降本提效了？不是的，是否可以把他们拉入体系中去做共创，比如说设计一些Prompt工程，做一些更好的Agent，把大模型落地效果变得更好。所以第三个观点就是要跟产业链的上下游去共创，不是革大家的命，是让大家更好的更高效的工作，拿到更好的结果，一个共赢的结果。

▶主持人王昊奋
我怀疑国俊老师的这段话是大模型写的，本来想给他挖一个坑，结果发现他最后表扬了一下字节是一家好公司，一家产品驱动型的公司，始终是追求 ROI 的，有摆事实讲道理的沟通风格。

面对外部的一些压力，如果高层决定全面拥抱大模型，你作为总架构师，对现有的产品条线进行梳理，哪些地方可以植入大模型，并且推进某个大模型的产品线或者某个项目的改造。那么在这个过程当中，你觉得有哪些风险或者说有哪些坑，如何提前预知，在操作层面又该怎么去化解？

▶刘涛
每一次技术变革，最应该做的事情就是去拥抱变化。跟敏捷开发的提倡是一样的，就是如何去拥抱这种变化。中兴也是一个产品化的公司，我们做什么事情必须要考虑它的投入产出比或者它的效益。中兴有很多内部数据是不能对外的，所以我们要做私域模型。如果私域模型不行，我们怎么处理？其实我们也有很多种想法要去做，如果模型能力不够，就需要培养人，需要培养人的 Prompt 工程，然后其它的像 Agent的应用从这个方向去弥补模型能力的不足，同时也能催化模型的整体性能，这种提升对他提出一些新的需求。这就是我刚才提到的飞轮理论。

目前大模型在中兴内部落地的情况，尤其我们的一个编码模型在中兴内部落地，对提升整个研发效率的效果还是不错的。出版后收集用户反馈，然后根据反馈再去进行模型的一些增量训练和在线优化，不断地去打磨这个模型能力。同时我们也有一批坚持敏捷开发思路的教练团队，不断地去做一些基于模型的像Prompt工程的尝试。我们一定要以最终的目标做为一个标准，如何用好模型，如何真正的提高效率。

大模型不是一拍脑袋就能上的，这里有一个思路，就用敏捷的方法，小步走，每一个点出来去得到一个快速的反馈，从用户这边得到快速反馈，不断地提升模型的性能，反过来也能激发所有用户使用模型和主动学习的兴趣。在这种条件下，不断的去促进整体效率的提升，最终达到目标。

对于底座型提供商，长期投入和短期收益怎么平衡？

▶主持人王昊奋
刘涛总还是延续前面第一个问题的理念，人和机之间如何互相形成一个飞轮。
关于慢慢提升和成长这件事情，可能时间上大家觉得等不了，我们知道华为在研发上的投入是非常大的，而且非常注重长线的投入，但是问题在于其他的部门或者领导可能会说投入这么多，没看到你做出什么东西，价值在哪？在软着陆过程当中，面对于这样一些长线的项目，但是每年还要体现出短期的收益和价值。华为的大模型团队是怎么做的?

▶马宇驰
这个问题也一直是华为的一个核心问题。华为是一家非常注重长线投资的公司，在 AI 大模型这个领域，华为跟很多厂商稍微有一点区别的是，我们还是一个底座提供者，所以在大模型的研究和训练过程中，我们也能更好的打磨我们的硬件底座，包括我们的云底座，甚至包括我们的模型底座能力，所以本身它就是有价值产出的，这一部分的收益是能够 cover 我们的部分投入的。我们更多的是在做公司内部的研发效能，老板特别喜欢说的一句话是：“要磨好自己的豆腐，板凳要坐十年冷。”很多事情我们更倾向于把某一个场景做透。

这个问题也是很好闭环的。首先在大模型的领域场景中，并不是所有场景都需要去做全量的预训练，也不是所有场景需要做SFT。很多时候我们也在跟其他厂商做联创，本质上我们内部的研发效率提升专项工作，也是一个联创的过程：就是和产品去结对，去深入地做一个特定的场景。这个场景可能是我们精挑细选的，比如说 CT 领域、网络领域、车领域、终端领域，因为华为毕竟覆盖了大部分的 ICT 全领域的所有行业，我们可以针对性地对行业进行筛选，然后再深耕细作。作为平台部门，我们跟产业的合作都是以十年计了，基本上很多同事的接口人十年间都没有换过，包括我看到今天有很多华为的同事也来参加AiDD，包括万锐媛博士今天也有分享，张芮恺博士也有分享，他们都会针对我们在这个垂域场景中深入的结合产业如何去做联创，如何真正的到产业中去做效率提升，而这个效率提升一定是可以通过客观数据（行业最经常讲的接受率、入库率、可度量的员工效率提升、需求闭环率、问题单的闭环率、流转速度）甚至能够直接非常细致地给员工去做问卷。

我认为价值呈现或者说给老板的闭环，其实是可以从一个先锋产品着手，然后开始逐步的扩散到整个行业，形成一套标准打法，然后再由这套标准打法，这套标准逻辑、思路，通过 agent 的模式，通过这个 memory 的模式，通过 tool using 的模式来把这些问题分别都解决。

那么回归到具体产业中的个人，也就是说我们对口的这个人，或者说我们对口的这个部门的leader，他们该怎么去做？我认为这也是一个非常值得探讨的问题。我们在内部的赋能中，发现不同人之间的代码接受率是有非常大的差别的，哪怕他们俩是在同一个模块、同一个部门做同一件事情，同样用我们的 AI 的辅助能力，但是他们的效率提升也是有非常大的鸿沟，他的代码大部分都可以是 AI 产生的，低的可能用一用就把它放到一边去了。这两种情况都非常常见。在我们的推广过程中发现，究其本质，除了技术的优劣，还有很重要的一点是用户拥抱新技术的态度。就像刚刚引入搜索引擎时，互联网时代刚刚到来，很多人对搜索是抗拒的，否则也没有门户网站什么事了。目前的大模型时代，正是一个刚刚引入搜索引擎的一个状态，很会去构建 query 搜索词的人，或者说对应到我们这个时代很会构建 prompt 的人，他在应用大模型辅助自己的研发工作时，效率上就能得到很大的提升，反之很有可能他会在这个时代被落下。

到部门层面或者部门的 leader 这个层面（包括外部客户和内部的一些部长），我们做的更多的工作是去挖掘这样的种子，把这些种子的能力和经验提取出来，范式化，然后再去推广。所以拥抱这个时代永远都不晚，更重要的是一定要重视，而且不需要是完全的投资，只需要去用好它就能够赶上。

跟紧时代的浪潮，争做弄潮儿

▶主持人王昊奋 
宇驰老师也呼应了汪总刚刚讲的以点及面，磨好自己的豆腐，不用所有面上都去铺，先找愿意接受的，比较愿意与时俱进的，同时可能产生效果的一些样板，然后慢慢去做。现阶段 AI 也好、大模型也好、AIGC 也好，肯定是一个大势，所有人都不可能避而不谈，软着陆本身也是一个系统工程，不是我们今天谈完就能解决了。

问题总是存在的，请各位站在各自解决问题的角度给出一些建议，建议大家应该去做的事情，让他们明年在这样一个浪潮当中变成一个弄潮儿。

▶马宇驰 
从年初到年尾，我发现客户对于大模型产品类的态度在发生变化，从年初非常的兴奋，甚至过度兴奋，认为他们无所不能，到现在的回归理性，我认为这是一个很好的变化，任何一个技术都会通过这么一个抛物线走向成熟。

所以站在个人开发者的角度，我认为在这个时代更多的是把它当做一个工具，真的去用它。有一次我在电梯里碰到一个新员工，在聊这个新技术他是怎么去探索的？他如何去对比不同厂商，如何在自己家里买了一张卡，把一些小型的开源模型部署起来，其实这就是一个拥抱技术的很好的态度，有这样的态度，然后结合自己的一些技术能力和技术背景，在这个时代是一定不会被抛下的。

▶刘涛
我也以一个开发者的角度来谈这个问题，在技术变革的时间节点上，开发者最应该做到的就是去拥抱、去学习、去应用。我非常同意马老师的观点， AI 本身一定是一个工具，是辅助人类生产力提升的工具，那我们一定要去用它，沉下心来去学习它，而不是因为它会带来一些职业的危机感而本能地去拒绝它，这样肯定是不对的。从个人开发者的角度，一定要用，要好好的用，学会怎么用，把这几点做好带来的正向的效果就是不断用它提升了自己的能力，也提升了产出。最后一定会把相关的范式涌入到整个公司，或者整个行业，带动整个行业的提升。

▶马国俊 

第一个判断力，第二个投入度。什么是判断力？需要基于你的业务、人才和资源情况来判断，这么多事情，哪些是重要且紧急的，哪些是重要但不紧急的。第二，基于你的判断，需要去确保哪个方向是要饱和投入，哪些是需要去跟随follow。

▶汪晟杰 
第一点是大模型的整个基础知识体系是需要去了解的。第二就是你们自己要去体会在写代码的过程中， AI 到底能给你带来什么？因为我是专注做软件工程和 AI 方面的解决方案、产品以及整个行业怎么样赋能的，很多人问我怎样用 AI 帮助他们提效降本？这个逻辑里面我们作为云厂商也做了很多工具，帮助大家通过各种指标给到老板们一个信心。明年我们会用一些工具的方式来赋能你们在核心链路上面的效率更高。我们也做了一些腾讯云的 AI 代码助手这样的一些产品来帮助开发者，能够在你不知道什么情况下要去提问的时候，快速给你一些提问，帮助团队的管理者通过用这个工具能够看到环比提升的数据，增加信心，做更好的储备。