企业大模型落地关键是什么？这家领先的大模型技术和应用公司给出答案

首页 » 企业大模型落地关键是什么？这家领先的大模型技术和应用公司给出答案

内容目录

文章来源于互联网:企业大模型落地关键是什么？这家领先的大模型技术和应用公司给出答案

12 月 12 日，由中国人工智能产业发展联盟（AIIA）指导、北京中关村科金技术有限公司主办的【2024 大模型技术与应用创新论坛】在北京成功举办。

论坛现场，中关村科金总裁喻友平正式发布大模型时代的 “三级引擎战略”，推出重磅升级的得助大模型平台 2.0，以及一系列大模型应用。其中，得助大模型平台 2.0 具备算力统一调度能力、一站式模型训推、应用快速构建三大核心能力，并基于企业级最佳实践沉淀上百个全场景套件，能够帮助各类企业快速构建和部署自己的大模型应用，显著降低企业大模型落地成本。

基于得助大模型平台 2.0，中关村科金已与各行业伙伴一起构建了 200 + 覆盖智能营销、智能客服、智能运营和知识管理四大核心场景的应用，现场重点展示了大模型外呼、大模型接警助手、大模型陪练和大模型财富助手在帮助企业实现对外增长和对内提效的实战效果。

喻友平认为，大模型行业的发展已不再是暴风骤雨的狂飙状态，而是真正进入到精细化落地的进程中，平台＋应用＋服务是企业大模型落地的最佳路径。

以下为演讲实录

尊敬的各位领导、朋友，欢迎大家来到今天下午这个论坛。今天非常热闹，人非常多，就像大模型技术和应用现在非常热烈的状态，非常应景。过去一年多的时间里，大模型技术一直在不断进步，无论是郑院士还是斯坦利（Kenneth Stanley）对大模型技术都提出了一些观察、预测，当然还有一些担忧。对企业界来说，特别是对中关村科金这样的 “大模型 + X” 的企业来说，我们更关心的是如何将大模型应用到企业以及各种场景中，真正找到价值。

可以看到，整个业界对行业大模型和 AI 大模型解决方案的发展还是非常乐观。从两家国际知名咨询公司的报告来看，从 2024 年到 2028 年，大模型市场复合增长率的预测基本是 40%-50% 以上的增速。在这种情况下，大模型应用将必然有一个蓬勃的爆发。

中关村科金作为一线参与者来说，还是看到很多挑战。比如成本的问题。现在把大模型应用到实际的业务中，成本不低。即使不做基础大模型研发，就是做 TTS/NLP，算力还好，最关键的是标注成本，尤其是需要很多高精度、高准确的数据，这都是时间成本和人力成本。在数据的获取方面，本身处理的难度不小。其实构建一个场景大模型，并不需要海量数据，万级别的数据就可以解决很多问题。但技术和需求的匹配也是实践过程中的问题，如何把技术和需求匹配，相信也是今天在座大部分人非常关心的问题。

虽然媒体对大模型的普及做得非常好，但我们对大模型边界的认知程度，分析业务场景中问题和提供解决办法的能力，以及跟公司业务系统和流程如何建立链接形成技术解决方案，在这些方面坦率说我们还处于非常早期的阶段，仍有许多需要探索的，所以这些方面的人才也是非常缺乏的。除了大模型技术，大模型应用人才的需求量也远大于市场供给。

对企业来说行业 Know-how 上也有很多不足。每个行业都有行业独特的问题，有些问题在一个行业里很关键，但换一个行业就会发生变化。在非常细分的场景中，需要大模型应用厂商和客户有非常深度的沟通。此外，新技术在法规和伦理风险方面都会面临新挑战，比如数据安全性，用户隐私安全，所以对于大模型应用，法律法规和制度的健全也是迫在眉睫的。

当然市场在不断进步，在过去一年多时间，我们在不断跟大模型客户交流的过程中略有心得。

第一，无论是大模型还是任何技术，其商业本质还是要帮客户解决问题。比如一个家装公司，希望通过电话外呼触达客户后从公域转私域加友，这个场景看起来就是做训练、部署、外呼，TTS 跟 ASR 结合起来就可以搭建。但想在业务中发挥作用，提高转化率，就不能这么简单。其中有很多具体的技术问题，比如大模型幻觉消除，在企业的应用中是非常普遍的需求。我们和家装行业公司的合作，经过七次迭代，把私域加友转化率从 1.5% 提升到 3.5%。

第二，端到端的解决方案。大模型可以生成 Agent，硅谷现在已经把 Agent 当成一个新的 API，但一个 API 无法构成一个业务系统，也无法让你的业务有质的飞跃。在这个过程中非常重要的是实现端到端的产品体系。举一个例子，中关村科金重点在做的是连接企业和客户全流程的智能化。这个过程中有几个关键点。首先是全媒体联络中心，这是企业跟客户连接的基础平台，这个平台看似是基础软件，但其中的业务流程、业务逻辑非常复杂。中关村科金过去花了很多年才把这一套产品建设得比较完善。纯粹做大模型技术的公司没有这样的平台能力，需要建立在别人的平台能力之上，那提供的产品解决方案就是硬凑出来的，适配就差很多。

中关村科金在一个全媒体联络中心打造了语音和文本两类机器人，同时提供面向坐席效能优化的助手、质检和陪练的三件套。这三件套在任何场景下都可以使用，帮企业做好培训，还可以监督效果。在金融行业落地智能客服，不能只做客服机器人，而是把 “1 个联络中心 + 2 个机器人 + 3 个套件” 的全套解决方案提供给客户，实现端到端的智能化。大模型时代，数字化 + 智能化的升级思路是一个非常关键的点。

第三，全链条的服务。各行各业有着丰富的应用场景，既有面向外部客户的，也有面向内部员工的，这两类体验的提升就是大模型在企业落地的两个最重要方向。在这个过程中，企业需要建立大模型的内生能力。大模型基于企业内部的数据做一个发电站，电发出来之后，具体用在什么地方需要企业内部有管理和调配的能力。我们为国内若干个头部央国企提供了平台解决方案及实施，同时在平台之上合作应用开发，帮助客户解决内部的办公、写作、客服、营销等各类场景的需求。更重要的是，我们还提供陪伴式服务，包括数据标注、问题定义、检测方案的实施等等。

所以这三个方向是我们现在认为市场上真正需要的大模型应用，既要能够解决客户的核心问题，又要能提供端到端解决方案，同时还要有全链条的服务。

中关村科金基于 10 年来积累的 ToB 服务经验，加上大模型智能升级过程中的沉淀，我们今天正式发布中关村科金大模型时代企业智能化升级的 “三级引擎战略”。

首先是平台，智能化平台 + 数字化平台才能让企业的数字化真正进入一个智能化阶段。所以平台本身是大模型落地的技术引擎。

其次是应用，在企业经营全流程的各个环节中，都可以通过大模型进行智能化的升级，包括营销、运营、服务、知识管理等，甚至像生产、供应链、财务等场景都有可能利用智能化和数字化的平台相结合，打造智能化的应用。所以应用是大模型落地的产品引擎。

第三是服务。企业 “最后一公里” 的交付还有一个关键点就是服务。服务是一个价值引擎，最终要让客户、企业把大模型用起来，包括咨询服务、平台搭建、应用调试和效果运营都是缺一不可的。

因此，平台 + 应用 + 服务是企业大模型真正实现落地的最佳路径。这既是我们的心得，也是希望跟各行业进行分享探索，如何让中国的大模型落地更快更好。

对中关村科金来说，我们定位是领先的大模型技术与应用公司。在 2018 年，我们发布了全媒体联络中心。2019 年把传统的基础 AI 能力，如 OCR、TTS、ASR 用到了平台智能化里。中关村科金一直紧随着人工智能技术，从上一代以 CV 和语音为主的智能化技术到现在的大模型技术，一直跟随着大模型技术不断演进，面向企业的服务和产品进行升级。2020 年发布了音视频平台、远程双录等，其中用到如 OCR、人脸识别技术，让双录场景效率和效果更优。2021 年发布了坐席效能优化套件，2022 年发布了营销服一体化平台，2023 年发布了行业大模型。2024 年，一年的过程中我们不断利用大模型能力重构所有的应用产品。

基于中关村科金的 “三级引擎战略”，向大家介绍我们的产品全景图。通过全媒体联络中心和音视频平台这两大数字化平台，把企业与客户连接的各种渠道、各种媒介进行很好的整合，以及企业与内容员工的连接。在此之上，得助大模型平台可以提供从算力调度，模型训推到智能体构建。再结合企业的应用场景，在智能营销、智能客服、智能运营、知识管理等领域提供非常丰富的产品解决方案。同时结合各行各业的应用场景推出了一系列场景解决方案。这是中关村科金过去一段时间里的心得和方法。

今天，中关村科金重磅发布得助大模型平台 2.0，它具备算力统一调度，一站式模型训推，应用快速构建三大能力。算力统一调度能够对 GPU 算力进行共享调度，对模型统一纳管，包含所有的开源模型和开放的 MaaS 平台等最前沿的大模型技术，同时也兼顾了国产化信创适配。在模型训推方面，支持训推一体化，量化压缩及模块化的部署。智能体构建，自主编排可视化工作流，多 Agent 协同自主任务规划。最重要的是中间全场景套件，这些都是基于各类场景应用的企业级最佳实践沉淀而来。

我们把多个行业套件都沉淀在得助大模型平台，每个套件都是极具针对性的场景解决方案，要综合运用数据流、Agent 流、工作流组合，用大模型、小模型、MoE 模型组合，还有 SFT 模型，每个场景都经过实践检验，最后沉淀在平台上。得助大模型平台 2.0 已经沉淀了上百个通用套件和行业套件。这样一个灵活的大模型平台，企业只需要 5 分钟即可构建自己专属的场景应用。

通过得助大模型我们已与各行业伙伴一起构建了 200 + 大模型应用，覆盖智能营销、智能客服、智能运营和知识管理四大核心场景。接下来分享几个典型案例。

第一个案例是智能营销场景。现在机器人坐席表现愈发接近人工坐席的表现。在大模型外呼实际运行过程中，机器人说话时有很多口语化内容，这是基于一些绩优的客服人员、营销人员做的优化。有几个关键点，比如附近门店的推荐，因为这是一个本地化的服务，不可能推荐一个很远的地址。机器人可以说出离客户最近门店，这种亲切感会让客户的体验更好。结合品牌信息、营销目的，作为一个外呼人员的任务不是随便聊天，而是需要引导客户留下联系方式、做好客户预约。整个过程每个小技术点都需要专门优化。

在这个场景下，大模型外呼把过去传统 AI 外呼的转化率成功的从 1.5% 提高到 3.5%，人工外呼的比例是 4.1%，所以大模型外呼跟人工外呼成功的比例只有不到 17% 的差距。而且随着技术的提升，大模型外呼超越人工外呼转化率是有可能的。这中间要突破很多技术难点，需要增强 RAG 技术，Agent 协同技术，运用对产品的理解及优化数据学习，才可以打造出高拟人、高专业的外呼机器人。很多机构都在预测，未来 5-10 年，人工外呼 BPO 或将被机器人替代。基于大模型外呼的 BPO，具有标准化、覆盖广、成本低的特点，未来会成为外呼 BPO 的主流。这是第一个方向。

再讲一个跟每个人都息息相关的生活场景，就是大模型赋能反诈接警全流程，守护百姓钱袋子。这是一个典型的民生应用场景。电信诈骗随时随地都在发生，公安部反诈中心 2023 年的数据显示，破获诈骗案件超过 47.3 万件，预警指令达到 940 万，见面劝阻人次 1389 万，拦截金额 3288 亿。这是接到报警已破获的，还有大量未报警未破案的。大模型如何在这个场景中发挥价值，起到关键性作用呢？

这段对话其实是 96110 反诈接警的真实对话场景。以往是靠接警人员手动记录，包括转账给谁，转出帐号是多少，报警人身份证号是多少等核心信息。这时候最紧急的事是止付，也就是制止转移支付，有的地方要用手写记录再联络银行止付。在大模型接警助手的辅助下，接警人员一边接电话，大模型同步把对话中的关键信息全部提取出来，记录到系统里，最短时间就可以发送到银行系统进行止付操作。这样的反诈接警过程，通过大模型优化，让接警到止付的周期从 30 分钟缩短到 2 分钟。这看似不是大模型应用的常规场景，但却切切实实守护了老百姓的钱袋子。

刚才说的过程看似非常简单，大家可以想像一下对大模型的挑战是什么？最大的挑战是准确度一定要高，因为这涉及到银行账号和接警人员与银行系统的操作，所以要花大量时间对优秀样本进行提炼，报案人员的口音也要用各种方式进行精调，最后才可以达到非常高的准确度。从实验室产品到真正可落地可应用的产品，这中间的距离中关村科金有深刻的亲身体会。我们做了大量的技术工作，才使得准确率达到可使用的状态。其实在更多的民生场景包括社区服务领域，社区民警、社工要做大量的服务性工作，如果可以用大模型提升他们的工作效率，这个世界会变得更加美好。

除了在服务方面的优化，还有一个非常典型的场景叫陪练。特别是像销售人员，对很多企业来说员工培训是刚需。大模型将企业培训物料自动消化并转化为剧本，生成一个数字人跟员工对话，帮助员工模拟更好地跟客户沟通。在沟通过程中大模型可以提示他应该说什么话。下面这个视频展示的是一个汽车营销人员的培训案例，将这款汽车相关介绍资料直接上传，就可以生成各种脚本，然后就可以模拟真实场景对练了。

可以看到通过这种培训方式，可以把一个新人快速培训成一个专业的汽车销售人员。这个过程中综合运用了多种跨模态技术，包括大模型技术的生成，机器人陪练，高拟人的数字人模拟。通过运用智能陪练平台，销售线索留资的获取比例明显提升，达到 20%，剧本构建周期可以缩短 80%，员工学习效率提升 70%，能力评估的准确率提升到 30%。

最后一个是大模型赋能财富顾问的场景。很多金融机构的财富顾问要掌握大量专业知识跟客户交流沟通，而一名财富顾问每天可以接待的客户数量有限。如何帮助财富顾问提供更好、更贴心的服务就非常关键了。这个过程中，大模型的作用很多，包括通过数据的综合运用实现多元数据融合，比如市场资讯、企业年报、研报观点自动提取等。以及结合客户需求洞察和产品理解等实现客户意图挖掘，更好的匹配推荐理财产品。

在这样的过程中，融合市场、产品文档、研究报告，包括企业内部的系统、数据进行连接。财富顾问在展业的过程中就有了一个百宝箱，相当于他身边有一个老师傅不断指导他如何做好工作。这个过程是财富顾问不断学习跟客户交流的过程，帮助他们更好地展业。目前在多家头部证券公司都在落地这样的应用。

在智能营销、智能客服、智能运营、知识管理几个场景，大模型的应用都是非常典型的。同时服务是非常重要的价值引擎。中关村科金提供全链条交付与服务的体系，包括咨询到平台构建、应用搭建，持续运营，全链条给客户提供专业、贴心的服务。

同时我们携手行业伙伴，搭建了非常丰富的场景应用，都是结合客户需求和痛点，结合客户的业务流程、业务系统进行端到端的打造。

此外，我们推出了面向中企出海的 Instadesk 平台，帮助客户针对出海业务量身打造全球联络中心，一站式服务全球客户。对海外客户来说社交媒体的渠道更重要，开放性更强。我们可以为企业官网、电商独立站提供多国语言的国际化服务，多媒体全渠道覆盖，以及安全合规保障。截至目前，我们已经提供 30 种以上的语言，覆盖两百多个国家线路、十多种国际化渠道，已成功服务了数十家出海中企以及海外直客。