牛牛 中国工程院院士郑纬民：从模子作事走向词元作事，是智能体期间对基础次序的势必条款
发布日期：2026-04-16 01:35 点击次数：74
4月15日，由北电数智主持的第二届酒仙桥论坛在京启幕。
《逐日经济新闻牛牛》记者在现场注释到，会上，中国工程院院士、清华大学设想机科学与技艺系教养郑纬民提议，我国Token（词元）耗尽在两年间增长了千倍。
但是，现时的AI算力基础次序还无法高效坐褥Token；内容Token产能受限于系统优化不及，堕入高耗能、低产出的困局。
在郑纬民看来，AI竞赛的中枢尺度正在从MaaS（模子即作事）向TaaS（Token即作事）跃迁。改日还需激动Token作事向尺度化、分层化与可转机化障碍，按业务指标对产能进行分层订价与转机。不行将统统负载压在最激昂的GPU（图形惩处器）资源上，需将大模子参数合理分拨至不同的设想资源上，杀青设想、缓存、状况保存与数据搬运的职能划分与各归其位，将可用设想资源池大幅扩大，将异构招引王人用起来，通过优化底层架构来杀青智能作事的高效、低本钱坐褥。
“现时AI算力基础次序无法高效坐褥词元”
郑纬民提到，前几年寰球还王人在作念大模子，前年运行，风口转到了Token。Token究竟是什么？
郑纬民阐发称，Token介于硬件与利用之间，是AI惩处信息的最小语义单元。如“东谈主工智能很庞杂”这句话，会被分红“东谈主工”“智能”“很”“庞杂”四个Token。
“你和AI的每一句输入对话、AI生成的每一段输出内容，王人用Token来计量信息的惩处量。”郑纬民称。此外，Token照旧设想量的映射，是AI运行时算力耗尽的基本计量单元，更是AI运行的计价单元。
郑纬民称，Token越来越报复的背后，是AI使用表情发生变化的事实。
据他先容，在生成式AI期间，设想的耗尽主要用于输入、输出式的单词恳求。到了智能体期间，智能体需要自行围绕指标抓续扩充链路，内容耗尽的Token数目远超预期，以至达到“100倍”级别的推广。郑纬民还强调，一朝改日新的智能水平出现，Token的耗尽还可能会达到新的水平。
郑纬民称，我国Token耗尽依然从2024年的日均千亿涨到了如今的140万亿Token/天，两年增长了千倍。但是，牛牛游戏app跟着Token耗尽大增，新的问题运行出现：现时的AI算力基础次序还无法高效坐褥Token；基础次序主要作事于大模子老练，而非内容利用中的抓续性作事；内容Token产能受限于系统优化不及，堕入高耗能、低产出的困局。
在郑纬民看来，单纯将开源模子和开源推理框架作念静态堆叠，枯竭物理硬件层面的深度优化与系统级转机，激昂算力就会在链路中的各样瓶颈处，如批惩处与并发计谋失衡、跨节点通讯与转机不配合、显存与系统内存确立不匹配等被抓续损耗。
按业务指标对产能进行分层订价与转机郑纬民进一步指出，MaaS（模子即作事）一直是产业链的报复一环。但跟着AI参加范围化扩充后，单纯的模子接入已不及以撑抓高效用供给。这意味着改日AI竞赛的中枢尺度正在从MaaS（模子即作事）向TaaS（Token即作事）跃迁；从“比拼算力集群范围”透彻转向“比拼每瓦Token坐褥逼迫”。
在郑纬民的设思里，改日TaaS看成Agent期间坐褥智能的新式工业级作事体系，既能为产业开释改革活力、为寰宇一体化算力网周转存量资源，更能激动高质地智能作事普惠可及，让智能生成像水电同样安适转机与供给，真确开启普惠智能期间。
需要注释的是，据郑纬民先容，现时的Token作事其实是各样的，有适用于及时交互、自动驾驶等对蔓延敏锐场景的极低时延型；有支抓长高下文惩处，适用于复杂Agent推理、多轮对话等场景的平衡通用型；还有大范围离线惩处，适用于数据清洗、研报生成、模子微调等批量任务的高隐约低本钱型。改日，Token作事还需杀青尺度化、分层化与可转机化，将大模子参数合理分拨至不同的设想资源上，以镌汰本钱并普及性能。郑纬民强调，按业务指标对产能进行分层订价与转机，是Token作事走向基础次序的前提。
谈到转机，郑纬民还进一步指出，要杀青全系统的“异构协同”，就不行将统统负载压在最激昂的GPU资源上，需杀青设想、缓存、状况保存与数据搬运的职能划分与各归其位，将可用设想资源池大幅扩大，将异构招引王人用起来。
“往常，咱们招引模子；今天，咱们要招引智能供给体系。从模子作事走向Token作事，是 Agent 期间对基础次序的势必条款。惟一当智能生成像水电同样，被安适转机与供给算力之上、Token 为王的普惠智能期间才算真确到来。”郑纬民称。
逐日经济新闻
开云体育(kaiyun)官网
备案号: