华为发布AI推理创新技术UCM：实现高吞吐、低时延推理体验，降低每Token推理成本
新浪科技讯 8月12日下午消息，发布在2025金融AI推理应用落地与发展论坛上，推理吞吐n推华为联合中国银联共同发布AI推理创新技术UCM（推理记忆数据管理器），创新实现高吞吐、技术低时延的现高推理体验。
在当今数字化时代，低时低AI发展日新月异。延推验降大模型训练的理体理成热潮尚未消退，AI推理体验却已悄然成为AI应用的发布关键。中信建投在2025WAIC期间发布的推理吞吐n推白皮书指出，AI正从训练向推理的创新结构性转变而快速增长。在这样的技术大背景下，AI推理体验的现高重要性愈发凸显。
推理体验直接关系到用户与AI交互时的低时低感受，包括回答问题的延推验降时延、答案的准确度以及复杂上下文的推理能力等方面。资料显示，国外主流模型的单用户输出速度已进入200 Tokens/s区间（时延5ms），而我国普遍小于60Tokens/s（时延50 - 100ms），如何解决推理效率与用户体验的难题迫在眉睫。
据介绍，华为此次发布的AI推理创新技术UCM（推理记忆数据管理器），作为一款以KV Cache为中心的推理加速套件，其融合了多类型缓存加速算法工具，分级管理推理过程中产生的KV Cache记忆数据，扩大推理上下文窗口，以实现高吞吐、低时延的推理体验，降低每Token推理成本。
海量资讯、精准解读，尽在新浪财经APP 责任编辑：郭栩彤
(责任编辑：娱乐)
Win12.2概念设计曝光：全新开始菜单 支持Win7主题
《inZOI》首次大型DLC更新“海岛假日”迎来首曝直播，带来超多新玩法
劝酒需要注意的几个问题
会打太极会走秀！乐聚人形机器人“夸父”亮相
俄外长：目前普京与泽连斯基没有会晤计划推荐文章
-
When I was very small, my grandpa liked to tell me his tough year and I liked to listen to him. At t
...[详细]
-
【独家签约小说：让你拍剧：你就拍崩坏星穹铁道？】顾问穿越到娱乐发达的平行世界，原本榜上了富婆，这辈子衣食无忧。没想到因为太摆烂，被系统强制要求拍摄崩坏星穹铁道。等等，好像不太对，我的公司艺人们，怎么全
...[详细]
-
北京时间8月16日周六），今天开奖的数字彩玩法主要有大乐透、福彩3D、排列三、快乐8等。专家预测战绩，白琪峰中大乐透43万，田茹雪同中2等43万，谢喜天小单擒4+2已揽千万，徐浩天小单中3等累擒236
...[详细]
-
近日，2022首届东莞市马术联赛第二站展开争夺。在揭幕战110CM争时赛中，谭国史搭档小笔以零罚分、57.38秒赢得冠军外，哈扎克拜分别搭档云樱、小灰灰和力加三匹马将二、三、四名揽入怀中。本场比赛采用
...[详细]
-
怀宁县雷埠乡李店社区流传着一段关于外来丈夫10年如一日照顾瘫痪妻子的感人故事，故事的主人公就是今年62岁的村民郑四茂。2023年12月30日，天还没亮，做饭、喂饭、洗衣、打扫卫生……像往常一样，郑四茂
...[详细]
-
如今AI大潮席卷世界，多个传统行业领域已经受到影响，尽管有不少消极看法，但是不可否认的是，AI正在推动社会的高速发展，日前日本业者谈到AI应用，认为可有效提升动画制作效率节约人力成本。·中島良是一家新
...[详细]
-
【为什么越减肥越想吃东西？】你有没有觉得减肥总是刚开始容易，越到后面越难？控制不住自己总是想吃东西？科学告诉你这都是有原因的！不过减肥真的能为肥胖人士的健康带来极大好处，所以为了健康，咬牙坚持住吧..
...[详细]
-
近日，2022首届东莞市马术联赛第二站展开争夺。在揭幕战110CM争时赛中，谭国史搭档小笔以零罚分、57.38秒赢得冠军外，哈扎克拜分别搭档云樱、小灰灰和力加三匹马将二、三、四名揽入怀中。本场比赛采用
...[详细]
-
近日，《海贼王》真人剧的演员们纷纷站出来支持同剧演员查瑞莎·钱德兰(Charithra Chandran)，后者因在第二季预告片发布后遭遇种族歧视攻击而成为关注焦点。Chandran将在即将到来的第二
...[详细]
-
【为什么越减肥越想吃东西？】你有没有觉得减肥总是刚开始容易，越到后面越难？控制不住自己总是想吃东西？科学告诉你这都是有原因的！不过减肥真的能为肥胖人士的健康带来极大好处，所以为了健康，咬牙坚持住吧..
...[详细]
热点阅读
