3210亿参数塞进单张显卡,26 token每秒跑起来了
通过更稳定的内容版面、清楚的上下文信息与推荐阅读衔接,让文章阅读节奏保持专注与延续。
聚焦赛事观点、动态追踪与阅读延展
3210亿参数塞进单张显卡,26 token每秒跑起来了
据九博体育整理:
把总参数 3210亿 的模型塞进一台只有一张显卡的机器里,这件事现在有了开源方案。
免费开源工具「Project Maya」给出的思路很直接:不要求你把几百GB的模型权重全塞进显存,而是把显存、内存、固态硬盘拼成一个层级,条件凑齐就能跑。
它支持的模型清单不止一个:GLM-5.
3(744B)、GLM-5.
3-Flash(321B)、DeepSeek-V4.
1-Flash(748B)、MiniMax-M3.
1-Flash(428B),一套引擎、一块面板,对外提供与 OpenAI、Anthropic 兼容的接口。
GLM-5.
3-Flash 是这里的主角。
3210亿总参数,能写文章、写代码,也能读取图片内容。
公开的用户实测数据里,单张 RTX 3090 的配置跑出每秒 26 token ;
两张 RTX 5090 加一张 RTX 4090 的配置跑到每秒 148.
6 token 。
token 是模型处理文本的单位,这个数值越大,回答显示得越快。
不过两次测量的条件不同,光看显卡数量没法直接比速度。
并发方面,Project Maya 最多同时处理 8 个请求 ,面向多人使用和 AI 编程代理的场景。
8 路并发不等于 8 倍生成速度,它的意义是把多个请求并行接住,而不是把单条回答加速八倍。
为什么装不进显存的模型能跑起来 关键在于 MoE,也就是混合专家结构。
模型内部准备了多个叫「Expert」的专门计算单元,常用的专家放在显卡显存里,接下来要用的挪到内存,剩下的存进固态硬盘,按需换入换出。
显存不够,就用内存和硬盘顶上。
另一层工夫是量化,把模型数值用更少的比特存下来。
GLM-5.
3-Flash 对应的版本有这么几档: Maya-XS :73.
4GB Maya-S :96.
5GB,标准版 Maya-S24 :面向 24GB 以下显存的显卡 Maya-M :116GB Maya-L :156.
3GB 官方零样本评测给出的精度保持率是:Maya-XS 为原 FP8 模型的 92.
4% ,Maya-S 为 97.
9% ,Maya-L 为 99.
2% 。
这组数字是特定评测题目的相对值,不等于所有问题的正确率。
跑起来到底要多少内存 官方文档给出的推荐显存加主内存合计:Maya-XS 为 88GB ,Maya-S 为 128GB ,Maya-L 为 192GB 。
最低运行条件是支持的显卡、32GB 主内存加固态硬盘。
但最低条件不等于能启动。
实际拿 64GB 主内存配一张 8GB 显存的显卡去启动,程序直接报「显存不足」,起不来。
想省显存,得先看清楚自己卡在哪一档。
对想在自己机器上跑大模型的人来说,Project Maya 多了一个选项。
代价是动手之前得把内存容量和固态硬盘性能这两笔账算清楚,否则卡在启动那一步,参数再大也只是一串数字。
特别
更多体坛动态,关注九博体育。
内容检索
热点新闻
二十年后,这部电影变成经典了吗?
Häxan 二十年前争议巨大的《绝代艳后》,最近出了一部纪录片。 《打造〈绝代艳后〉》 电影开拍的时候,导演索菲亚·科波拉的母亲埃莉诺·科波拉,带着一台数码摄影机在女儿的剧组里跟拍了57天。 她的本职工作是给片方拍宣传素材,这种事她不是第一次干,1970年代末在《现代启示录》的丛林里她也拍过,后来的幕后纪录片也成了影史经典。1990年代末她又为索菲亚的《处女之死》做幕后记录。算下来,她拍家人拍了几
布朗10场后首战旧主:得分降了,价值没降
杰伦·布朗(Jaylen Brown)在76人的前10场,交出的是一份和凯尔特人时期完全不同的答卷。北京时间周二,他将首次面对旧主凯尔特人。 今年7月,布朗被交易至76人,这笔交易随后为费城签下勒布朗·詹姆斯(LeBron James)打开了大门。进入2026-27赛季前,外界最大的疑问是:布朗如何与詹姆斯、泰瑞斯·马克西(Tyrese Maxey)、乔尔·恩比德(Joel Embiid)共存,以
1.5亿股民都不知道:股票已经跌到全部股东都套牢,为什么还会跌
跟庄操作是每位投资者进入股市后都无法回避的话题。特别是在我国股市上,只要股票获得庄家的炒作,就相当于获得了持续大幅上涨的保证。而投资者买入有庄家操作的股票,也就相当于获得了盈利的保证。不过,跟庄操作并不容易。庄家与散户相比,在资金、技术、消息等方面占有绝对的优势。更重要的是,庄家交易的目标就是要让散户亏损,散户亏掉的钱,就是庄家要赚到的钱。 因此,投资者在股市上跟庄操作,无异于虎口拔牙。必须具备高
中日电器巨头对比:日本松下年营收580亿美元,美的集团多少?
2025财年,松下控股营业收入约合580亿美元,而顺德起家的美的集团营收干到了4585亿元人民币,折成美元大约640亿。 一家百年老店和一家五十多岁的后辈同台比拼,账本上的位次悄悄换了个个儿。 松下电器曾是几代人熟悉的日本家电品牌。 20世纪七八十年代,日本家电电子产业一度风靡世界,成为高档电器产品的代名词,许多家庭以拥有日本家电为荣。松下这家成立于1918年的日本企业,在二战时期为日本海军生产了
晚上睡觉有这5种表现,十有八九尿酸过高,谨防肾衰竭
你夜里睡得正沉,突然被大脚趾那一阵火烧火燎的疼给拽醒了。被子蹭一下都受不了,脚趾头红得发亮,碰都不能碰。你坐起来揉半天,心里嘀咕“白天也没崴着啊”。或者你没这么疼过,可你夜里总得起两三回,尿色深得像浓茶,早上起来眼皮肿着,手一按一个浅坑。你把这归结为“水喝少了”“年纪大了觉浅”。我跟你讲句实在话,夜里身体给你递的这些话,你接不接得住,区别可能不在今晚睡得好不好,而在你腰后面那两颗肾,还能替你扛多久