12GB 显存显卡跑 125B Qwen3.8 模型:Strata 登场,单张 RTX 5070 跑出 94 词元 / 秒12GB VRAM GPU Runs 125B Qwen3.8 Model: Strata Arrives, Achieving 94 Tokens/Second on a Single RTX 5070


AI free token/AI免费积分

IT之家 10 月 6 日消息,科技媒体 gigazine 今天(10 月 6 日)报道,报道称开发者 Niko1221 开源推出 Strata 引擎,可以在 12GB 及以上显存的消费级显卡上,运行量化的 Qwen3.8-Flash-Next 模型(1250 亿参数)。

12GB 显存显卡跑 125B Qwen3.8 模型:Strata 登场,单张 RTX 5070 跑出 94 词元 / 秒

IT之家注:Qwen3.8-Flash-Next 模型是阿里巴巴 Qwen 团队于 2026 年 8 月推出的多模态混合专家(MoE)模型的压缩版本,配有 125B 参数,另含 51B 参数的 n-gram 嵌入表,原生兼容 262K token 上下文长度。

12GB 显存显卡跑 125B Qwen3.8 模型:Strata 登场,单张 RTX 5070 跑出 94 词元 / 秒

Strata 为了降低显存占用,主要使用两项关键工艺:其一是将 MoE(混合专家)模型总体载入 RAM,仅将高频使用的专家模型载入 VRAM。其二使用轻量模型开展投机解码,预测下一 Token 以加速推理过程。

硬件要求维度,运行 Qwen3.8-Flash-Next 需满足最低规格:12GB 以上 VRAM 的 NVIDIA 或 AMD 显卡、32GB 以上 RAM、80GB 以上存储空间(建议 SSD)、Windows 10/11 或 Linux 平台。

表现维度,在 NVIDIA GeForce RTX 5070(12GB VRAM)、Ryzen 5 7600、64GB RAM 规格下,2 比特量化版 Q2_0 达到 94 词元 / 秒推理速度,3 比特量化版 IQ3_S 为 53 词元 / 秒。AMD Radeon RX 9070 XT(16GB VRAM)环境下,Q2_0 版本达到 60 词元 / 秒。

12GB 显存显卡跑 125B Qwen3.8 模型:Strata 登场,单张 RTX 5070 跑出 94 词元 / 秒

英伟达主机表现表现:

硬件规格: NVIDIA RTX 5070(12 GB 显存),AMD Ryzen 5 7600,64 GB 平台内存。

量化版本(Size)写答案速度(Writes answers)阅读提示速度(Reads your prompt)
Q2_094 个词元 / 秒2,650 个词元 / 秒
IQ2_XS79 个词元 / 秒2,090 个词元 / 秒
IQ3_XXS62 个词元 / 秒1,750 个词元 / 秒
IQ3_S53 个词元 / 秒1,620 个词元 / 秒
Coder55 个词元 / 秒2,180 个词元 / 秒

AMD 主机表现表现:

硬件规格:AMD RX 9070 XT(16 GB 显存),AMD Ryzen 9 3900X,47 GB 内存。

量化版本(Size)写答案速度(Writes answers)阅读提示速度(Reads your prompt)
Q2_060 个词元 / 秒1,160 个词元 / 秒
IQ2_XS52 个词元 / 秒1,110 个词元 / 秒
Coder44 个词元 / 秒1,420 个词元 / 秒

这里的“写答案”对应生成回复(输出)的速度,“阅读提示”对应处理你输入的 prompt(上下文)的速度。

参考

本文来源:https://www.ithome.com/1/010/006.htm
若有版权问题,请来信告知:13951431913#139.com 或在右方提交评论。

October 6 — Tech media gigazine reported today that developer Niko1221 has open-sourced the Strata engine, which can run the quantized Qwen3.8-Flash-Next model (125 billion parameters) on consumer-grade graphics cards with 12GB or more of VRAM.

12GB VRAM GPU Runs 125B Qwen3.8 Model: Strata Arrives, Achieving 94 Tokens/Second on a Single RTX 5070

IT Home notes: The Qwen3.8-Flash-Next model is a compressed version of Alibaba's Qwen team multi-modal Mixture-of-Experts (MoE) model launched in August 2026, with 125B parameters and an additional 51B-parameter n-gram embedding table, natively supporting 262K token context length.

12GB VRAM GPU Runs 125B Qwen3.8 Model: Strata Arrives, Achieving 94 Tokens/Second on a Single RTX 5070

In terms of performance, on an NVIDIA GeForce RTX 5070 (12GB VRAM), Ryzen 5 7600, 64GB RAM configuration, the 2-bit quantized Q2_0 variant achieves 94 tokens/second inference speed, while the 3-bit IQ3_S variant reaches 53 tokens/second. On an AMD Radeon RX 9070 XT (16GB VRAM), the Q2_0 version achieves 60 tokens/second.

12GB VRAM GPU Runs 125B Qwen3.8 Model: Strata Arrives, Achieving 94 Tokens/Second on a Single RTX 5070

NVIDIA Host Performance:

Hardware specs: NVIDIA RTX 5070 (12 GB VRAM), AMD Ryzen 5 7600, 64 GB platform memory.

Quantization version Writes answers Reads your prompt Q2_0 94 tokens/s 2,650 tokens/s IQ2_XS 79 tokens/s 2,090 tokens/s IQ3_XXS 62 tokens/s 1,750 tokens/s IQ3_S 53 tokens/s 1,620 tokens/s Coder 55 tokens/s 2,180 tokens/s

AMD Host Performance:

Hardware specs: AMD RX 9070 XT (16 GB VRAM), AMD Ryzen 9 3900X, 47 GB memory.

Quantization version Writes answers Reads your prompt Q2_0 60 tokens/s 1,160 tokens/s IQ2_XS 52 tokens/s 1,110 tokens/s Coder 44 tokens/s 1,420 tokens/s

Here, "writes answers" refers to the speed of generating responses (output), while "reads prompts" refers to the speed of processing your input context (prompt).

暂无评论,快来发表第一条评论吧!No comments yet. Be the first!

📮 需求咨询📮 Inquiry