qwenGPU：把SIMT GPU编译进Qwen3.5-2B权重
开发者Vixhal以MIT协议开源qwenGPU，在Qwen3.5-2B原生24层前插入45层编译生成的4通道SIMT GPU，用Gated DeltaNet状态充当寄存器与内存，使其在前向中执行真实CUDA内核。
要点
- 45层为编译器计算权重、未经训练，与Qwen原有24层共69层
- Gated DeltaNet循环状态用作程序ROM、寄存器与全局内存
- 主机只把CUDA编译成PTX并加载，launch由模型自己写出
- 参考解释器在49/49个内核上与NVIDIA Tesla T4结果一致
- Apple MPS上约10–15 tokens/s，文本KL漂移约7e-4
阅读原文这里是中文要点整理，数字与细节以原文为准。
评论
还没有评论，来写第一条。