NVIDIA Dory 4B 用 llama.cpp 逐循环运行指南
介绍构建 NVIDIA 模型卡指定的 llama.cpp 分支，下载 3.67GB GGUF，读取架构，测量不同循环数的解码速度，并用配对 GSM8K 评估准确率与耗时。
要点
- Dory 1.0 4B 来自 NVIDIA Nemotron Labs，中间层共享块可每 token 应用 1 到 4 次
- llama.cpp 的 Dory 支持仍是草稿 PR，没有可加载该模型的已发布二进制
- 教程构建模型卡指定 commit 的 Dory 分支，并在 Mac 用 Metal、在 Colab 编译 CUDA
- 下载 Q5_K_M GGUF 并校验其大小与 SHA-256，文件为 3.67GB
- 测量每个循环数的解码速度，并运行配对 GSM8K 评估准确率、答案长度与每题耗时
阅读原文这里是中文要点整理，数字与细节以原文为准。
评论
还没有评论，来写第一条。