资讯

NVIDIA Dory 4B 用 llama.cpp 逐循环运行指南

介绍构建 NVIDIA 模型卡指定的 llama.cpp 分支，下载 3.67GB GGUF，读取架构，测量不同循环数的解码速度，并用配对 GSM8K 评估准确率与耗时。