在RTX 2060上测试：从21.5到59.4 tok/s的探索

为了完成毕业设计，他希望弄清楚一家小公司在本地运行语言模型所需的硬件配置。他的方法很简单：先下载一个模型，如果运行效果不佳，就换一个经过量化的版本重试。最终，他将这个过程制作成了一个名为Jaull的工具。Jaull是一个开源的Python工具，带有终端界面，能够检测计算机的CPU、内存、GPU及其可用的后端，并提出一些关键问题，比如使用目的、关注点、所需语言及是否用于商业。根据回答，它可以从Hugging Face上搜索出最多五个合适的方案，每个方案提供具体的文件、运行时、后端和GPU配置，并解释了推荐的原因。

Jaull将估算和实测分开，根据组件估算内存需求，包括权重、KV缓存、额外开销和余量，并将内存与显存分别计算，能够告诉用户哪个资源会首先耗尽。用户可在自己的机器上运行进行基准测试，并为方案打分。每个结果都伴随文件的SHA-256、机器信息和测试协议，只有与方案匹配的结果才能影响推荐顺序。他在自己的RTX 2060上获得了一些数据：1.2B模型在指令遵循上显著优于1.5B模型，这意味着参数量并不是唯一的排名依据。

不过，他也发现了一些错误。第一版的卸载策略导致大部分GPU资源未被利用。在Qwen2.5-7B上的实际运行速度仅为21.5 tok/s，而如果将所有层放到GPU上，显存仅增加133MB，则速度可提升至59.4。在修正了计算公式后，相同条件下的运行速度达到了44.9。他曾开发过一个每秒token数的预测器，简单版本估计某模型可达170 tok/s，但实际测试只有18。于是他把这个预测功能从界面中移除，现在Jaull只在实测后显示速度。 谈球吧体育app下载

有些数据无法获取。例如，在负责监控显示的GeForce显卡上，Windows无法按进程报告显存使用情况，Jaull对此标注为“不可比较”。使用方法是克隆仓库、进入目录、同步依赖，然后直接运行。推荐时不需要使用llama.cpp，只有在实际运行方案时才需要。他尚未在真实硬件上测试过Intel（Vulkan）和AMD的支持，如果有人尝试过，想知道工具为其机器推荐了什么。根据他自己的说法，Jaull还远未成熟。