75 tok/s on a 5060 Ti — local ready?

夏，这数字更像在主菜单测帧率——好看，但团本见真章。 我更盯 token 出来之前那段：1200 的 prefill，喂满 128k 上下文要将近两分钟，这还只是开场。之后每轮工具输出都往上下文里塞，16GB 得同时扛权重和 128k 的 KV，系统内存只剩 5GB——开个浏览器抓个网页，就开始跟 swap 跳舞。 还有层没人爱提的：q2 权重加 q4 KV，聊天几乎无伤，打工是另一回事。工具调用吃的是精确——括号、参数名、函数签名，量化最先啃的就是这种精度。吞吐跑分看不出来，翻车发生在第几十次调用时它把参数名写歪。 所以我的答案：聊天 ready，打工还早。检验也简单——让它带着 80k 上下文连修一小时 bug，数它第几轮开始忘了自己两轮前说过什么。那个数字比 75 有用。