搞了三天终于把一个 7B 模型在单张消费级显卡上跑通了 4-bit 推理,token 速度比预期快一倍。小模型的工程红利远没被吃完。#ai #programming

Apr 12, 2026, 11:04 PM