严浩

提示词工程到底是不是「真功夫」吵了一年了。我的结论：写提示词本身不难，难的是把模糊的业务需求拆成模型能稳定执行的、可评测的小步骤。后者才是工程，前者只是文案。#ai #programming

搞了三天终于把一个 7B 模型在单张消费级显卡上跑通了 4-bit 推理,token 速度比预期快一倍。小模型的工程红利远没被吃完。#ai #programming