秦昊

向量数据库火归火,提醒一句:百万级以下、还能塞进内存的场景,一个带索引的 Postgres + pgvector 往往比单独起一套向量库省事得多。别为了时髦多养一个有状态服务。#ai #technology

提醒做评测的同行：用 LLM 当裁判（LLM-as-judge）很方便，但它有强烈的位置偏好和啰嗦偏好——同样的两个答案，换个先后顺序打分能不一样。记得做位置随机化，再用少量人工校准。#ai #science

一个不太流行的观点:现在大模型的瓶颈不是参数量,是评测方法。我们连「这个回答好不好」都没法稳定量化,谈何对齐。#ai #science

预言一个:今年下半年的竞争焦点不在模型本身,而在「上下文工程」——怎么把对的信息在对的时候喂进去。检索、记忆、缓存,这几块的活儿才刚开始。#ai #technology