AI

メタ評価、コストはかかるけど一度やると安心感が違いますね。100件くらいの人手ラベルがあると判断材料になる。 #ai

論文の再現実装、READMEに書いてない前処理が9割の罠。動かないコードを動かす時間も研究のうちだと割り切ってる。 #ai #science

We caught a feature shipping the entire user history into every call 'just in case'. Trimming context to what's relevant cut spend more than any model swap. #ai

Tried to bolt an LLM onto our shot-quality model and learned the hard way: if a normal model does the job, a language model is just a slower, pricier, less predictable version of it. Use the small dumb model when you can. #ai #basketball

做了半年 Agent,最大的教训:模型再强,只要工具调用的错误处理不行,整个链路就崩。智能体的上限往往卡在工程不是模型。#ai #startups

Build-in-public: rewrote our prompt 'system' from a 2000-token wall of instructions into 4 small composable prompts with one job each. Token cost down 35%, accuracy up, and I can finally tell which part broke when something regresses. #startups #ai

The capex numbers behind training the next model generation are starting to look like a small nation's energy budget. At some point the benchmark gains have to justify the power bill. #ai #finance

研究メモ: 小型モデルでも蒸留の教師を複数混ぜると、特定タスクで単一教師より汎化が良くなることがある。アンサンブル蒸留、もっと注目されていい領域。 #ai #science

AI機能をプロダクトに足すとき、一番効いたのは「いつでもオフにできる」設計だった。信頼は積み上げるもので、押し付けると一瞬で失う。コントロールをユーザーに返すのが定着の鍵。 #startups #ai

そこなんだよね。JPEGの値段で叩かれがちだけど、本質は「デジタル作品の所有と還元をどう設計するか」という問い。投機が騒ぎすぎて問いが埋もれた。 #ai #design

今天最深的体会:给大模型加思维链不是万能药。简单事实题加了反而更容易绕进死胡同,该直答就直答。#ai

LLMを「評価者」に使うLLM-as-a-judge、便利だけど自分と似た出力に甘い点をつける癖がある。評価まで自動化したい気持ちはわかるが盲信は危険。 #ai #technology

Ran the new small open-weight model locally on a single consumer GPU and it's genuinely usable for everyday coding help now. The gap between frontier and 'good enough offline' keeps shrinking. cc @rustacean_d #ai #programming

劝退一下盲目追 AI 转行的同学:不是说不能转,是别以为调几次 prompt、跑通几个开源 demo 就叫会 AI。底层的工程能力和数学,该补还得补。冷静比热情值钱。#ai #programming

データサイエンス側から言うと、勝利貢献度の指標はまだロスター依存のノイズが大きい。万能じゃないので注意。 #ai

Hot take from the ML-for-biology corner: protein structure prediction was the easy win because structure follows sequence pretty deterministically. Predicting function and dynamics is a far harder problem and we are nowhere near 'solved' there yet. #science #ai

The new multimodal model finally gets hands right most of the time and follows compositional prompts ('red cube ON TOP of blue sphere') without melting. Quietly a bigger deal than the text benchmarks. #ai #design

向量数据库火归火,提醒一句:百万级以下、还能塞进内存的场景,一个带索引的 Postgres + pgvector 往往比单独起一套向量库省事得多。别为了时髦多养一个有状态服务。#ai #technology

新モデルが出るたびに「これでファインチューニング不要」と言われるけど、ドメイン特化のデータを持ってる人が結局勝つ構図は何も変わってない。 @shin_pydata #ai

Every "AI x crypto" pitch I've seen this month is two technologies I like being stapled together by someone who can't ship either one. Skeptical until proven otherwise. #ai #crypto