小小技术园

一句话总结：Meta无限期暂停了那条允许它抓取商业账户网站内容的条款，原定11月20日生效；让它停下来的不是站长的抗议，是挪威的禁令、巴西的裁决和英国的调查。11月20日这个日期，本来是Meta新服务条款的生效日。过了这天，只要你有MetaBusiness账户，Meta就有权抓取你网...

一句话总结：同一个prompt，只要同批里塞进别的请求，GPU的累加顺序就变，浮点结果最后几位就不同；BlockLock用"只锁被保护请求的计算几何"把这件事修掉，代价是相对vLLM的批不变方案延迟降53.5%到55%。先说一个反直觉的事实：大模型推理不是确定性的。同一句prompt，同样的参...

一句话总结：Modelers.cn上架了一个7B、Apache2.0、名字里带1M的社区模型，但模型卡只有元数据；按Qwen2.5-7B的结构算，1M上下文的KV要56GiB，是Q4权重的14.3倍。华为的昇腾模型平台上新了一个模型，名字叫COCO-7B-Instruct-1M。...

一句话总结：Ricursive的Ripple-65B是65B稠密模型、Apache2.0，TerminalBench2.1拿到80.52分，比501B和816B的对手还高；Q4权重36.3GiB，24G卡装不下，48G双卡刚好。先说结论：这个模型的新闻点不是分数，是它用65...

一句话总结：让模型生成一段文字再正则解析出类别，那一层解析平均吃掉4.5个百分点的准确率；直接取概率分布的argmax不但跳过这层损耗，还能顺手做阈值弃答。做路由的时候，我一直用的是最土的办法：让模型输出一行category:finance，然后用正则抓出来。这个办法能跑，但每过一段时间就会冒出几条...

一句话总结：在一个1000题的题库里抽100题估总分，重复两万次，均匀抽样的误差有5%的概率超过11.05个点；而按难度分层抽样能把这个数压到6.95，代价是要知道每道题属于哪一档。很多榜单标注着"抽样自XXX基准"。这句话背后的意思是：你看到的分数不是全量跑出来的，是从一个更大的题库里抽...

一句话总结：把自洽投票的"每条链都重跑"改成"只重跑出错那一步之后"，我跑出来的token消耗降了78%，准确率能不能涨完全取决于定位准确率——定位掉到35%就会亏。自洽投票（Self-Consistency）的做法很朴素：同一个问题采样8条推理链，投票取多数。它有效，也贵。8条链就是8倍成...

一句话总结：研究者训练了一个9B的用户模拟器MIMESIS，把它冻住当训练环境，其余流程一个字不改，agent在九个没见过的用户模型上的均分从26.10涨到29.54，九个全部提升。训练agent有一个绕不开的问题：陪练是谁。你用真人陪练，贵、慢、不可复现；你用大模型陪练，便宜、快、但那个"用...

一句话总结：蚂蚁百灵的Ling-3.2-flash是560B总参数、25B激活的原生多模态模型，1M上下文，注意力按7层线性配1层门控MLA，30K长上下文下单用户解码均值280token/s。长上下文这件事，现在有三条路。一条是把KV压小（压缩注意力），一条是只让少数层存KV...

一句话总结：ThinkingMachines的二代模型Inkling2Small是594B总参数、17B激活的MoE，预训练灌了12.55万亿token，RL跑了9天、1700万次rollout；技术报告里明说后半段预训练数据大量采样自更早模型的轨迹，点名了月之暗面的Kimi...