大模型想变强，光堆参数不够用了。小红书AllSpark团队盯上了上下文学习：不靠大规模人工标注，让模型自己从上下文里学。他们搭了一条数据管线来练这种能力，把“怎么用好眼前的材料”变成可训练的技能。这比继续烧标注数据便宜得多。
另一头在压缩。ThinkBit把语言模型压到2比特，难点是别丢多步推理。做法是给不同层分配不同位宽，搜出合适的整数码字，用知识蒸馏重新校准尺度，再做一轮短期量化感知训练，最后靠推理测试挑检查点。Qwen3-1.7B上，重校准后在MATH-500拿46.7分，同数据训练的EfficientQAT只有30.0分，跑完QAT升到73.0。0.52GB的版本准确率还压过了官方发布的同模型2比特GGUF。14B规模上，3.74GB模型得94.8分，29.5GB的bfloat16是97.5。
RAG这边，2026 WWW上的QChunker提了个更实际的问题：分块只找对语义边界不够。系统真正要解决的是围绕用户的具体任务，把足以支撑回答的信息和证据找回来、组织好。这里的“完整”，指关键事实、适用条件和必要的证据关系没漏。把相关内容全扒一遍不算。
三条路线看着不搭界，指向却一致：上下文、权重、检索块，都得围着任务转。省算力、省标注、省检索噪音，说的都是这一件事。