谷歌开源了EmbeddingGemma2,这是它第一个原生多模态嵌入模型,参数740M。文字、代码、图片、视频、音频统一映射到同一个语义空间,跨模态检索第一次能轻量跑在端侧。完整多模态版本内存占用不到600MB,手机、笔记本、浏览器直接开跑,断网也能搜图文和音视频。体积一直是端侧的坎,这次迈过去了。
Cloudflare在10月9日发布开放权重决策模型Clef-omni。旧版Clef只能处理文本和图像,视频还得按时间间隔抽帧,看静态画面。新版原生支持wav、mp3等音频格式和完整视频,一次API调用就能同时处理多种模态的内容。架构升级,补的正是动态信息这块短板。
欧洲这边在换供应商。德国环保搜索引擎Ecosia结束了和法国Mistral的合作,转向包括中国开源模型在内的多种开源方案。Ecosia一直打着种树和技术独立的标签,此前把Mistral当作摆脱美国巨头的救命稻草。这次转向让欧洲科技圈颇为尴尬,"欧洲自主"的叙事撞上了现实。
三件事指向同一个方向:开源模型在两端同时发力,一端把体积压到端侧能跑,一端把音视频等多模态能力补齐。小体积和多模态都能做扎实的,更容易被真正用起来。Ecosia换供应商也说明,选型先看能不能用。