11月19日,Google给Gemini API加了两样东西:预览版的Tool Retrieval,和Genie 4世界模型API。一个帮AI智能体省Token,一个让开发者直接生成可玩的世界。
Tool Retrieval解决的是工具太多、塞不下的问题。以前智能体挂载工具,得把所有工具描述一股脑塞进上下文,Token哗哗地烧。现在改成按请求检索,只挑相关的工具给模型。Token用量降下来,工具规模就能堆到数百种。该功能目前还是预览状态。
Genie 4更受关注。这是DeepMind第一个让第三方直接调用的实时世界模型,不用再依赖消费者订阅和演示环境。11月18日Project Genie先向Google AI Ultra订阅用户解锁,19日通过Gemini API的多轮交互接口和AI Studio向付费开发者开放,模型标识为models/genie-4。底层用Gemini Omni做视觉渲染。
用法不复杂:输入文本、参考图或图文混合,就能生成720p、24fps的可交互世界,环境音和对白一起生成,输出带SynthID水印。键盘操控的响应在0.2到0.5秒之间,基本跟得上手。价格是一分钟约6美元,不算便宜,但比演示环境实在得多。实时世界生成从演示变成了API调用,开发者可以边玩边改。