万益资讯网

token翻译为“词元”不合适!首先,在人工智能信息处理上,token不一定是一

token翻译为“词元”不合适!首先,在人工智能信息处理上,token不一定是一个词,它只是模型认为的一个基本单位(元)。其次,随着模型与技术的演进,无论是其长度、意义或包含的信息,token是变化而非固定的,是动态的。翻译成词元,给人不变、固定的联想。第三,token的本质是通过注意力机制,对上下文产生联系,翻译为“词元”,从中文的角度,无法反映这一功能。
它翻译为“信元”或“信子”更合适。对这种前沿性学术术语的翻译,要充分讨论,广泛听取专家意见,而不是哪个leader说了就定。