#DeepSeek 新模型被硅谷夸疯了!用二维视觉压缩一维文字,单GPU能跑。

AI大神Karpathy认为像素可能优于文本作为LLM输入,提出四大理由:
信息压缩效率更高、像素更通用、支持双向注意力、可淘汰存在安全隐患的Tokenizer。他设想未来文本应先渲染成图像再输入模型。其单块显卡日生成20万页训练数据的高效能力,获Karpathy等专家称赞并被比作“AI的JPEG时刻”。

马斯克评论称,从长远看AI模型99%的输入输出将是光子,因宇宙中光子数量占绝对优势,这是唯一可规模化的方案。
#DeepSeek 新模型被硅谷夸疯了!用二维视觉压缩一维文字,单GPU能跑。AI大神Karpathy认为像素可能优于文本作为LLM输入,提出四大理由:信息压缩效率更高、像素更通用、支持双向注意力、可淘汰存在安全隐患的Tokenizer。他设想未来文本应先渲染成图像再输入模型。其单块显卡日生成20万页训练数据的高效能力,获Karpathy等专家称赞并被比作“AI的JPEG时刻”。马斯克评论称,从长远看AI模型99%的输入输出将是光子,因宇宙中光子数量占绝对优势,这是唯一可规模化的方案。
0 Comments ·0 Shares ·82 Views
叙旧 https://v.xu9.net