▲ 什么是 Token 陈陈少文的博客 chenshaowen.com 2024/09/10 Token 是一个与数据紧密相关的单位，可以用来度量训练模型所需的语料量，还可以用来度量推理时的输入和输出长度。 1. token 是什么 Token 可以是一个完整的单词、子词，甚至是一个字符。在语言模型中，文本被拆分为若干个 token，模型逐一处理这些 token 来生成预测或生成新文… 讨论 登录后参与讨论 还没有评论，来说第一句吧。 陈少文的博客 的其他文章 更适合 VibeCoding 的应用部署平台 - AppLab 2026/09/27 llms.txt：让 AI 读懂你的网站 2026/09/20 deepseek-harness-remote-node 2026/09/12 RDMA 运维 2026/08/22 AI Agent 之下，中台会消失吗 2026/08/20
讨论
登录后参与讨论
还没有评论，来说第一句吧。