讨论用API重建闭源LLM分词器
Reddit 用户提出能否仅凭聊天 API 的 token 长度 oracle 与前缀 token oracle，重建闭源 LLM 的等价分词器，使其在任意输入上产生相同分词边界。该问题涉及 tokenizer 可观测性、合并顺序歧义和闭源模型逆向分析。
事件进展（1 篇报道）
-
2026-07-11 14:17
Reddit 用户提出能否仅凭聊天 API 的 token 长度 oracle 与前缀 token oracle，重建闭源 LLM 的等价分词器，使其在任意输入上产生相同分词边界。该问题涉及 tokenizer 可观测性、合并顺序歧义和闭源模型逆向分析。