GPT-4o 中文token库被垃圾内容污染
OpenAI于5月13日发布GPT-4o后，一些中文用户发现其token库中充满了垃圾词汇。普林斯顿大学博士生蔡天乐（音）分析了最长的100个中文token，发现大部分与赌博或色情有关，只有少数是常用词。
> https://gist.github.com/ctlllll/4451e94f3b2ca415515f3ee369c8c374
大型语言模型通过分词解析文本。GPT-4o的新分词工具在处理多语言任务上优于前代产品，但其中文token库因数据清理不足而被污染。这导致GPT-4o的大语言模型无法正确解析这些词汇，并可能被用来绕过OpenAI的安全措施。前代的GPT-3.5和GPT-4则没有这种问题。
这些无效数据主要来源于垃圾和色情网站，这些网站通过劫持无关内容来提升搜索引擎排名，从而污染了GPT-4o的训练数据。
目前尚不清楚其他语言是否受影响，但有用户报告韩语token库也有类似问题。
> https://fixupx.com/dhsusj144284/status/1790302306669670680
- 竹新社: https://t.me/tnews365/30454
- MIT Technology Review: https://www.technologyreview.com/2024/05/17/1092649/gpt-4o-chinese-token-polluted/
cxplay_clip / CXPLAY's Clip
npub18d…0sy5z
2024-05-21 03:28:30
Author Public Key
npub18dcx3xj3zg457k8kxkfmr03a0ltjhsq046tnhdq097m5ms0r284sc0sy5zPublished at
2024-05-21 03:28:30Event JSON
{
"id": "e7a1e16c9bab533fdffd1c10af174e30993f71b6a8b0b89401c53f114e860085",
"pubkey": "3b70689a51122b4f58f63593b1be3d7fd72bc00fae973bb40f2fb74dc1e351eb",
"created_at": 1716262110,
"kind": 1,
"tags": [],
"content": "GPT-4o 中文token库被垃圾内容污染\n\nOpenAI于5月13日发布GPT-4o后，一些中文用户发现其token库中充满了垃圾词汇。普林斯顿大学博士生蔡天乐（音）分析了最长的100个中文token，发现大部分与赌博或色情有关，只有少数是常用词。\n\u003e https://gist.github.com/ctlllll/4451e94f3b2ca415515f3ee369c8c374\n大型语言模型通过分词解析文本。GPT-4o的新分词工具在处理多语言任务上优于前代产品，但其中文token库因数据清理不足而被污染。这导致GPT-4o的大语言模型无法正确解析这些词汇，并可能被用来绕过OpenAI的安全措施。前代的GPT-3.5和GPT-4则没有这种问题。\n这些无效数据主要来源于垃圾和色情网站，这些网站通过劫持无关内容来提升搜索引擎排名，从而污染了GPT-4o的训练数据。\n目前尚不清楚其他语言是否受影响，但有用户报告韩语token库也有类似问题。\n\u003e https://fixupx.com/dhsusj144284/status/1790302306669670680\n\n- 竹新社: https://t.me/tnews365/30454\n- MIT Technology Review: https://www.technologyreview.com/2024/05/17/1092649/gpt-4o-chinese-token-polluted/",
"sig": "c94f2dee0914891c63c406eb4151b3ae810e5fac4187d8133d4571dc0e7aabc99c95154f9b1ce386cc4bec3758ff116c1ffd84fc523ef29db4342f7ce8ca1cb3"
}