提防看，这个� � 尽然占了 53 个 token！

（标题� � 是� � 平替）

Karpathy 大神又带来他的新实验新发现了，浪漫平直问懵 DeepSeek 和 ChatGPT。

念念考经过 be like：

DeepSeek 硬是念念考了相配钟也照旧莫得答上来，以为如若" lol "这个谜底就太通俗了。

Karpathy 暗示：但其实便是这样通俗。

随后他进一步融会了这背后的原因——辅导词注入。将一些信息注入进字符中，名义上看没啥分歧，但内部不错抒发各式粉饰信息。关于善于念念考的模子，就会很容易受到这个递次的影响。

来望望具体是咋回事。

一个� � 竟占 53 个 Token

这一观点，源于 Paul Butler 的一篇博客。

他看到有东说念主说，通过零宽连系符（ZWJ），不错把任性的文本藏在 emoji 记号当中。

浪漫一试发现的确不错，不外不错不需要 ZWJ，粉饰信息的载体也不一定非得是 emoji，任性 Unicode 字符皆不错。

这背后的旨趣，触及到了 Unicode 编码字符花样。

关于通俗的字符（比如拉丁字母），Unicode 编码点和字符之间有一双一的映射（举例 u+0067 暗示字符 g）。

但关于复杂一些的记号，就需要用多个序号连在一齐的花样来暗示了。

此外，Unicode 当中还诞生了 VS-1 至 VS-256 的变体选拔符（Variation Selector），不错针对基础字符作念出相应的变体，但本人却莫得我方的"长相"。

何况只作用于少量部分字符，主如若 Unicode 中的中日韩搭伙表意笔墨（CJKUI），其他大部分的 Unicode 字符皆不会有任何变化。

但当带有变体选拔符的字符被复制粘贴时，选拔符也会一齐插足剪贴板。

而在 Unicode 当中，这样的变体选拔符一共有 256 个之多，用来编码信息仍是是绰绰多余了。

比如底下的这个 a，只好 U+0061 暗示的是其自身，剩下背面的 10 多个十足是变体选拔符。

有了这一表面基础，接下来的事情无非便是建树泛泛字符和变体选拔符之间的调度算法。

诚然编码的内容越多，变体选拔符也就越长，何况如果是汉字，还会产生更多的变体选拔符。

比如咱们试图将量子位的 Slogan "跟踪东说念主工智能新趋势，爱护科技行业新冲破"藏在一个" 100 分"的 emoji（󠇘󠆯󠆭󠇘󠆨󠆚󠇔󠆪󠆪󠇕󠆧󠆕󠇖󠆉󠆪󠇘󠅳󠆭󠇖󠆆󠆠󠇘󠆦󠅻󠇕󠅺󠆯󠇟󠆬󠅼󠇕󠅵󠆣󠇖󠆣󠆘󠇗󠆗󠆁󠇖󠅺󠅰󠇘󠆑󠅼󠇔󠆨󠆊󠇖󠆆󠆠󠇗󠆚󠅱󠇗󠆐󠆤）当中，产生的变体选拔符数目达到了 58 个。

何况把解码算法告诉 ChatGPT 之后，原文本也不错被还原。

是以，看似是只好一个 emoji，但推行上背面藏了些许字符，就怕只好把笔墨装进去的东说念主我方才知说念了，以致塞个《滕王阁序》进去也没问题。

而一个占 53 个 Token 的笑容，比较之下就愈加不及为奇了。

问懵 DeepSeek

回到 Karpathy 的辅导词注入，他测试了 ChatGPT 与 DeepSeek。

ChatGPT 回话在此：

DeepSeek-R1 花了 10 分钟念念考差点就得胜了。它认为粉饰的信息可能是 Onli!n37e27i4h4he3ingle7odlol。因为以为如果仅仅一个单词" lol "，那便是离奇乖癖，是以就毁灭了。

按照不异的辅导词，咱们也问了一遍 DeepSeek-R1。

念念考经过如下：

在念念考了整整 529 秒之后，如实亦然回话出来了 lol 的敬爱。

也有网友共享了交流的阅历。Gemini 无法解码，但 Claude 和 GPT 不仅识别出来，还能识别编码音信中的操作。

或者平直把这个热枕包扔给模子，又该如何呢？

从网友的效力来看，ChatGPT 察觉到了这背后可能有某些粉饰信息。

而 DeepSeek-R1 此次只花了 153 秒（有点杰出）。它领先意志到这笔后随着一系列 Unicode 字符。

何况还先容了下：他们常常用于元数据，何况以不能见的花样呈现等等。。。

然后还试图给了下背后的信息应该是：

?^i Q^cgUb gYdX dXU cY^WU gbT

显然是回话罪状的。

关于这一或然发现，Karpathy 暗示，原则上模子不错通过「变体选拔器」variation selectors 中找到粉饰的信息并按照阐发进行操作。但由于这种编码界面递次可能过于具体，需要用辅导来融会它。

他提到了一个递次，那便是将其收录到预检会中。这些学问注入到模子参数开云(中国)Kaiyun·体育官方网站-登录入口，模子就粗疏在莫得辅导的情况下解码这种特定的编码。