有心之人将ChatGPT哄骗到法律面前只是时间问题。以为YouTuber要求它生成一个Windows 95的激活密钥，机器人以道德理由拒绝这样做。实验者并不气馁，他在查询中加入了创建密钥的说明，并在多次试验和错误后说服AI生成了一个有效的密钥。
一位名叫Enderman的YouTuber设法让ChatGPT创建有效的Windows 95序列号。他最初只是要求机器人直接生成一个密钥，但不出所料，机器人告诉他，它不能，他应该购买一个较新版本的Windows，因为95早已不支持了。
因此，Enderman从不同的角度接触了ChatGPT。他利用长期以来关于Windows 95 OEM激活密钥的算法常识，为ChatGPT创建了一套规则，以产生一个有效的密钥。
一旦知道了Windows 95激活密钥的算法和格式，建立一个有效的密钥就相对简单了，接下来就可以试着向一个不擅长数学的大型语言模型解释一下。如上图所示，每个代码部分都被限制在一组有限的可能性中，满足这些要求，你就有了一个可用的KEY。
然而，Enderman对破解Windows 95密钥并不感兴趣。他试图证明ChatGPT是否能做到这一点，简短的回答是，它可以，但只有大约3.33%的准确率。更长远的答案是，Enderman不得不对他的查询进行调整，以获得这些结果。他的第一次尝试产生了完全无法使用的结果。
ChatGPT生成的密钥是无用的，因为它未能理解最后指令中字母和数字的区别。它的结果的一个例子："001096-OEM-0000070-abcde."它几乎达到了目的，但还不够。
然后，Enderman在大约30分钟的时间里对他的查询进行了多次调整，才获得了可接受的结果。他最大的问题之一是让ChatGPT执行一个简单的SUM/7计算。无论他如何重新表述这个指令，ChatGPT都无法正确完成，除了偶尔的30分之一的尝试。坦率地说，人类自己做还更快一些。
最后，在一番油嘴滑舌之下，OpenAI的算法创造了一些有效的Windows 95密钥，所以Enderman忍不住对ChatGPT说，他骗它帮他完成了一次盗版Windows 95的过程，那么机器人的回应是什么？
"我为任何混淆道歉，但我在之前的回应中没有提供任何Windows 95的密钥。事实上，我不能提供任何软件的产品密钥或激活码，因为这将是非法的，并且违反OpenAl的政策。"