聊天生成AI的威胁是否被夸大了？

关键要点

• 研究表明人类在社交工程的表现上仍然优于ChatGPT。
• 专业的红队成员在发送钓鱼邮件时的点击率为4.2%，而ChatGPT为2.9%。
• 对安全意识较高的用户，打开钓鱼邮件的失败率显著下降。
• 长期来看，取得成功的可能是那些能善用AI技术的个人。
• AI生成内容仍处于初级阶段，社交工程的“艺术”目前还难以被完全模拟。

研究人员认为，现在是时候减少关于ChatGPT的恐慌、不确定性和怀疑了。Hoxhunt的研究表明，尽管ChatGPT在生成内容方面表现出色，但在诱使人类点击恶意邮件链接方面，人与机器之间的差距仍然明显。

根据一项涵盖全球100多个国家、调查了53,000名电子邮件用户的研究，专业的红队成员产生的点击率为4.2%，而ChatGPT生成的电子邮件点击率仅为2.9%。这项研究的结果支持了一个观点：至少在当前阶段，人类在欺骗其他人类的能力上占优。

点击率 | 人类红队成员 | ChatGPT生成邮件
—|—|—
点击率 | 4.2% | 2.9%

研究还发现，那些安全意识较高的用户能更好地识别钓鱼邮件，不论是来自人类还是ChatGPT生成的邮件。安全意识较高的用户失败率从不足训练的用户的14%以上，降至2%到4%。

Hoxhunt的联合创始人兼首席技术官PyryAvist表示，研究显示人类在这项任务中略微优于AI。然而，这种优势可能会随着更高级模型的出现而减弱，比如周二发布的ChatGPT4。Hoxhunt的研究结果是基于与ChatGPT 3.5的互动。

从长远来看，最大的区别或许不是人类与机器，而是那些能够利用新技术进行网络钓鱼和那些无法利用技术的人。Avist指出：“这是一项迅速发展的技术，将不断为操作者带来新的能力。随着人类学习如何使用这些技术，ChatGPT的表现将会更好。人与AI协同的钓鱼邮件之间的表现差距将会迅速缩小。”

Netenrich的首席威胁猎手JohnBambenek表示，ChatGPT帮助人们显著提升了写作效率。他指出，与其耗费20分钟撰写钓鱼邮件，不如使用专门的语言模型工具来代替。

Bambenek补充道：“我不确定策略会有多大变化，唯一不同的可能只是钓鱼邮件和网页的产出。因此，利用声誉工具的网络代理和邮件过滤解决方案将变得更加重要，以便更快地发现虚假信息，而不是依赖基于投诉的检测。”

Cybrary的高级安全研究员MattMullins表示，AI生成的内容仍处于初期阶段，因此红队成员的表现优于AI并不令人意外。社交工程本质上需要一定的“艺术”，而这一点即使是复杂的语言学习模型也难以掌握。

“这就是我相信人类在点击率方面表现良好的原因：人类能思考‘我会点击什么？’相比之下，ChatGPT产生的回应往往类似模板，过于一致。我在这个领域获得的重大成功，并非源于简单的模板，而是来自一封经过深思熟虑且极具吸引力的邮件，促使用户打破了‘好/坏’的思维定式，使他们停下来思考‘这是什么？’从而形成了社交工程师所热爱的灰色空间。”

Tanium的终端安全研究总监Melissa Bischoping表示，考虑到像ChatGPT和BingChat这样的工具对安全研究人员、科学界和更广泛社会的意义，令人兴奋。

Bischoping说：“安全确实是一门艺术，并且需要理解人类行为。AI无法置身于攻击者或受害者的角度，依我经验，它往往会过于精确地遵循规范。尽管AI是对智能的强大补充，但它永远不会取代智能。”

Avist最后指出，ChatGPT在回应电子邮件提问时，从