原创 Paper | 关于 Chat Template 注入方式的学习

主要观点总结

本文介绍了关于大语言模型聊天模版的安全性问题，包括已知的聊天模版注入方式、不同框架对聊天模版的处理方式以及可能存在的安全风险。文章还提及了一些未验证的畅想和对其他大语言模型框架的初步研究。

关键观点总结

关键观点1: 聊天模版的应用场景和注入方式

聊天模版在大语言模型中扮演桥梁角色，将用户输入整理成固定格式发送给大语言模型。如果不经过过滤处理，用户输入的特殊字符可能会被当作特殊token处理，存在SQL注入等安全风险。

关键观点2: 不同框架对聊天模版的处理方式

Ktransformers框架在处理聊天模版时未做任何过滤处理，存在潜在的安全风险。而llama3则使用tiktoken作为分词器，对特殊token进行了处理，避免用户输入的特殊token被编码后输入大语言模型。

关键观点3: 存在的安全风险

注入特殊token可能会影响大语言模型的输出，甚至改变模型的处理结果。此外，论文中还提到了格式不匹配攻击、超长溢出攻击等可能存在的安全风险。

关键观点4: 未验证的畅想

文章提及了一些未经验证的想法，如HTTP走私攻击、利用Function Calling功能进行攻击等，这些想法的可行性需要进一步验证。

免责声明