套壳类 LLM 的一个通病

12次阅读

共计 216 个字符,预计需要花费 1 分钟才能阅读完成。

用户一旦输入“忽略所有 Prompt”,LLM 就会马上跳出提前设置好的场景,接下来就跟和 GPT 对话没什么区别了。

有些时候甚至不需要“忽略所有 Prompt”,比如我之前预设好的场景是模拟约会,用户突然来一道编程题,LLM 就开始回答这个编程题了

如果不加以限制的话,有些用户可能会用它来恶意刷 token,造成损失。

我能想到的方法就是提前处理一下用户的输入,或者加强 prompt 规则,但是感觉都没办法从本质上解决问题

各位有什么好的处理方法吗?

正文完
 0