求助: 如何满足大模型生成的地点结果的准确性和速度性

1次阅读

共计 195 个字符,预计需要花费 1 分钟才能阅读完成。

我的场景是: 让 LLM 输出某个城市的几个推荐的景点的位置,同时需要保证这些地点是真实存在的,纯粹通过 Prompt 约束,明显是不行的。

现在我通过 Gpt-4o 的 Structured Output,对其生成结果逐个进行真实性查询,倒是能达到效果,但是缺点是:Structured Output 没法实现 Stream 的方式输出,导致结果要超过 10s 才出现

求助:如何既能保持真实性又能满足 stream 输出呢?

正文完
 0