聊聊 OpenAI API 检测机制,顺便分享下国内大模型 API 性能指标(TPS、TTFT、 Context 等)

12次阅读

共计 367 个字符,预计需要花费 1 分钟才能阅读完成。

OpenAI 的开发者数据隐私协议就是个笑话,这次封禁我怀疑是抽样检测了我的传输内容(利用 API 访问 OpenAI 服务时,大多数时候交互语言都是中文,就会被标记),而不是以往的 IP 检测。我一直安然无恙的海外住宅 ip 自建代理,去年 11 月份和今年 3 月份两波封禁都没事,这次都被警告了,开发者等级都 tier5 了。

长期来看,得做好放弃 OpenAI,转战国内大模型的准备了,于是最近做了一个国内大模型 API 性能监控网站,自动实时更新的,支持查看每家模型的首 token 时延(TTFT),每秒输出 token 数(TPS)、输入输出价格、支持的上下文长度等统计,并且点击模型名称可以一键抵达模型介绍页,支持对单一指标进行排序,可以对任意多个模型的性能进行比较。

更多内容,自行探索,网站直达 👉:https://llmbenchmark.liduos.com/

正文完
 0