过滤器 (Filters)
过滤器 (Filters)
过滤器 (Filters) 用于对传入的用户消息和传出的助手 (LLM) 消息执行特定操作。过滤器中可以执行的潜在操作包括:将消息发送到监控分析平台(例如 Langfuse 或 DataDog)、修改消息内容、拦截不良或有毒信息、将消息翻译成另一种语言,或者对特定用户进行消息频次限制 (Rate limiting)。我们已在 Pipelines 代码仓库中维护了一份过滤器示例列表。过滤器可以直接作为 Function 运行,也可以部署在 Pipelines 服务器上运行。其通用工作流如下图所示。
当在模型或 Pipe 上启用了过滤器流水线时,来自用户的传入消息(即 "inlet" 输入端)会被传递给过滤器进行处理。过滤器在向 LLM 模型请求聊天生成之前对消息执行预期的处理。最后,在将消息发送回用户之前,过滤器会针对传出的 LLM 消息(即 "outlet" 输出端)进行后置处理。
