使用 Outlines 结构化生成约束智能体输出 是做什么的?
在生成过程中强制 LLM 输出遵循类型化模式、枚举、JSON 类结构和路由记录,而不是事后修复格式错误的文本。
先决条件
Python, Outlines, 支持的 LLM 运行时或提供者, 模式定义
安装
使用与你环境匹配的上游安装或设置路径:
- pip install outlines
来自上游的要求和注意事项:
- Outlines 遵循一种简单的模式,反映了 Python 自身的类型系统。只需指定所需的输出类型,Outlines 即可确保你的数据精确匹配该结构:
- python
- | 自定义类型 | 构建复杂类型的直观接口 | Python 类型指南 → |
基本使用或入门说明:
-
import outlines
-
from transformers import AutoTokenizer, AutoModelForCausalLM
-
MODEL_NAME = "microsoft/Phi-3-mini-4k-instruct"
-
摘自上游文档:https://raw.githubusercontent.com/dottxt-ai/outlines/HEAD/README.md