mitsuhiko/agent-stuff

agent-stuff 是做什么的？

使用缓存的 MLX Whisper 模型快速转录本地音频/视频和 Apple 语音备忘录，包括质量不佳或低质量的音频。

概述

该工具允许用户通过简单的自然语言命令，利用 MLX Whisper 模型对本地音频或视频文件（包括 Apple 语音备忘录）进行转录。它通过缓存模型权重来减少重复加载时间，并特别针对低质量或噪声音频进行了优化。转录结果将直接以文本形式返回，无需手动处理模型或文件格式。

使用方法

要转录一个文件，只需向 AI 助手提供文件路径或 Apple 语音备忘录的标识符。例如：

• “帮我转录桌面上的 meeting.m4a 文件”
• “转录我 Apple 语音备忘录中名为 ‘讲座录音’ 的那个”
• “将 /path/to/video.mp4 中的音频转录出来”

AI 助手会自动检测文件格式，调用合适的 MLX Whisper 模型（默认是 mlx-community/whisper-large-v3-turbo，首次使用时会自动缓存），并返回转录后的文本内容。

支持的平台

• macOS（原生，利用 MLX 加速）
• 任何支持 MLX 的 Linux 环境
• Apple 语音备忘录（通过本地数据库读取）

前置条件

• 系统中需安装 mlx 和 mlx-whisper Python 包。
• 对于非 macOS 系统，可能需要额外配置 MLX 后端。

示例

用户：请转录 `~/Downloads/interview.wav`

AI 助手：正在使用缓存的 MLX Whisper 模型转录...
转录结果：
[在此处显示转录文本]

注意事项

• 所有处理均在本地完成，不会上传任何音频数据到外部服务器。
• 模型首次运行时会自动下载并缓存到本地目录（通常位于 ~/.cache/huggingface/），后续转录速度将显著提升。
• 对于较长的音频文件，处理时间可能较长，请耐心等待。
• 不支持实时流式转录，仅适用于已录制好的文件。