技能:Codex逐课笔记引擎 🎓
该技能允许AI代理处理学术课堂录音(视频或音频)、分析视觉和语音材料,并生成用于 Obsidian 的高结构化、高性能大学笔记。
何时使用此技能
在以下情况下使用此技能:
- 用户要求你处理课堂录音(例如:“处理使用OBS录制的操作系统课程并生成笔记”)。
- 你想从包含幻灯片的视频或音频文件中综合或结构化笔记。
- 你想验证并将干净的笔记直接导出到用户的Obsidian vault中。
代理工作流程(逐步)
步骤 1:使用Codex准备会话包
运行Codex CLI以检查媒体、提取优化的音频轨(16kHz单声道)并检测幻灯片切换:
codex prepare "<路径到视频或音频>" --subject <课程名称或代码> [--date YYYY-MM-DD]
Codex生成的结果:
在.codex_bundles/<会话ID>/中创建一个工作包,包含:
manifest.json:技术元数据、时长、课程和带时间戳的幻灯片列表。agent_context.md:综合说明和课程模板。audio/lecture.opus:为聆听和转录优化的音频轨。slides/slide_HHMMSS.png:对应每次幻灯片切换的去重屏幕截图。
步骤 2:检查材料
- 读取包文件夹中的
manifest.json和agent_context.md,了解课程元数据和捕获的幻灯片列表。 - 检查
slides/中的图像(分析图、屏幕上的代码、公式和幻灯片标题)。 - 分析音频轨或语音内容,以转录和综合教师的讲解。
步骤 3:综合Obsidian笔记
严格遵循以下学术指南编写Markdown内容:
- YAML Frontmatter:
---
课程: "<课程名称>"
代码: "<代码>"
日期: YYYY-MM-DD
教师: "<教师姓名>"
状态: 已处理
标签: [<课程标签>]
---
-
主标题:
# <课程>:<会话核心主题> -
📌 任务、截止日期和管理通知: 提取考试通知、作业、截止日期和特殊条件:
- [ ] [HH:MM:SS] 作业描述(截止日期:...) -
🧠 核心概念与考试提示: 使用Obsidian原生标注框:
> [!tip] 关键概念:[概念]定义和理论重要性。> [!warning] 考试提示:[重点强调的点]当教师强调关键方面或常见错误时。> [!example] 实际演示示例、演示或实际案例。
-
📝 课程的时间与概念进展: 按时间戳组织的块:
### [HH:MM:SS] [处理的子主题]- 强制性视觉链接: 在教师引入或解释捕获到的幻灯片的精确分钟处,使用Obsidian语法插入其图像:
![[slide_HHMMSS.png]]。 - 描述幻灯片中与口头话语相关的图或可见代码。
- 使用LaTeX(KaTeX:行内
$公式$或块级$$公式$$)编写数学公式。 - 使用相应的代码块(
python、c、sql等)突出显示代码片段。
- 强制性视觉链接: 在教师引入或解释捕获到的幻灯片的精确分钟处,使用Obsidian语法插入其图像:
-
📜 按时间间隔索引的转录: 每2-3分钟逐字引用或忠实总结所述内容:
> [HH:MM:SS] 转录文本或相关引用...
步骤 4:导出到Obsidian
将生成的草稿保存到<bundle_dir>/notes.md并运行:
codex export "<bundle_dir>" "<bundle_dir>/notes.md"
Codex将:
- 验证文档。
- 自动将所有幻灯片图像复制到Obsidian附件文件夹(
attachments/Codex/)。 - 将笔记放置在vault内的课程文件夹中(
课程/<课程>/YYYY-MM-DD - <主题>.md)。 - 将
manifest.json中的状态更新为exported。
步骤 5:向用户确认
通知完成情况,包括生成的笔记在Obsidian中的路径、所学主题的简要摘要以及检测到的任务。