DocMeld は何をしますか?
軽量なPythonパイプラインを使用して、ドキュメントを構造化されたエージェント対応の知識に効率的に変換します。統合と自動化をサポートします。
概要
DocMeld は、生のドキュメント(Markdown、PDF、プレーンテキストなど)を、AIエージェントやLLMベースのアプリケーションが直接利用できる構造化チャンクに変換するためのツールです。
機能
- 複数フォーマット対応:Markdown、PDF、プレーンテキストをサポート
- チャンク分割:最適なサイズのチャンクに分割し、メタデータを付与
- メタデータ抽出:見出し、日付、タグなどの構造情報を抽出
- ベクトル化:OpenAI埋め込みAPI との統合
- 設定可能なパイプライン:YAMLによるカスタマイズ
- 外部ストレージ連携:ローカルファイルシステム、S3、ベクトルデータベースに対応
クイックスタート
pip install docmeld
from docmeld import Pipeline
pipeline = Pipeline.from_yaml('config.yaml')
pipeline.run('path/to/documents')
設定例
pipeline:
input:
path: ./docs
formats: [md, pdf, txt]
chunking:
strategy: recursive
max_size: 1000
overlap: 200
metadata:
extract: [heading, date, tags]
output:
format: json
path: ./output
統合
- Claude Code:
/skillsディレクトリに配置して利用 - Cline:スキルとしてロード可能
- Aider:カスタムインストラクションとして設定
詳細
詳細なドキュメントについては、mkai80/DocMeld のリポジトリを参照してください。