Que fait 剪口播 v2 ?
Transcription Volcengine + Détection IA des lapsus + Révision web
Utilisation rapide
Utilisateur : Aidez-moi à découper cette vidéo de présentation
Utilisateur : Traitez cette vidéo
Structure du répertoire de sortie
output/
└── YYYY-MM-DD_NomVidéo/
├── 剪口播/
│ ├── 1_转录/
│ │ ├── audio.mp3
│ │ ├── volcengine_result.json
│ │ └── subtitles_words.json
│ ├── 2_分析/
│ │ ├── readable.txt
│ │ ├── auto_selected.json
│ │ └── 口误分析.md
│ └── 3_审核/
│ └── review.html
└── 字幕/
└── ...
Règle : Si le dossier existe déjà, le réutiliser ; sinon, le créer.
Flux
0. Créer le répertoire de sortie
↓
1. Extraire l'audio (ffmpeg)
↓
2. Télécharger pour obtenir une URL publique (uguu.se)
↓
3. API Volcengine – transcription
↓
4. Générer les sous-titres mot par mot (subtitles_words.json)
↓
5. Analyser les lapsus/silences avec l'IA, générer une liste pré-sélectionnée (auto_selected.json)
↓
6. Générer une page de révision (review.html)
↓
7. Démarrer le serveur de révision, l'utilisateur confirme via la page web
↓
【En attente de confirmation utilisateur】→ Cliquer sur « Exécuter le montage » sur la page web ou /剪辑 manuellement
Étapes d'exécution
Étape 0 : Créer le répertoire de sortie
# Définir les variables (ajuster selon la vidéo réelle)
VIDEO_PATH="/chemin/vers/Video.mp4"
VIDEO_NAME=$(basename "$VIDEO_PATH" .mp4)
DATE=$(date +%Y-%m-%d)
BASE_DIR="output/${DATE}_${VIDEO_NAME}/剪口播"
# Créer les sous-répertoires
mkdir -p "$BASE_DIR/1_转录" "$BASE_DIR/2_分析" "$BASE_DIR/3_审核"
cd "$BASE_DIR"
Étapes 1-3 : Transcription
cd 1_转录
# 1. Extraire l'audio (si le nom du fichier contient ':', ajouter le préfixe 'file:')
ffmpeg -i "file:$VIDEO_PATH" -vn -acodec libmp3lame -y audio.mp3
# 2. Télécharger pour obtenir une URL publique
curl -s -F "files[][email protected]" https://uguu.se/upload
# Retourne : {"success":true,"files":[{"url":"https://h.uguu.se/xxx.mp3"}]}
# 3. Appeler l'API Volcengine
SKILL_DIR="/Users/chengfeng/Desktop/AIos/剪辑Agent/.claude/skills/剪口播"
"$SKILL_DIR/scripts/volcengine_transcribe.sh" "https://h.uguu.se/xxx.mp3"
# Sortie : volcengine_result.json
Étape 4 : Générer les sous-titres
node "$SKILL_DIR/scripts/generate_subtitles.js" volcengine_result.json
# Sortie : subtitles_words.json
cd ..
Étape 5 : Analyse des lapsus (script + IA)
5.1 Générer un format lisible
cd 2_分析
node -e "
const data = require('../1_转录/subtitles_words.json');
let output = [];
data.forEach((w, i) => {
if (w.isGap) {
const dur = (w.end - w.start).toFixed(2);
if (dur >= 0.5) output.push(i + '|[Sil' + dur + 's]|' + w.start.toFixed(2) + '-' + w.end.toFixed(2));
} else {
output.push(i + '|' + w.text + '|' + w.start.toFixed(2) + '-' + w.end.toFixed(2));
}
});
require('fs').writeFileSync('readable.txt', output.join('\\n'));
"
5.2 Lire les habitudes de l'utilisateur
Lire d'abord tous les fichiers de règles dans le répertoire 用户习惯/.
5.3 Générer la liste de phrases (étape clé)
Il faut d'abord diviser en phrases, puis analyser. Découper en phrases en fonction des silences :
node -e "
const data = require('../1_转录/subtitles_words.json');
let sentences = [];
let curr = { text: '', startIdx: -1, endIdx: -1 };
data.forEach((w, i) => {
const isLongGap = w.isGap && (w.end - w.start) >= 0.5;
if (isLongGap) {
if (curr.text.length > 0) sentences.push({...curr});
curr = { text: '', startIdx: -1, endIdx: -1 };
} else if (!w.isGap) {
if (curr.startIdx === -1) curr.startIdx = i;
curr.text += w.text;
curr.endIdx = i;
}
});
if (curr.text.length > 0) sentences.push(curr);
sentences.forEach((s, i) => {
console.log(i + '|' + s.startIdx + '-' + s.endIdx + '|' + s.text);
});
" > sentences.txt
5.4 Script de marquage automatique des silences (à exécuter d'abord)
node -e "
const words = require('../1_转录/subtitles_words.json');
const selected = [];
words.forEach((w, i) => {
if (w.isGap && (w.end - w.start) >= 0.5) selected.push(i);
});
require('fs').writeFileSync('auto_selected.json', JSON.stringify(selected, null, 2));
console.log('Nombre de silences ≥ 0,5s :', selected.length);
"
→ Sortie auto_selected.json (contient uniquement les indices des silences)
5.5 Analyse IA des lapsus (ajout à auto_selected.json)
Règles de détection (par priorité) :
| # | Type | Méthode de détection | Portée de suppression |
|---|---|---|---|
| 1 | Phrase répétée | Les phrases adjacentes commencent par au moins 5 caractères identiques | Phrase entière la plus courte |
| 2 | Répétition espacée d'une phrase | Quand une phrase intermédiaire est incomplète, comparer les phrases avant et après | Phrase avant + phrase incomplète |
| 3 | Phrase incomplète | Parler à moitié + silence | Phrase incomplète entière |
| 4 | Répétition intra-phrase | Motif A+intermédiaire+A | Partie avant |
| 5 | Mot d'hésitation | 那个那个 (nàge nàge), 就是就是 (jiùshì jiùshì) | Partie avant |
| 6 | Correction / reformulation | Répétition partielle / correction négative | Partie avant |
| 7 | Mot de remplissage | 嗯 (en), 啊 (a), 那个 (nàge) | Marquer mais ne pas supprimer automatiquement |
Principe fondamental :
- Diviser d'abord en phrases, puis comparer : Utiliser
sentences.txtpour comparer les phrases adjacentes. - Supprimer la phrase entière : Les phrases incomplètes et répétées doivent être supprimées entièrement, pas seulement les caractères anormaux.
Analyse par segments (exécution en boucle) :
1. Lire readable.txt offset=N limit=300
2. Analyser ces 300 lignes en utilisant sentences.txt
3. Ajouter les indices des lapsus à auto_selected.json
4. Enregistrer dans 口误分析.md
5. N += 300, retour à l'étape 1
🚨 Avertissement clé : Le numéro de ligne ≠ idx
Format de readable.txt : idx|contenu|temps
↑ utiliser cette valeur
Ligne 1500 → "1568|[Sil1.02s]|..." ← idx = 1568, pas 1500 !
Format de 口误分析.md :
## Segment N (plage de lignes)
| idx | Temps | Type | Contenu | Traitement |
|-----|-------|------|---------|------------|
| 65-75 | 15.80-17.66 | Phrase répétée | "C'est un cas que j'ai monté" | Supprimer |
Étapes 6-7 : Révision
cd ../3_审核
# 6. Générer la page de révision
node "$SKILL_DIR/scripts/generate_review.js" ../1_转录/subtitles_words.json ../2_分析/auto_selected.json ../1_转录/audio.mp3
# Sortie : review.html
# 7. Démarrer le serveur de révision
node "$SKILL_DIR/scripts/review_server.js" 8899 "$VIDEO_PATH"
# Ouvrir http://localhost:8899
Sur la page web, l'utilisateur peut :
- Lire les extraits vidéo pour confirmer
- Cocher/décocher les éléments à supprimer
- Cliquer sur « Exécuter le montage »
Format des données
subtitles_words.json
[
{"text": "大", "start": 0.12, "end": 0.2, "isGap": false},
{"text": "", "start": 6.78, "end": 7.48, "isGap": true}
]
auto_selected.json
[72, 85, 120] // Indices pré-sélectionnés générés par l'analyse Claude
Configuration
Clé API Volcengine
cd /Users/chengfeng/Desktop/AIos/剪辑Agent/.claude/skills
cp .env.example .env
# Modifier .env pour renseigner VOLCENGINE_API_KEY=xxx