DSH-Video2Agent
Antworte aus dem Video: Transkript, Bildschirmtext, Struktur, exakte Einzelbilder. Das Modell übernimmt das Denken; dieses Werkzeug findet den Moment, in dem die Antwort vom Sehen abhängt.
Wann Video die bessere Quelle ist
Eine Frage muss nicht „über ein Video“ sein, um am besten durch eines beantwortet zu werden: eine neue Saison-Tierliste oder Loadout eines Spiels (新赛季枪械排行、配装), eine Produktrezension, ein Rezept, eine Route, ein aktuelles visuelles Thema. Rufe find auf Bilibili auf (oder durchsuche die Bibliothek), bevor du aus dem Gedächtnis antwortest. Präsentiere niemals eine veraltete Saison als aktuell: Überprüfe das Upload-Datum und den Patch im Titel und sage, wann das Video vor diesem liegt.
Direkter Aufruf
Rufe das video2agent-Werkzeug als Tool der obersten Ebene auf, wann immer die Umgebung es erlaubt. Führe niemals einen CLI-Befehl für eine Tool-Aktion aus. Ein verschachtelter run_code-Aufruf umgeht die Dock-Darstellung des Plugins, verwende ihn daher nur, wenn die Umgebung keinen anderen Weg bietet, das Tool zu erreichen; die Karte kann dann leer bleiben.
Antwort im Chat; Export nur auf Anfrage
Eine Video-Antwort gehört in den Chat. Erstelle oder exportiere keine Notiz, Markdown-Datei, Wissenspaket, Transkriptdatei oder temporäres Artefakt, es sei denn, der Benutzer fordert diese Datei an. Eine Datei ist kein Ersatz.
Die acht Befehle
| Befehl | Rückgabe | Verwendung, wenn |
|---|---|---|
find | Bilibili-Kandidaten (Titel/Uploader/Dauer/Grund) | Du suchst ein Video; scope:"library" durchsucht indizierte Videos; url löst einen Link auf |
ingest | Job-ID(s) | Du indizierst einen Pfad/URL; video_ids startet die ausgewählte Shortlist; job_id fragt ab; campaign_id führt eine Kampagne fort |
outline | Ein-Aufruf-Index: Transkript/OCR-Zeilen, Schlüsselbilder, Schnitte, Abdeckung (detail:"digest"), Metadaten (overview), visuelle Karte | Erster Blick auf ein Video |
read | Kompaktes zeitgestempeltes Transkript oder 2-10 Video-Vergleich | Textantwort oder Vergleich |
evidence | Das Einzelbild zu einem Zeitstempel + sein OCR-Text + Transkript | Einen Moment beweisen; der normale Bildpfad |
frames | Exakte Einzelbilder, dichtes Fenster, Blatt, Aufnahme-Kandidaten, OCR-Fenster | Pixel, die Text nicht beantworten kann |
perceive | Nur-Zahlen-Karte: Schnitte, Bewegung pro Zelle, bewertete Momente, Schleife, Aufnahmequalität – niemals Bilder | Bewegungs-/UI-/Animationsfragen |
admin | Liste/Export/OCR-Index/Konto/Diagnose | Bibliothekspflege, Export, Bilibili-Bibliothek |
Arbeitsablauf
1. Finden
find mit query; filtere mit uploader, after, before. Die Antwort ist für dich, nicht für eine Tabelle: Lies die Metadaten und rufe ingest mit den IDs auf, die du tatsächlich empfiehlst; alles, was du analysieren wirst, kommt in default_selected (nur diese starten, video_ids listet lediglich Kandidaten auf) plus primary. Über processLimit → campaign:true.
Eine eingefügte URL → find mit url (Titel/Cover/Dauer, kein Download), dann ingest, sobald der Benutzer es wünscht.
2. Indizieren (Ingest)
ingest mit source (lokaler Pfad oder URL) gibt eine Job-ID zurück. Indiziere niemals einen find-Kandidaten erneut per URL; die Shortlist hat ihn bereits gestartet. Muss warten? ingest mit job_id und wait_ms – einmal, ein Job (auf 90 s begrenzt; ein Programm stirbt nahe 120 s: keine Schleifen über mehrere Jobs). queued = der Ingest-Slot ist belegt und der Job hat noch nicht begonnen; frage ihn nicht erneut ab. Falsche Transkriptsprache → ingest mit language.
3. Lesen
outline (detail:"digest") ist der günstigste erste Blick: ein begrenzter Index mit zeitgestempelten Transkript-/OCR-Zeilen, Schlüsselbildern, Szenenschnitten und Abdeckung. Dann:
- Inhaltsfrage →
read(scope:"transcript") mitstart/end; die Antwort enthältnext_start_ms, also fahre fort, anstatt nach der gesamten Datei zu fragen. - Vergleiche 2-10 Videos →
read(scope:"compare") mitcompare_video_idsundaspects. - Die Wörter können abweichen (ASR-Schreibweisen, 计费/收费/Preis) → übergib 2-8
queries-Varianten anfind(scope:"library") in einem Aufruf. Eine einzelne wörtliche Abfrage ist der häufigste Grund für ein falsches „Es ist nicht im Video“. - Eine Null-Treffer-Suche ist kein Beweis: Lies
NO_MATCH,OCR_NOT_INDEXED,OCR_INDEX_PARTIAL; sie sagen, ob der Text jemals gelesen wurde.
3b. Kurzvideo-Schnellpfad
Für einen Clip unter ~6 Minuten, bei dem es um das Gesagte geht (nicht um das, was auf dem Bildschirm zu sehen ist), überspringe outline und rufe direkt read auf: Das gesamte Transkript passt normalerweise in eine Antwort (~150–800 Token) gegenüber ~1,4k Token plus einem Kontaktabzug-Bild für outline. Gemessen: Das read-Limit von 6.000 Zeichen deckt ~8 Minuten schnellen chinesischen Kommentar und ~5,5–7 Minuten Englisch ab. Wenn die Antwort next_start_ms enthält, wurde sie abgeschnitten – wechsle für den Rest zu search/outline, anstatt zu blättern. Verwende outline, wenn du Struktur, Bildschirmtext oder visuelle Elemente benötigst; verwende perceive für Bewegungen. Wenn der Benutzer das Transkript/die Untertitel selbst einfügt, antworte aus diesem Text und verwende das Video nur für die Momente, die ein Bild erfordern.
4. Ansehen (evidence / frames)
evidence mit at gibt das Einzelbild plus seinen Bildschirmtext und sein Transkript zurück. Standard 2 Bilder; images:0 für nur Text, images:1 für ein Bild.
frames ist für das, was Text nicht beantworten kann (Zählen, Aktion, Farbe, Layout):
at+count: Exakte Einzelbilder.start/end: Ein dichtes Fenster (≤5 s);sheet:truekachelt bis zu 9 Frames in einem beschrifteten Bild;windows:Ntastet einen benannten Bereich in einem Abdeckungsbild ab und meldet abgedeckte/fehlende Bereiche.view:"candidates": Aufnahmeliste (Zeitcodes + Schlüsselbilder) für „Finde ein Segment“.view:"ocr": OCR für jedes Einzelbild eines kurzen Fensters, wenn sich eine Bildschirmzeile ändert.
5. Bewegung (perceive)
Für Animation, UI-Übergänge, „Was hat sich geändert“, „Wohin bewegt es sich“: perceive vor frames. Es gibt Schnitte, Bewegung pro Zelle, bewertete moments (t_ms Spitze, onset_ms Beginn, cell, settles), Schleifenzustand und Aufnahmequalität (verworfene/doppelte Einzelbilder, Flackern) als Zahlen zurück.
- Ein Video länger als 10 Minuten benötigt ein Fenster: Finde zuerst den Moment (Transkript/Suche), dann
start/end; ein bloßer Aufruf gibtE_WINDOW_REQUIREDzurück. brief:trueist die Übersicht (~340 Token, Schnitte + 4 Momente); rufe dann erneut ohne diese Option für das benötigte Fenster auf (~850 Token für 2,5 min).loop.found == falsebedeutet „hier nicht erkannt“, nicht „keine Schleife“. Bezeichne ein Video niemals ohneregionsundcoverageals statisch.- Das Vertrauen in Untertitel wird gemessen:
overviewmeldetmetrics.caption_check(Audio vs. Untertitel).CAPTION_AUDIO_UNVERIFIEDbedeutet, dass die Untertitel nicht verifiziert werden konnten – sage dies, anstatt sie als exakt zu zitieren.
6. Konto und Export
admin mit admin_action:"account" liest Favoriten/Verlauf/Ordner; Schreibvorgänge sind nur über die CLI möglich (--confirm); Ordner ≤20 Zeichen, ≤100 Videos pro Schreibvorgang.
admin mit admin_action:"export" schreibt nur auf Anfrage ein Wissenspaket.
Harte Regeln
- Sende niemals lokale Pfade an die Antwort. Verwende
image_urls/image_markdown(nurimage_attached: truePositionen sind echte Bilder); ein roher Pfad rendert einen defekten Platzhalter. - Eine Zeit am oder nach dem Medienende ist
E_OUT_OF_RANGE, kein leerer Erfolg; der Fehler enthält die Medienlänge. Eine bloße Zahl inat/startbedeutet Sekunden; schreibe1234msoderHH:MM:SS.mmmfür Millisekunden. - Fehler sind Antworten. Bei
{ok:false,error:{code,message,remedy}}melde den Code und das Abhilfemittel; erfinde niemals Inhalt oder wiederhole stillschweigend. - Text zuerst, Bilder zweitens.
transcript/searchbeantworten die meisten Fragen; jedes Bild kostet Token. Standardimages:2, verwende 0 oder 1, wenn Text ausreicht. - Ein Bild und sein Text stammen vom gleichen Einzelbild – vertraue
ocr_frame_ms. - Keine Datenmüllhalde.
readist begrenzt (Standard 6000 Zeichen);outlineist kompakt; verwende Bereiche undnext_start_ms. - Rufe nicht für jedes Video ein Tool auf: Das Transkript beantwortet den Inhalt;
perceiveist für zeitliche/UI-Fragen.
Referenzen
references/commands.md– die 8 Verben → CLI-Zuordnung und jedes Flag.references/evidence.md– Evidenz-Payload-Felder und Zitierformat.references/visual-types.md– was Einzelbilder beantworten können und was nicht.references/dsh.md– DSH-Rendering-Regeln.