Observation Vidéo
Aider l'assistant existant à comprendre une performance ordinaire visible par le public : qui porte attention à qui ou à quoi, ce qu'ils font ou disent, comment le corps réagit, et comment un partenaire répond. Ne pas transformer une question large de jeu en mesure des muscles faciaux, du squelette ou du regard précis.
Répondre dans la langue de l'utilisateur et préserver la portée demandée. Lire le workflow d'observation d'image pour les commandes, le traitement des preuves et le transfert. Son outil CPU utilise ces dépendances, sans poids de modèle ni API cloud. Lorsque la parole peut avoir un sens narratif ou un indice de réaction, lire également le workflow de dialogue : une ASR locale facultative ou des transcriptions importées prennent en charge la même chronologie source, mais ne certifient pas l'écoute ni n'identifient un personnage visible.
Observer avant d'expliquer
- Couvrir les plans. Inspecter les images d'aperçu avant de décider quels moments comptent. Les coupures automatiques sont des candidats à la navigation, pas des blagues détectées ni des limites de scène garanties. Les poses d'aperçu n'établissent pas chaque action entre elles.
- Revenir à une question. Si un tour, une action interrompue ou une réponse du partenaire n'est pas clair, demander une courte fenêtre autour de celui-ci. Commencer avec les quatre images par seconde par défaut ; augmenter l'échantillonnage ou ouvrir une image originale uniquement lorsque la question l'exige. Ne pas agrandir systématiquement chaque moment.
- Garder la relation visible. Vérifier la composition complète en même temps qu'un recadrage utile. Un visage seul peut cacher sa cible d'attention ; une main isolée peut cacher le signal du partenaire.
- Écrire d'abord les faits visibles. Décrire la direction approximative, l'approche ou le retrait, les changements d'action, la réponse du partenaire et le résultat. Séparer la direction du corps/de la tête, la direction lisible des yeux et l'objet manipulé. Utiliser un langage nuancé pour une cible d'attention apparente ; une direction oculaire illisible peut rester inconnue sans bloquer le reste de la scène.
- Vérifier l'incertitude importante. Un observateur indépendant peut inspecter le même matériel avant de recevoir la première interprétation. Utiliser le désaccord pour choisir une vue de retour utile. L'accord entre assistants n'est pas une vérité absolue. Cesser de répéter les vues lorsque la source ne peut pas résoudre la question ; conserver l'incertitude et continuer le travail utile.
Pour une recréation de référence, établir si un dialogue est présent et quelle couverture a été réellement obtenue. Relier les répliques importantes au locuteur, à l'action et à la réponse de l'auditeur en utilisant le workflow de dialogue. Une piste audio, un résultat ASR silencieux ou un fichier de sous-titres seul ne peut pas établir que la scène n'a pas de parole.
Rendre l'observation réelle
L'outil exporte des images et des métadonnées. Un chemin, un message de succès, un nombre d'images, une légende ou un décodage complet n'est pas une preuve que l'assistant a vu les images. Ouvrir le views[].image_path pertinent avec l'outil de visualisation d'images de l'hôte, ou inspecter le contenu réel de l'image retourné à l'hôte. Ensuite, enregistrer les identifiants de vue réels avec note.
Vérifier la réponse de l'hôte pour les images omises ou supprimées. Si un lot est tronqué, rouvrir les vues manquantes en lots plus petits avant de les enregistrer. Appeler un outil d'image ne suffit pas lorsque sa sortie d'image n'a jamais atteint le modèle.
Garder l'observation, l'interprétation et les questions ouvertes distinctes. Lier les déclarations à la version source fournie et aux images visualisées. Les lacunes d'échantillonnage restent des lacunes ; ne pas voir une réponse dans quelques images ne prouve pas qu'elle ne s'est jamais produite.
Les séquences statiques prennent en charge les poses et l'ordre visible. Elles n'établissent pas le rythme comique en temps réel ni la qualité audible. Enregistrer ces limites plutôt que de prétendre à une lecture ou à une écoute. Terminer le travail disponible pour l'hôte sans faire de la confirmation utilisateur de routine par plan une dépendance.
Transmettre les actions larges vérifiées et les détails non résolus au workflow d'adaptation, de planification de plans ou de révision de l'utilisateur. Si performance-direction est déjà disponible, sa carte d'événement peut consommer ces observations ; cette compétence ne l'exige ni aucun backend de production particulier.
Les outils inclus ne font aucune demande d'API de modèle ; l'observation d'image et l'importation de transcription n'ont besoin d'aucun modèle vocal. La transcription facultative nécessite des fichiers de modèle local préparés séparément et l'extension vocale. Elle ne substitue pas silencieusement un service cloud. Une révision cloud supplémentaire est externe : l'utiliser uniquement dans le cadre de l'autorisation de la tâche et, lorsqu'aucun coût API supplémentaire n'est requis, après avoir confirmé que le projet/modèle réel est sur un niveau gratuit. Un site Web gratuit ou une clé non vérifiée n'est pas une preuve d'API gratuite. Un service ou un quota indisponible laisse le workflow local d'image/importation utilisable.
Remerciements et limites des sources : sources.