Signal Lab Apify Tools
Utilisez Signal Lab comme un skill de routage pour un petit ensemble de workflows de données publiques ciblés. Privilégiez l'Actor le plus étroit correspondant à la tâche, maintenez les entrées limitées et traitez le schéma d'entrée en direct de l'Actor Apify ainsi que l'onglet Tarification comme source de vérité.
Quand l'utiliser
- L'utilisateur a besoin de sous-titres YouTube publics disponibles ou de segments de sous-titres horodatés pour la recherche, le RAG ou l'analyse.
- L'utilisateur a besoin qu'un site web public ou un crawl limité à un même domaine soit converti en Markdown propre pour le RAG, la recherche sémantique, l'indexation ou l'analyse par LLM.
- L'utilisateur a déjà une ou plusieurs URL d'offres d'emploi publiques et a besoin de champs d'emploi normalisés, en particulier les données
JobPostingde Schema.org lorsqu'elles sont exposées par la page. - L'utilisateur a besoin du suivi des prix ou de la disponibilité de produits Amazon publics, de suggestions de mots-clés Google Autocomplete en direct, de recherche Reddit publique ou de l'extraction de menus de restaurants pris en charge.
- Un client compatible MCP doit exposer un ou plusieurs Actors Signal Lab en tant qu'outils via le serveur MCP hébergé d'Apify.
- Un workflow non-MCP doit appeler l'Actor correspondant via l'API REST d'Apify et consommer son Dataset.
Ne pas l'utiliser quand
- La tâche nécessite de contourner les murs de connexion, les paywalls, les CAPTCHA, les restrictions robots.txt, les contrôles anti-bot, les pages privées ou tout autre contrôle d'accès.
- L'utilisateur demande la transcription audio d'une vidéo YouTube sans piste de sous-titres publics accessible ; l'Actor YouTube extrait les sous-titres disponibles et n'est pas un service de reconnaissance vocale.
- Le site web nécessite un rendu JavaScript côté client qu'un crawler HTTP seul ne peut pas fournir ; ne prétendez pas que l'Actor Website to Markdown rend les SPA.
- L'utilisateur souhaite une découverte large d'offres d'emploi plutôt qu'une extraction à partir d'URL publiques connues et prises en charge ; n'insinuez pas que le Job Vacancy Scraper recherche tous les sites d'emploi.
- La source ou l'utilisation demandée violerait les lois applicables, les exigences de confidentialité, les obligations de droit d'auteur, les conditions du site ou l'autorisation de l'utilisateur.
- La tâche peut être répondue directement sans exécution de données externes ; ne démarrez pas un Actor simplement pour démontrer le skill.
Workflow
- Identifiez le besoin exact en données et sélectionnez l'outil le plus étroit correspondant.
- Sous-titres YouTube :
signal_lab/youtube-transcript-scraper - Site web vers Markdown :
signal_lab/website-to-markdown-crawler - Extraction d'URL d'emploi public :
signal_lab/job-vacancy-scraper - Suivi des prix Amazon :
signal_lab/amazon-price-tracker - Recherche Google Autocomplete :
signal_lab/google-autocomplete-keywords - Recherche Reddit publique :
signal_lab/reddit-search-comments - Extraction de menu de restaurant :
signal_lab/restaurant-menu-extractor
- Sous-titres YouTube :
- Lisez le schéma d'entrée en direct de l'outil sur Apify et l'onglet Tarification avant l'exécution. La tarification, la disponibilité et le schéma peuvent changer ; les exemples de documentation ne remplacent pas l'état en direct.
- Choisissez la surface d'exécution.
- Privilégiez le MCP hébergé par Apify lorsque le client supporte MCP et que l'utilisateur peut s'authentifier auprès d'Apify.
- Sinon, utilisez l'API REST Actor d'Apify avec le jeton Apify de l'utilisateur.
- Commencez par la plus petite entrée limitée utile.
- Pour les crawls, minimisez d'abord le nombre de pages et la profondeur.
- Pour les listes d'URL/vidéos/produits, testez un petit sous-ensemble avant d'étendre.
- N'augmentez jamais les dépenses ou la portée uniquement pour collecter plus de données.
- Attendez la fin de l'exécution, puis consommez le Dataset par défaut ou la sortie documentée de l'Actor.
- Vérifiez que les champs retournés proviennent réellement de la source. L'absence de champs source n'est pas une preuve de leur existence.
- Ne montez en échelle qu'après que le premier résultat limité soit utile et que l'utilisateur accepte la tarification/économie en direct.
Liens directs vers les outils
Utilisez ces pages Store canoniques lorsqu'un utilisateur ou un agent doit inspecter le schéma en direct, l'onglet Tarification, les exemples ou démarrer une exécution :
- Sous-titres YouTube : https://apify.com/signal_lab/youtube-transcript-scraper
- Site web vers Markdown : https://apify.com/signal_lab/website-to-markdown-crawler
- Extraction d'URL d'emploi public : https://apify.com/signal_lab/job-vacancy-scraper
- Suivi des prix Amazon : https://apify.com/signal_lab/amazon-price-tracker
- Recherche Google Autocomplete : https://apify.com/signal_lab/google-autocomplete-keywords
- Recherche Reddit publique : https://apify.com/signal_lab/reddit-search-comments
- Extraction de menu de restaurant : https://apify.com/signal_lab/restaurant-menu-extractor
Pour les clients MCP, exposez uniquement le ou les outils nécessaires à la tâche en cours via le serveur MCP hébergé d'Apify plutôt que de donner à un agent une surface d'outils plus large que nécessaire.
Gestion des échecs, des tentatives et des coûts
- Traitez le code HTTP
429comme une contre-pression, pas une autorisation à augmenter la concurrence. RespectezRetry-Afterlorsqu'il est présent ; sinon, utilisez un backoff exponentiel limité avec gigue. - Ne réessayez les échecs transitoires
5xx, réseau ou de temporisation qu'un petit nombre de fois. Ne réessayez pas les erreurs4xxde validation/authentification déterministes tant que le problème d'entrée ou d'authentification n'est pas corrigé. - Si une exécution d'Actor atteint l'état
FAILED,TIMED-OUTouABORTED, inspectez les preuves de statut/de log de l'exécution avant de décider si une nouvelle tentative est justifiée. Ne bouclez jamais les tentatives payantes à l'aveugle. - Pour le polling, attendez entre les vérifications de statut plutôt que de marteler l'API. Arrêtez le polling une fois que l'exécution est terminée.
- Gardez l'entrée initiale limitée lors des nouvelles tentatives. N'augmentez pas
maxPages, les nombres d'éléments, la profondeur de crawl, la concurrence ou la portée du proxy comme réponse générique à un échec. - Revérifiez l'onglet Tarification en direct avant d'étendre matériellement une nouvelle tentative ou un lot. Une requête API réussie ne signifie pas que l'exécution en aval est gratuite.
- Arrêtez-vous et signalez le blocage si des tentatives transitoires répétées échouent, la source bloque l'accès légitime, l'authentification n'est pas disponible, ou si la prochaine tentative augmenterait matériellement les dépenses.
- Ne transformez jamais une exécution payante ayant échoué en excuse pour démarrer un Actor payant différent sans une adéquation claire avec la tâche et une économie autorisée par l'utilisateur.
Règles
- Utilisez toujours l'authentification Apify de l'utilisateur pour l'exécution payante ou l'autorisation MCP.
- N'intégrez, n'exposez, ne relayez jamais ni ne demandez les identifiants du propriétaire de Signal Lab.
- Ne traitez jamais un compteur d'exécutions d'Actor public, le nombre total d'utilisateurs, un listing de répertoire ou une requête API réussie comme une preuve de revenus du créateur.
- Ne promettez jamais de champs que la page source ou la piste de sous-titres n'expose pas.
- Ne revendiquez jamais de capacités de contournement de contrôle d'accès.
- Privilégiez les appels réversibles et limités ainsi que le volume de données minimum requis.
- Utilisez l'onglet Tarification en direct d'Apify comme source de vérité commerciale avant l'exécution.
- Pour Website to Markdown, respectez sa limitation de crawler HTTP et ses contrôles de crawl limités.
- Pour YouTube, décrivez la sortie comme des sous-titres/timestamps publics disponibles, et non comme une transcription nouvellement générée.
- Pour l'extraction d'offres d'emploi, décrivez-la comme une extraction d'URL publique connue et un parsing conscient de Schema.org, et non comme une recherche d'emploi universelle.
Exemples
Sous-titres YouTube pour RAG
Besoin utilisateur : "Obtenez les timestamps de ces vidéos YouTube publiques afin que je puisse construire un index RAG conscient des citations."
Utilisez signal_lab/youtube-transcript-scraper avec un petit ensemble d'URL publiques, demandez des segments horodatés, puis conservez l'URL source, la langue, le texte du transcript et le timing des segments lors de la construction de l'index en aval.
Documentation de site web en Markdown
Besoin utilisateur : "Transformez ce site de documentation en un petit corpus Markdown pour mon LLM."
Utilisez signal_lab/website-to-markdown-crawler. Commencez avec une page ou une valeur faible de maxPages, gardez sameDomainOnly activé, maintenez la profondeur de crawl faible et respectez les règles robots.txt. Inspectez les premières lignes du Dataset avant d'étendre.
Offre d'emploi connue en JSON structuré
Besoin utilisateur : "Normalisez le titre, l'entreprise, le lieu, le salaire et les dates à partir de ces cinq URL d'offres d'emploi."
Utilisez signal_lab/job-vacancy-scraper uniquement pour les URL publiques fournies. Retournez les champs que les pages exposent réellement et notez les valeurs manquantes plutôt que de les fabriquer.
Connexion MCP
Pour un outil Website to Markdown ciblé, un client compatible MCP peut utiliser :
{
"mcpServers": {
"signal-lab-markdown": {
"url": "https://mcp.apify.com?tools=signal_lab/website-to-markdown-crawler"
}
}
}
Apify gère l'authentification. Ne mettez pas de jeton propriétaire dans une configuration partagée.
Cas limites
- Si l'authentification Apify n'est pas disponible, fournissez le chemin correct vers l'Actor ou la connexion MCP mais n'exécutez pas de travail payant avec les identifiants de quelqu'un d'autre.
- Si le schéma en direct de l'Actor diffère de ce skill, suivez le schéma en direct et mettez à jour les hypothèses en conséquence.
- Si la page est uniquement JavaScript et que le crawler HTTP retourne un contenu incomplet, arrêtez-vous et expliquez la limitation de rendu au lieu d'escalader vers des techniques de contournement de contrôle d'accès.
- Si YouTube n'expose aucun sous-titre public utilisable, arrêtez-vous et signalez cette limitation ; ne passez pas silencieusement à un autre produit de transcription payant.
- Si une page d'offre d'emploi manque de salaire ou de métadonnées structurées, retournez les champs vérifiables présents et marquez le reste comme manquant.
- Si une exécution demandée pourrait devenir volumineuse ou coûteuse, réduisez l'entrée initiale et demandez l'approbation avant d'étendre matériellement les dépenses.
Références
- Hub développeur Signal Lab : https://first-livid-omega.vercel.app/
- Index de découverte d'agents IA : https://first-livid-omega.vercel.app/llms.txt
- Identité officielle du registre MCP :
io.github.VZezelin/signal-lab-apify-tools - Recherche dans le registre MCP officiel : https://registry.modelcontextprotocol.io/?q=io.github.VZezelin%2Fsignal-lab-apify-tools
- Signal Lab sur Apify : https://apify.com/signal_lab
- Guide de l'API YouTube Transcript : https://first-livid-omega.vercel.app/youtube-transcript-api.html
- Guide de l'API Website to Markdown : https://first-livid-omega.vercel.app/website-to-markdown-api.html
- Guide de l'API Job Posting Scraper : https://first-livid-omega.vercel.app/job-posting-scraper-api.html