mwojtyczka/matillion-to-databricks

Qu'est-ce que matillion-to-databricks ?

Cette compétence d'agent IA est conçue pour assister les développeurs et ingénieurs de données dans la migration des pipelines ETL Matillion vers la plateforme Databricks. Elle automatise l'analyse des jobs Matillion, la traduction des transformations, et la génération de code PySpark ou SQL compatible avec Databricks, réduisant ainsi considérablement l'effort manuel et les risques d'erreur. La compétence prend en charge les workflows complexes, les connecteurs sources, et les transformations typiques de Matillion en les mappant vers les API et bibliothèques natives de Databricks (comme Spark SQL, Delta Lake). Elle fournit des instructions claires pour l'agent IA, lui permettant de comprendre la structure des jobs Matillion, d'extraire les métadonnées, et de produire des scripts de migration prêts à être déployés. Idéale pour les projets de modernisation du data warehouse ou les migrations cloud, elle accélère le passage de Matillion à Databricks tout en maintenant l'intégrité des données et les performances des pipelines.