Que fait fabric-lakehouse ?
Utilisez cette compétence pour obtenir du contexte sur Fabric Lakehouse et ses fonctionnalités pour les systèmes logiciels et les fonctions IA. Elle fournit des descriptions des composants de données Lakehouse, l'organisation avec des schémas et des raccourcis, le contrôle d'accès, ainsi que des exemples de code. Cette compétence aide les utilisateurs à concevoir, construire et optimiser des solutions Lakehouse en suivant les meilleures pratiques.
Composants de données Lakehouse
- Tables : Stockage structuré des données dans le Lakehouse, prenant en charge les formats Delta Lake pour les transactions ACID.
- Vues : Vues logiques basées sur des tables, permettant de limiter l'accès ou de simplifier les requêtes.
- Notebooks : Environnements interactifs pour l'exploration et le traitement des données avec Spark.
- Pipelines : Flux de travail ETL/ELT pour ingérer, transformer et charger les données.
Organisation avec schémas et raccourcis
- Schémas : Permettent de regrouper logiquement les tables et vues, facilitant la gestion et la sécurité.
- Raccourcis (Shortcuts) : Offrent un accès direct aux données stockées dans d'autres systèmes (Azure Data Lake Storage, autres Lakehouses) sans duplication.
Contrôle d'accès
- Permissions au niveau du lac : Basées sur les rôles Azure RBAC et les listes de contrôle d'accès (ACL).
- Permissions au niveau des tables/vues : Gérées via les autorisations de schéma et de table dans l'interface Fabric.
- Authentification : Intégration avec Azure Active Directory pour une gestion centralisée des identités.
Exemples de code
SQL
-- Création d'une table dans le Lakehouse
CREATE TABLE ventes (
id INT,
produit STRING,
montant DECIMAL(10,2),
date DATE
) USING DELTA;
-- Interrogation avec filtre
SELECT * FROM ventes WHERE date >= '2024-01-01';
PySpark
from pyspark.sql import SparkSession
spark = SparkSession.builder.getOrCreate()
# Chargement d'un fichier CSV
ventes_df = spark.read.csv("chemin/vers/ventes.csv", header=True, inferSchema=True)
# Écriture dans une table Delta Lake
ventes_df.write.format("delta").saveAsTable("ventes")
Meilleures pratiques
- Utilisez des schémas pour organiser les données par domaine métier.
- Optimisez les performances avec le partitionnement et le compactage des fichiers Delta.
- Appliquez le contrôle d'accès au plus tôt dans le pipeline de données.
- Automatisez les pipelines avec des déclencheurs pour garantir l'actualité des données.
Pour toute aide supplémentaire, consultez la documentation officielle de Microsoft Fabric Lakehouse.