Formation Cloud Data Fusion

Programme de notre formation Cloud Data Fusion

[Jour 1 – Matin]

Architecture et premiers flux de données

• Positionnement de Cloud Data Fusion dans une architecture d’intégration et distinction entre traitements batch et temps réel
• Organisation des instances, des namespaces et des pipelines dans la console et le Studio
• Cycle d’exécution des pipelines et rôle d’Apache Spark dans les traitements distribués
• Configuration des connexions, des sources et des destinations avec les plugins disponibles
• Distinction entre agent de service et compte d’exécution, droits d’accès et principe du moindre privilège
• Atelier pratique : Explorer l’instance préparée, configurer une source Cloud Storage et exécuter un premier chargement vers BigQuery.

[Jour 1 – Après-midi]

Préparation et transformation des données

• Exploration d’un échantillon dans Wrangler et limites de la préparation visuelle pour les pipelines batch
• Construction de recettes avec des directives de nettoyage, de conversion des types et de traitement des valeurs manquantes
• Définition des schémas d’entrée et de sortie et vérification de leur cohérence entre les étapes
• Enrichissement des flux par jointures, filtres, déduplication et agrégations
• Validation et Preview du pipeline, contrôle des résultats et traitement des enregistrements invalides
• Atelier pratique : Nettoyer un fichier de ventes, l’enrichir avec un référentiel BigQuery et vérifier les données chargées dans une table cible.

[Jour 2 – Matin]

Paramétrage et automatisation des pipelines

• Construction de pipelines réutilisables avec des macros sur les propriétés compatibles des plugins
• Organisation des préférences et des arguments d’exécution, héritage et priorités des valeurs
• Paramétrage des chemins sources, des tables cibles et des dates de traitement
• Déploiement et planification des traitements, dépendances et déclencheurs selon l’état des pipelines
• Transfert entre environnements par export et import JSON, vérification des plugins et recréation des déclencheurs
• Atelier pratique : Paramétrer le pipeline de ventes pour plusieurs fichiers, programmer son exécution et déclencher un pipeline de consolidation après sa réussite.

[Jour 2 – Après-midi]

Supervision et fiabilisation des traitements

• Lecture de l’historique des exécutions et des métriques pour contrôler les volumes et les durées
• Analyse des journaux dans Cloud Logging et suivi des indicateurs dans Cloud Monitoring
• Diagnostic des erreurs de permissions, de schéma, de connexion et de ressources
• Ajustement des profils de calcul, du parallélisme et des ressources selon les volumes et les coûts
• Stratégies de reprise, prévention des doublons et nettoyage des ressources de formation
• Atelier pratique : Diagnostiquer un échec provoqué, corriger le pipeline, vérifier sa relance sans doublons et comparer les métriques avant et après ajustement.