Formation GCP : Certification Professional Data Engineer

Programme de notre formation GCP Professional Data Engineer

[Jour 1 - Matin]

Introduction à Google Cloud Platform

• Projets, organisations et dossiers
• IAM : rôles, comptes de service et principe du moindre privilège
• Régions et zones
• Cycle de vie des données

Sécurité, conformité et gouvernance dès la conception

• Chiffrement des données au repos et en transit, clés CMEK
• Protection des données sensibles avec Sensitive Data Protection (Cloud DLP)
• Souveraineté et localisation des données
• Gouvernance des données avec Knowledge Catalog (anciennement Dataplex)

Concepts Data Lake, Data Warehouse et Lakehouse

• Data Lake et Data Warehouse : usages et différences
• BigLake et architectures Lakehouse
• Principes du Data Mesh

[Jour 1 - Après-midi]

Sélection des systèmes de stockage

• Cloud Storage et BigQuery
• Cloud SQL et Spanner
• Bigtable et Firestore
• Memorystore
• Critères de choix : structure des données, latence, disponibilité et coûts

Modélisation des données : normalisation et dénormalisation

• Modèles analytiques et schémas en étoile
• Données imbriquées et répétées dans BigQuery
• Impact des choix de modélisation sur les performances et les coûts

Atelier pratique : création d’un Data Warehouse avec BigQuery

• Création des datasets et des tables
• Chargement des données depuis Cloud Storage
• Modélisation et premières requêtes analytiques
• Configuration des droits d’accès

[Jour 2 - Matin]

Systèmes d’ingestion et de traitement des données batch

• Dataproc : traitements avec Spark et Hadoop
• Dataflow et principes d’Apache Beam
• Cloud Data Fusion
• Choix entre ETL et ELT

Conception de pipelines batch fiables

• Extraction, transformation et chargement des données
• Validation des schémas et contrôle de la qualité
• Gestion des données manquantes ou corrompues
• Reprises sur incident, idempotence et retraitement

Migration des données et architectures hybrides

• BigQuery Data Transfer Service
• Database Migration Service
• Datastream et capture des changements (CDC)
• Cas de migration depuis des systèmes on-premise et hybrides

[Jour 2 - Après-midi]

Orchestration et transformations des données

• Cloud Composer et Apache Airflow
• Dépendances, planification et gestion des erreurs
• Dataform : transformations SQL et contrôles dans BigQuery
• Gestion des métadonnées et traçabilité des traitements

Atelier pratique : mise en place et orchestration d’un pipeline batch

• Construction d’un pipeline Dataflow vers BigQuery
• Mise en place de contrôles de qualité
• Orchestration du traitement avec Cloud Composer
• Gestion d’un échec et relance du pipeline

[Jour 3 - Matin]

Ingestion et traitement des données en streaming

• Pub/Sub : topics, abonnements et livraison des messages
• Traitement des événements avec Dataflow
• Choix entre architectures batch et streaming

Conception avancée des pipelines streaming

• Temps d’événement et temps de traitement
• Fenêtrage, watermarks et déclencheurs
• Gestion des données en retard (late data)
• Sémantique de traitement et déduplication

Fiabilité et tolérance aux pannes

• Reprises, rejeu des événements et gestion des messages en erreur
• Gestion des pics de charge et autoscaling
• Compromis entre cohérence, disponibilité et latence
• Transactions et garanties ACID

[Jour 3 - Après-midi]

Optimisation BigQuery et maîtrise des coûts

• Analyse des performances des requêtes
• Partitionnement et clustering
• Vues matérialisées
• BI Engine
• Réservations, éditions BigQuery et suivi de la consommation

Atelier pratique : traitement et optimisation des données en streaming

• Création d’un pipeline Pub/Sub – Dataflow – BigQuery
• Application du fenêtrage et gestion des événements en retard
• Contrôle de la qualité des données produites
• Optimisation des tables et des requêtes BigQuery

[Jour 4 - Matin]

Analyse, visualisation et partage des données

• Looker : principes de modélisation et de visualisation
• Préparation des données avec SQL dans BigQuery et Dataform
• Analytics Hub et partage des données
• Contrôle des accès aux données partagées

Préparation des données pour l’IA et le machine learning

• Nettoyage des données et feature engineering
• BigQuery ML : création et évaluation de modèles
• Préparation des jeux de données pour Vertex AI
• Introduction aux données non structurées, aux embeddings et au RAG

[Jour 4 - Après-midi]

Supervision, sécurité et exploitation des plateformes de données

• Cloud Monitoring et Cloud Logging
• Indicateurs de performance, alertes et diagnostic des incidents
• Journaux d’audit et contrôle des accès
• Suivi des coûts et continuité de service

Atelier pratique : exploitation d’une plateforme de données

• Mise en place d’un tableau de bord de supervision et d’alertes
• Diagnostic d’un incident sur un pipeline
• Analyse des performances et proposition d’optimisations

Synthèse et préparation à la certification Professional Data Engineer

• Étude de cas : choix d’une architecture de données de bout en bout
• Arbitrages entre sécurité, fiabilité, performances et coûts
• Questions d’entraînement et correction argumentée
• Identification des points à approfondir avant l’examen