Formation Greenplum Parallel SQL

Programme de la formation Greenplum Parallel SQL

Introduction à Greenplum et au SQL Massivement Parallèle

• Présentation de Greenplum
• PostgreSQL comme socle
• Cas d’usage typiques
• Segments, master et interconnexions
• Mirroring et tolérance aux pannes
• Différences avec SMP et Hadoop
• Concepts clés du SQL parallèle
• Partitionnement des données
• Distribution vs réplication
• Traitement distribué de requêtes SQL

Modélisation des données pour le parallélisme

• Création de tables parallèles
• Syntaxe SQL spécifique à Greenplum
• Paramètres de distribution 
• Comparaison avec les tables locales
• Choix des clés de distribution
• Clé unique vs clé fréquente
• Impact sur les performances
• Cas pratiques de mauvaise distribution
• Partitionnement logique
• Syntaxe de partitionnement
• Partitionnement par plage ou liste
• Exemples de requêtes optimisées avec partitions

Requêtes SQL parallèles

• SELECT et agrégation parallèle
• Agrégats distribués 
• Fonctions d’agrégation spécifiques
• Group By sur données distribuées
• Jointures parallèles
• Broadcast vs Hash Join
• Optimisation des jointures sur clés distribuées
• Cas de Shuffle cost élevé
• Analyse de plans d’exécution
• Utilisation de EXPLAIN et EXPLAIN ANALYZE
• Lecture des plans distribués
• Interprétation des coûts intersegments

Écriture et insertion de données parallèles

• INSERT, UPDATE, DELETE
• Comportement distribué de l’écriture
• Restrictions sur les UPDATE avec jointures
• Tris et insertions en bulk
• COPY et chargement massif
• Utilisation de COPY en parallèle
• Gestion des erreurs et des logs
• Chargement de fichiers externes
• Contraintes et indexation
• Contraintes supportées en parallèle
• Index bitmap vs BTree
• Impact des index sur les performances distribuées

Fonctions analytiques et avancées

• Fonctions de fenêtrage
• Utilisation de ROW_NUMBER, RANK, LEAD, LAG
• Partitionnement des fenêtres sur segments
• Cas d’usage typiques en BI
• Expressions et types complexes
• Tables dérivées, CTE, sous-requêtes parallèles
• Types ARRAY et JSON dans Greenplum
• Fonctions utilisateur (UDF/UDT)
• Création de fonctions en SQL ou PL/pgSQL
• Portabilité depuis PostgreSQL
• Considérations de parallélisme

Optimisation et tuning de requêtes SQL parallèles

• Statistiques et analyse
• Utilisation de ANALYZE sur tables distribuées
• Statistiques globales vs locales
• Outils d’analyse de performance Greenplum
• Rewriting et indexation intelligente
• Refonte des requêtes coûteuses
• Utilisation d’index sur colonnes de jointure
• Cas pratiques de réécriture
• Optimisation des transactions
• Isolation et gestion des locks
• Verrous en environnement parallèle
• Meilleures pratiques pour les écritures concurrentes

Intégration, import/export et accès externe

• Tables externes 
• Déclaration de fichiers plats ou HDFS
• Intégration avec gpload et gpfdist
• Chargement parallèle de gros volumes
• gpload et gpexpand
• Configuration de fichiers YAML pour gpload
• Ajout de nouveaux segments dynamiquement
• Étendre un cluster sans redéploiement
• Accès depuis outils externes
• Connexion via ODBC/JDBC
• Requêtes SQL depuis Python, R, Java
• Compatibilité BI (Tableau, Power BI)

Cas pratiques et projet final

• Cas pratique BI (reporting sur gros volumes)
• Création de schémas distribués
• Requêtes analytiques optimisées
• Tableau de bord connecté
• Cas pratique Data Engineering
• Ingestion massive avec partitionnement
• Pipeline SQL avec jointures complexes
• Monitoring des performances
• Projet de synthèse
• Choix de la stratégie de distribution
• Requêtage, chargement, analyse
• Rapport de performances