Formation Apache Hop

Programme de formation Apache Hop

[Jour 1 – Matin]

Introduction à Apache Hop et installation

• Présentation du projet Apache Hop et historique
• Comprendre les objectifs du framework : intégration, transformation et orchestration des données
• Architecture générale : Hop GUI, Hop Run, Hop Server, Metadata
• Installation sur Windows, Linux, Mac (Java 11+)
• Prise en main de l’interface Hop GUI et création d’un premier projet
• Atelier pratique : Installation complète et création d’un projet connecté à une base PostgreSQL.

[Jour 1 – Après-midi]

Concepts fondamentaux et environnement de travail

• Comprendre les notions de projets et d’environnements
• Gestion des connexions et métadonnées : bases de données, fichiers, variables
• Découverte de la perspective Data Orchestration dans Hop GUI
• Manipulation des variables et paramètres dans les projets
• Différences entre pipeline et workflow, orchestration et dépendances
• Atelier pratique : Création d’un pipeline de transformation CSV – PostgreSQL et d’un workflow conditionnel.

Intégration de données multi-sources

• Connexion à des bases de données : MySQL, PostgreSQL, Oracle
• Chargement de fichiers structurés : CSV, Excel, JSON, XML
• Lecture et écriture dans HDFS (Hadoop), MongoDB et Neo4j
• Gestion des emails : Mail Input et Send Email
• Bonnes pratiques de mapping et de validation de données
• Atelier pratique : Intégration CSV – Oracle et automatisation d’imports via e-mails et MongoDB.

[Jour 2 – Matin]

Transformations avancées

• Utilisation des transformations Lookup et Merge Join
• Opérations de normalisation et dénormalisation des données
• Calculs, filtres, expressions régulières et enrichissement de données
• Gestion des erreurs et validation des entrées
• Automatisation par Metadata Injection
• Atelier pratique : Pipeline de déduplication + validation et pipeline dynamique avec metadata injection.

[Jour 2 – Après-midi]

Gestion de projets et environnements

• Organisation des projets et des environnements dans Hop
• Utilisation des fichiers de configuration
• Gestion des métadonnées partagées entre pipelines
• Paramétrage des variables globales et spécifiques
• Meilleures pratiques pour le travail collaboratif et la portabilité
• Atelier pratique : Création d’un projet multi-environnement avec variables dynamiques.

Supervision, logs et performances

• Configuration des logs d’exécution
• Analyse en temps réel via Execution Information et Performance Snapshots
• Gestion des erreurs et reprise après échec
• Optimisation des pipelines : parallélisation, buffers, filtres, index
• Centralisation du logging dans une base PostgreSQL/MySQL
• Atelier pratique : Mise en place d’un système complet de logs et analyse d’un pipeline lent.

[Jour 3 – Matin]

Orchestration et déploiement

• Automatisation via Hop Run et Hop Server
• Exécution à distance via API REST
• Structuration des projets pour la production (nomenclature, modularisation)
• Intégration dans les chaînes CI/CD (Git, Jenkins, GitHub Actions)
• Comparaison avec Talend et Kettle (forces et faiblesses)
• Atelier pratique : Déploiement d’un pipeline complet via Hop Run et CI/CD.

[Jour 3 – Après-midi]

Cas réels d’entreprise et bonnes pratiques

• Structuration d’un projet complet : dossiers, versionning, logs, templates
• Utilisation de Hop Web et de l’interface explorateur
• Bonnes pratiques de maintenance, gouvernance et documentation
• Optimisation des performances dans un contexte Big Data
• Comparaison des architectures On-premise vs Cloud
• Atelier pratique : Projet complet avec workflow, logs, email et automatisation de déploiement.

Approfondissement et extensions

• Extension du framework via plugins et scripts personnalisés
• Interopérabilité avec d’autres outils : Kafka, Airflow, Beam
• Intégration avec les bases NoSQL et Data Lakes
• Optimisation pour le traitement massif (multi-threading, clustering)
• Exploration des fonctionnalités avancées de Hop Metadata
• Atelier pratique : Création d’un plugin personnalisé et exécution distribuée.