Formation Azure Data Factory
| 1590€ HT / personne |
| 2 jours (14 heures) |
Présentation
Azure Data Factory est une solution moderne d’intégration de données dans le cloud Microsoft. Elle permet d’orchestrer, transformer et déplacer des données à grande échelle grâce à plus de quatre-vingt-dix connecteurs intégrés, tout en supportant les environnements hybrides via SSIS.
Cette formation couvre l’ensemble de l’écosystème ETL de Microsoft et vous permettra d’obtenir une vision complète des technologies d’ingestion et d’orchestration de données.
Vous apprendrez à utiliser Azure Data Factory pour concevoir des flux ETL et ELT, automatiser la transformation des données, créer des pipelines dynamiques pilotés par les métadonnées et exploiter les Data Flows pour exécuter des traitements à grande échelle.
Vous découvrirez également comment intégrer SSIS dans ADF, utiliser Synapse Pipelines, sécuriser vos flux via Key Vault et les connexions réseau, et mettre en place un véritable cycle de développement avec Azure DevOps, comprenant le versionnement, le déploiement automatisé et le monitoring avancé. Un temps important est dédié à la supervision, à la gestion des erreurs, à la configuration des triggers ainsi qu’à l’optimisation des coûts ADF.
À l’issue de cette formation, vous serez en mesure de construire des architectures de données robustes et de maîtriser les principaux outils ETL du cloud Microsoft, tout en appliquant les bonnes pratiques de sécurité, d’automatisation et d’optimisation des flux.
Comme toutes nos formations, celle-ci vous présentera la dernière version stable de la technologie Azure Data Factory et ses nouveautés.
Objectifs
- Comprendre le positionnement des solutions ETL Microsoft : SSIS, ADF et Synapse Pipelines.
- Concevoir et orchestrer des flux ETL et ELT complets dans Azure Data Factory.
- Intégrer des données multi-sources grâce aux connecteurs ADF.
- Créer des pipelines dynamiques pilotés par les métadonnées.
- Utiliser les Data Flows pour transformer les données à grande échelle.
- Gérer les secrets, les accès réseau et la sécurité ADF.
- Déployer, versionner et monitorer les pipelines via Azure DevOps.
- Comprendre les coûts ADF et optimiser la consommation.
Public visé
- Développeurs
- Data Engineers
- Architectes Data
- Administrateurs systèmes
- Data Analysts et BI Analysts
- Data Scientists
Pré-requis
- Connaissances SQL
- Bases en Python
- Connaissances générales des bases de données
- Compte Azure avec droits de création
Pré-requis technique
-
- Un compte Azure
- Visual Studio (Community à minima)
- SQL Server Management Studio (SSMS)
- Azure Data Studio (dans l’idéal, mais facultatif)
- Git
Programme de la formation Azure Data Factory
Concepts Cloud et écosystème ETL Microsoft
- Concepts fondamentaux du Cloud Azure
- Modèles de services : IaaS, PaaS et SaaS
- Panorama des services Azure utilisés en Data Engineering
- Notions ETL et ELT et positionnement SSIS, ADF et Synapse Pipelines
- Cas d’usage hybrides : on-premise, cloud et architectures mixtes
- Présentation des Integration Runtime : Self-hosted IR, Azure IR, SSIS IR
- Atelier pratique : Analyse d’un cas ETL et choix de la solution Microsoft adaptée.
Azure Data Factory – Fondamentaux et architecture
- Rôle d’ADF dans l’écosystème Data Microsoft
- Connecteurs disponibles : bases, fichiers, API, SaaS et on-premise
- Composants clés : Pipelines, Datasets, Linked Services et Integration Runtime
- Prise en main du portail Azure et de l’interface ADF
- Création d’une architecture ADF opérationnelle
- Premiers pipelines, exécutions et lecture des logs
- Atelier pratique : Création d’un pipeline simple avec activité de copie.
Orchestration et transformation des données
- Utilisation des activités ADF : copie, transformation et contrôle
- Pipelines dynamiques pilotés par les métadonnées
- Paramètres, variables et expressions avancées
- Datasets paramétrés et logique de configuration adaptable
- Mapping Data Flows : transformations et optimisation
- Connexion des Data Flows à Synapse et aux Data Lakes
- Atelier pratique : Construction d’un pipeline dynamique complet.
Sécurité et connexions réseau
- Gestion des secrets via Azure Key Vault
- Gestion des accès réseau : Private Endpoints et firewalls
- Utilisation des Managed Identities pour sécuriser les accès
- Accès aux systèmes on-premise via Self-hosted IR
- Mécanismes de hybrid data movement et diagnostics
- Atelier pratique : Configuration d’ADF avec accès sécurisé à une source privée.
Déploiement, versionning et monitoring
- Versionning Git via Azure DevOps ou GitHub
- Stratégies de branches : master, feature et release
- Déploiement automatisé ADF via CI et CD Azure DevOps
- Monitoring ADF : logs, alertes et résolution des erreurs
- Analyse des coûts ADF : IR, activités et Data Flows
- Atelier pratique : Mise en place d’un pipeline CI/CD simple pour ADF.
Complément : SSIS et Synapse Pipelines
- Fonctionnement SSIS : flux de contrôle et flux de données
- Variables, expressions et contraintes de précédence
- Déploiement et monitoring SSIS on-premise et dans ADF (SSIS IR)
- Migration SSIS vers Azure : bonnes pratiques
- Positionnement de Synapse Pipelines et cas d’usage avancés
- Atelier pratique : Migration d’un package SSIS simple vers Azure.
Pour aller plus loin
Formation Azure Machine Learning
Formation Gouvernance avec Azure
Formation AZ-104
Formation Azure Databricks
Formation Azure Synapse
Formation Terraform
Langues et Lieux disponibles
Langues
- Français
- Anglais / English
Lieux
-
France entière
- Paris
- Lille
- Reims
- Lyon
- Toulouse
- Bordeaux
- Montpellier
- Nice
- Sophia Antipolis
- Marseille
- Aix-en-Provence
- Nantes
- Rennes
- Strasbourg
- Grenoble
- Dijon
- Tours
- Saint-Étienne
- Toulon
- Angers
-
Belgique
- Bruxelles
- Liège
-
Suisse
- Genève
- Zurich
- Lausanne
-
Luxembourg
Témoignages
Je recommande la formation
Afficher tous les témoignages
Je recommande la formation
Les + : comparatifs des différentes technologies, vu d’ensemble
Les – : Je trouve dommage que nous n’ayons pas un environnement de travail (compte de test).
Obligation d’utiliser sa carte bancaire perso.
Un véritable plan de formation a manqué (beaucoup de sujets abordés)
En synthèse :
Personnellement je souhaitais faire cette formation en présentielle, c’est difficile et impersonnel.
aucune caméra allumée
Les + : Bon tour d’horizon et fond intéressant et complet.
Les + : Les cas pratiques et l’adaptation du formateur pour nous aider sur nos projets.
Les – : Aucun point faible
Les + : Pertinence et adaptation du formateur
Les – : manque de certitude sur certain point mais toujours a la recherche de la bonne réponse donc pas dérangeant
Les + : Formateur présent pour répondre aux questions et approfondir les notions
Bons échanges avec le formateur
Les – : Utilisation de ressources privée pour la formation: demander aux participant de créer leur compte de test avec leur numéro de CB !
Pas assez cadrée
Pas assez poussée
Les + : Tout d’horizon sur les autres sujet de Azure Data Factory
Les – : Retard
Je souhaite suivre : Aucune
En synthèse : RAS
Les + : Disponibilité du formateur.
Les – : Mise en place de l’environnement de la formation, création de compte azure, etc… délégué aux participants alors que cela devrait être à la charge de l’organisme en amont.
En synthèse : 3 crans (insatisfait, bien, très bien) est un peu léger pour nuancer les réponses.
Réponse d'Ambient IT
Merci Stéphane pour votre retour,
Nous avons essayé de tout faire pour vous proposer une solution viable dans la première heure de formation concernant l’accès aux prérequis d’accès au compte Azure (DATA FACTORY).
J’espère que vous avez pu monter en compétence rapidement, poser toutes vos questions à notre formateur référent et que vous pourrez mener à bien vos futurs projets en entreprise.
Note : 4/5
Je recommande la formation
Compétences du formateur
Présentation générale de l’environnement cloud
Pas assez de pratique en autonomie sur l’outil ADF
Avoir des exercices guidés pour pouvoir refaire les manipulations par soi même après la formation
Une bonne introduction à data factory
Peu de temps pour les exercices
Aucune
Noter la formation
| 1590€ HT / personne |
| 2 jours (14 heures) |
UNE QUESTION ? UN PROJET ? UN AUDIT DE CODE / D'INFRASTRUCTURE ?
Pour vos besoins d’expertise que vous ne trouvez nulle part ailleurs, n’hésitez pas à nous contacter.
ILS SE SONT FORMÉS CHEZ NOUS
