Formations Data ETL Formation Apache NiFi: Automatisez vos flux de données

Formation Apache NiFi : Automatisez vos flux de données

Rated 4,3 out of 5
Logo formation Apache NiFi
Prix 1495€ HT / personne
Durée 2 jours (14 heures)

Paris | Classe Virtuelle

Il ne reste que quelques places
Cafés et déjeuners offerts en interentreprises
Disponible en intra-entreprise pour former votre équipe
Aide au Financement 4000€ de Bonus Atlas en CPF

Présentation

Notre formation Apache NiFi vous permettra de facilement traiter et distribuer des données de manière performante.

En effet, proche d’un ETL, Apache NiFi est un outil qui a prouvé son efficacité, par delà le fait, qu’il est hautement configurable afin que les utilisateurs bénéficient d’une livraison garantie, d’une faible latence, d’un débit élevé, d’une priorisation dynamique et d’une fonctionnalité permettant de modifier les flux en cours d’exécution.

Naturellement orienté vers les composants, le paradigme de NiFi est le flow-based programming (FBP). Des messages pouvant atteindre plusieurs giga-octets peuvent ainsi être traités de façon automatisé au sein de votre « usine de données ». Très productive, son interface intuitive permet de créer des flux de données par un simple glisser-déposer sans avoir besoin d’écrire la moindre ligne de code.

De plus, le programme est open-source et gratuit. Les documentations faisant référence à Apache NiFi sont nombreuses. Les utilisateurs du logiciel profitent de reportings personnalisés, d’une interface transparente pour le traitement des données avec la technologie DAG et d’un prototypage rapide.

NiFi supporte aussi les protocoles sécurisés comme SSL, HTTPS et SSH. Notre formation Apache NiFi se basera sur la dernière version du logiciel en date à savoir Apache NiFi 1.25.

 

Objectifs

  • Comprendre l’architecture et les fondements du traitement des données avec Apache NiFi
  • Maîtriser la gestion de flux de données
  • Savoir installer et configurer Apache NiFi
  • Intégrer Kafka avec NiFi

 

Public visé

Développeurs, Professionnels du Big Data, Architectes, Administrateurs systèmes, DevOps

 

Pré-requis

  • Connaissances de base des systèmes Unix
  • Connaissances de base en Java

Programme de la formation Apache NiFi

 

Jour 1 – Introduction

 

Présentation de l’écosystème Big Data

  • Les domaines d’application
  • Le NoSql
  • Apache Kafka
  • Où et pourquoi utiliser les REX?

 

Concepts fondamentaux

  • Présentation d’Apache NiFi
  • Comprendre le traitement des flux de données
  • Architecture d’Apache NiFi
  • Processeurs et flow files
  • Connecteurs et processeurs
  • Comprendre l’UI
  • Classes de processeurs
  • Installation et configuration du programme
  • Gestion du parallélisme dans un cluster NiFi

 

Architecture Big Data

  • Apache NiFi en producteur de données
  • Apache NiFi en consommateur de données
  • Pourquoi intégrer NiFi avec Kafka ?
  • Intégrer NiFi Kafka

 

Jour 2 – Maîtrise des processeurs

 

Utilisation des processeurs

  • Générateur FlowFile
  • Lecture et traitement des fichiers de données
  • Utilisation de SplitRecord
  • Utilisation de UpdateRecordProcessor
  • Traitement de la duplication des fichiers
  • Processeurs liés à JSON
    • InvokeHTTP
    • EvaluateJsonPath
    • FlattenJson
    • SplitJson

 

Utilisation avancée

  • Traitement des doublons
  • Utilisation de SQL Query dans NiFi
  • Processeur NiFi HandleHttpRequest et HandleHttpResponse
  • Templates NiFi
  • Surveillance de NiFi
  • Provenance des données et recherche d’événements
  • Relations avec les processeurs
  • Debugging et gestion des erreurs
  • Utiliser MiniFi pour gérer les IOTs

 

Composants de NiFi

  • NiFi Registry
  • Versioning du flow dans NiFi
  • Schéma Registry
  • Simplification de l’intégration avec des schémas de données

Pour aller plus loin

Formation Talend DI 

Formation Azure Data Factory

Formation Alteryx

Langues et Lieux disponibles

Langues

  • Français
  • Anglais / English

Lieux

  • France entière
    • Paris
    • Lille
    • Reims
    • Lyon
    • Toulouse
    • Bordeaux
    • Montpellier
    • Nice
    • Sophia Antipolis
    • Marseille
    • Aix-en-Provence
    • Nantes
    • Rennes
    • Strasbourg
    • Grenoble
    • Dijon
    • Tours
    • Saint-Étienne
    • Toulon
    • Angers
  • Belgique
    • Bruxelles
    • Liège
  • Suisse
    • Genève
    • Zurich
    • Lausanne
  • Luxembourg

Nos Formateurs Référents

Plus de 20 ans d’expérience en administration de base de données.

Enseignant expert en architecture et en modélisation de base de données pour les technologies Apache comme Kafka, Spark, Hadoop ou encore Cassandra.

J’ai également préconisé Kubernetes sur des architectures et je l’ai installé en production ainsi qu’un système de disque qui s’appelle glusterfs.

Témoignages

Rated 4,0 out of 5
13 octobre 2023

Les + : Bonne couverture globale

Les – : Un jour supplémentaire serait nécessaire pour approfondir certains points, notamment sur le développement de flows avec des cas d’usage concret (connexion à kafka, à une base de données..)

Mathias G. de chez LA POSTE I-TEAM

Afficher tous les témoignages

Rated 4,0 out of 5
13 octobre 2023

Les + : Bonne couverture globale

Les – : Un jour supplémentaire serait nécessaire pour approfondir certains points, notamment sur le développement de flows avec des cas d’usage concret (connexion à kafka, à une base de données..)

Mathias G. de chez LA POSTE I-TEAM
Rated 4,0 out of 5
13 octobre 2023

Je recommande la formation

Sylvie P. de chez
Rated 4,0 out of 5
7 juillet 2022

Pratique

Durée

Anthony R. de chez Modis
Rated 5,0 out of 5
7 juillet 2022

Je recommande la formation

Christophe T. de chez Modis
Rated 4,0 out of 5
7 juillet 2022

Les labs

Pas de correction des labs ensemble

Hugo M. de chez Modis
Rated 4,0 out of 5
5 juillet 2022

les Labs

Patrice M. de chez Modis
Rated 4,0 out of 5
5 juillet 2022

Mise en pratique

Stéphane M. de chez Modis
Rated 5,0 out of 5
2 octobre 2020

Bon contenu/TP et très bonne formation.

Alexis de DeerCoder

Noter la formation

Prix 1495€ HT / personne
Durée 2 jours (14 heures)

Paris | Classe Virtuelle

Il ne reste que quelques places
Cafés et déjeuners offerts en interentreprises
Disponible en intra-entreprise pour former votre équipe
Aide au Financement 4000€ de Bonus Atlas en CPF

UNE QUESTION ? UN PROJET ? UN AUDIT DE CODE / D'INFRASTRUCTURE ?

Pour vos besoins d’expertise que vous ne trouvez nulle part ailleurs, n’hésitez pas à nous contacter.

ILS SE SONT FORMÉS CHEZ NOUS

partenaire sncf
partenaire hp
partenaire allianz
partenaire sfr
partenaire engie
partenaire boursorama
partenaire invivo
partenaire orange
partenaire psa
partenaire bnp
partenaire sncf
partenaire hp
partenaire allianz
partenaire sfr
partenaire engie
partenaire boursorama
partenaire invivo
partenaire orange
partenaire psa
partenaire bnp