Formation Elastic Stack ELK : La Suite Elastic

Programme de notre formation Elastic Stack : ingestion, recherche, visualisation et administration

[Jour 1 – Matin]

Introduction : comprendre la plateforme Elastic

• Présentation de l’écosystème Elastic Stack : Elasticsearch, Kibana, Elastic Agent, Fleet, Logstash
• Différences entre ELK historique et Elastic Stack
• Cas d’usage principaux : logs, métriques, traces, observabilité, sécurité, recherche applicative, analyse métier
• Panorama des modes de déploiement : local, self-managed, Elastic Cloud, environnements Kubernetes
• Comprendre les nouveautés et les évolutions de la stack Elastic 9.x
• Ce qui a changé depuis les anciennes versions : X-Pack intégré, sécurité par défaut, Fleet, Elastic Agent, Lens, ES|QL
• Atelier pratique : Analyse d’une architecture Elastic existante et identification des composants à moderniser.

Architecture et premiers pas avec Elasticsearch et Kibana

• Rôle d’Elasticsearch dans la stack : stockage, indexation, recherche et analyse
• Rôle de Kibana : exploration, visualisation, administration et supervision
• Notions de cluster, nœuds, rôles de nœuds, shards, replicas et haute disponibilité
• Comprendre les index, documents, mappings, templates et data streams
• Sécurité initiale : utilisateurs, mots de passe, certificats, API keys et accès Kibana
• Bonnes pratiques pour démarrer un environnement Elastic propre et maintenable
• Atelier pratique : Installation ou prise en main d’un environnement Elastic, connexion à Kibana et validation de l’état du cluster.

[Jour 1 – Après-midi]

Elasticsearch : indexer, structurer et rechercher les données

• Comprendre le modèle documentaire JSON d’Elasticsearch
• Créer un index et indexer des documents
• Comprendre les mappings : types de champs, champs text, keyword, date, numeric, geo_point
• Configurer l’analyse de texte : analyseurs, tokenizers, filtres, normalizers
• Comprendre les erreurs classiques de mapping et leurs impacts
• Différences entre index classiques, data streams et templates d’index
• Atelier pratique : Création d’un index, définition d’un mapping adapté et ingestion d’un jeu de données.

Rechercher et analyser avec Elasticsearch

• Requêtes simples avec la Search API
• Introduction au Query DSL : match, term, bool, range, exists
• Différences entre requêtes full-text et filtres exacts
• Tri, pagination, source filtering et mise en forme des résultats
• Agrégations : buckets, métriques, histogrammes, dates et termes
• Introduction à ES|QL pour explorer, filtrer, transformer et agréger les données
• Comparaison des usages : KQL, Lucene, Query DSL et ES|QL
• Atelier pratique : Écrire des requêtes de recherche et d’agrégation pour répondre à des questions métier.

[Jour 2 – Matin]

Collecter les données avec Elastic Agent et Fleet

• Introduction à la collecte avec Elastic Agent
• Rôle de Fleet dans la gestion centralisée des agents
• Comprendre les policies, integrations, inputs et outputs
• Collecter des logs système, métriques hôte et journaux applicatifs
• Présentation des intégrations Elastic : systèmes, services, cloud, sécurité, observabilité
• Bonnes pratiques de déploiement des agents sur serveurs, postes et environnements cloud
• Positionnement des Beats : comprendre l’existant Filebeat, Metricbeat, Winlogbeat et les stratégies de migration
• Atelier pratique : Déploiement d’un Elastic Agent, création d’une policy Fleet et ingestion de logs et métriques.

Transformer et enrichir les données à l’ingestion

• Comprendre le rôle des pipelines d’ingestion Elasticsearch
• Processors courants : set, rename, grok, dissect, date, geoip, user_agent, remove
• Nettoyage, enrichissement et normalisation des données
• Introduction à l’Elastic Common Schema, pour homogénéiser logs, événements et données de sécurité
• Gestion des erreurs d’ingestion et bonnes pratiques de debug
• Quand utiliser Elastic Agent seul, un ingest pipeline, ou Logstash
• Atelier pratique : Création d’un pipeline d’ingestion pour parser, enrichir et normaliser des logs applicatifs.

[Jour 2 – Après-midi]

Logstash : traitements avancés et intégration avec des systèmes tiers

• Rôle actuel de Logstash dans une architecture Elastic
• Concepts fondamentaux : inputs, filters, outputs, codecs
• Inputs courants : file, beats, http, jdbc, kafka, redis
• Filters courants : grok, dissect, date, mutate, translate, aggregate, fingerprint
• Outputs : Elasticsearch, fichier, Kafka, Redis et autres destinations
• Gestion de la performance, du parallélisme, des files persistantes et de la résilience
• Cas d’usage adaptés à Logstash : ETL complexe, protocoles spécifiques, enrichissements avancés, routage multi-destinations
• Atelier pratique : Création d’un pipeline Logstash complet avec parsing, enrichissement et envoi vers Elasticsearch.

Kibana : explorer, visualiser et partager les données

• Découverte des données avec Discover
• Utilisation des data views et exploration des champs
• Recherche avec KQL, Lucene et ES|QL dans Kibana
• Création de visualisations avec Lens
• Création de tableaux, métriques, histogrammes, séries temporelles, cartes et graphiques
• Construction de dashboards interactifs : filtres, contrôles, drilldowns et organisation des panneaux
• Partage, export et génération de rapports selon les droits disponibles
• Atelier pratique : Création d’un dashboard opérationnel à partir de logs et métriques collectés.

[Jour 3 – Matin]

Administration, sécurité et gouvernance d’un cluster Elastic

• Gestion des utilisateurs, rôles, privilèges et espaces Kibana
• Authentification, autorisation, API keys et bonnes pratiques d’accès
• Sécurisation des communications : TLS, certificats et exposition des services
• Organisation des données : conventions de nommage, templates, composants de templates et data streams
• Gestion de la rétention : ILM, data stream lifecycle, rollover, suppression et downsampling
• Gestion des licences, fonctionnalités disponibles et limites selon les éditions
• Atelier pratique : Mise en place d’un rôle utilisateur, d’un espace Kibana et d’une politique de rétention adaptée.

Supervision, performance et exploitation quotidienne

• Surveiller la santé du cluster : cluster health, nodes, shards, allocation et cat APIs
• Comprendre les indicateurs clés : CPU, mémoire JVM, heap, disque, latence, indexation et recherche
• Identifier les problèmes courants : shards non assignés, pression disque, mapping explosion, requêtes lentes
• Bonnes pratiques de sizing : nombre de shards, replicas, heap, stockage et tiers de données
• Snapshots et restore : sauvegarder, restaurer et tester une stratégie de reprise
• Préparer les montées de version et anticiper les breaking changes
• Atelier pratique : Diagnostic d’un cluster présentant des alertes de santé, analyse des causes et actions correctives.

[Jour 3 – Après-midi]

Cas d’usage avancés : observabilité, sécurité, recherche et IA

• Panorama des solutions Elastic : Observability, Security, Search
• Exploiter logs, métriques et traces pour superviser une application
• Introduction aux alertes Kibana : règles, connecteurs, seuils et notifications
• Analyse sécurité : événements Windows/Linux, authentifications, réseau et détections simples
• Recherche applicative : pertinence, scoring, synonymes, suggestions et facettes
• Introduction à la recherche vectorielle et sémantique dans Elasticsearch
• Premiers usages IA : recherche hybride, semantic_text, RAG et assistants basés sur les données indexées
• Atelier pratique : Construire un scénario complet de supervision ou de recherche à partir d’un besoin métier.

Synthèse, bonnes pratiques et projet fil rouge

• Choisir la bonne architecture selon le contexte : logs, SIEM, observabilité, BI, recherche applicative
• Arbitrer entre Elastic Agent, Logstash, ingest pipelines et connecteurs
• Mettre en place une stratégie durable : sécurité, rétention, supervision, sauvegardes et montée de version
• Industrialiser les configurations : policies Fleet, templates, pipelines, dashboards et rôles
• Éviter les erreurs classiques : trop de shards, mappings dynamiques incontrôlés, absence de lifecycle, droits trop larges
• Méthodologie de migration depuis une ancienne stack ELK vers une architecture Elastic
• Atelier pratique final : À partir d’un cas client, concevoir une architecture Elastic, ingérer les données, créer les visualisations et présenter les choix techniques.