Formation Apache OpenDAL

Programme de notre formation Apache OpenDAL

[Jour 1 – Matin]

Fondamentaux & prise en main

• Comprendre Apache OpenDAL : couche d’accès aux données unifiée multi-stockages
• Principes clés : Open Community, Solid Foundation, Fast Access, Extensible Architecture
• Panorama des backends : S3, GCS, Azure Blob, HDFS, POSIX…
• Modèle opérateur / services / couches et gestion des capabilities
• Cas d’usage Data & Cloud-native : ingestion, ETL/ELT, feature store, serverless
• Atelier pratique : projet OpenDAL & oli, liste/lecture d’objets S3 via credentials temporaires.

[Jour 1 – Après-midi]

APIs & options : manipuler les données proprement

• API read/write/list/stat/delete et Options-based API (ReadOptions, WriteOptions…)
• Gestion des métadonnées, ranges, multipart et streaming
• Stratégies de résilience : retries, backoff, idempotence
• Multi-langages : Rust, Go, Python, Java (bindings)
• Bonnes pratiques de nommage et préfixes pour data lakes
• Atelier pratique : lecture/écriture streaming et usage d’options (range, type, checksum).

Sécurité & conformité

• Auth : SigV4, Service Accounts, SAS, OIDC
• Chiffrement TLS et au repos, politiques de sécurité fournisseurs
• Gestion des secrets & variables, intégration Vault/KMS
• Cloisonnement comptes/projets et gouvernance
• Journaux & audits des accès
• Atelier pratique : S3 + KMS, rôles assumés, vérification des traces d’audit.

[Jour 2 – Matin]

Performance, fiabilité & industrialisation

• Comprendre latence & throughput ; range requests
• Multipart upload, pipelining, batching, concurrence
• Patterns cache-aside, write-through, read-through
• Tiering & lifecycle ; classes de stockage
• Observabilité : métriques, logs, traces ; bench avec oli
• Atelier pratique : bench multi-régions + tableaux de bord Prometheus/Grafana.

[Jour 2 – Après-midi]

Robustesse : erreurs réelles & tests

• Erreurs réseau, throttling et cas S3 200 + erreur
• Timeouts, circuit-breaker, limiteurs de débit
• Tests de charge et de chaos
• Contracts & golden files
• Politiques de retries par opération
• Atelier pratique : simuler throttling, régler retries/backoff, valider des SLO.

CI/CD & IaC

• Provision Terraform/OpenTofu, secrets CI
• Gabarits 12-Factor : config, blue/green, canary
• Packaging Rust/Go/Python/Java
• Scans sécu & policy as code
• Promotion multi-environnements
• Atelier pratique : pipeline CI provisioning + tests end-to-end OpenDAL.

[Jour 3 – Matin]

Intégration avancée & opérations

• POSIX-like vs object store ; implications parquet/csv/json
• Écosystème Arrow/Polars/Pandas + OpenDAL
• Liens pré-signés, staging, atomic move
• Stratégies multi-cloud/hybride et fallback
• Data contracts & catalogues
• Atelier pratique : mini-pipeline ELT cloud-agnostique avec OpenDAL.

[Jour 3 – Après-midi]

Exploitation & SRE

• Runbook incidents et opérations
• Tableau de bord latence/erreurs/débit
• Alerting : p95, erreurs classées par backend
• Budgets d’erreur, SLO/SLI batch vs interactif
• Optimisation des coûts (listings, small files, multipart)
• Atelier pratique : runbook + SLO & tests d’alerte.

Mise en production & roadmap équipe

• Checklist sécurité, observabilité, performance, limites
• Versioning & compatibilité ; suivi des releases
• Gouvernance préfixes, séparation environnements
• Documentation : guides dev & exploitation
• Plan d’adoption et gestion des risques
• Atelier pratique : revue finale + post-mortem simulé.