Programme de notre formation Garage : stockage S3 résilient

[Jour 1 – Matin]

Fondamentaux et premier déploiement

• Principes du stockage objet, buckets, objets et usages de l’API S3
• Architecture de Garage, nœuds, métadonnées et blocs de données
• Notions de réplication, de quorum et de cohérence dans un système distribué
• Configuration de garage.toml, ports de service et volumes persistants avec Docker
• Administration initiale avec la CLI Garage, création d’un bucket et attribution des permissions à une clé
• Atelier pratique : Déployer un nœud de découverte avec stockage persistant, créer un accès et transférer des objets avec AWS CLI.

[Jour 1 – Après-midi]

Construction du cluster géodistribué

• Conception des domaines de panne et répartition des nœuds entre sites physiques distincts
• Connectivité inter-nœuds, adresses annoncées et protection du secret RPC
• Configuration du facteur de réplication et conséquences des quorums sur la disponibilité
• Gestion du layout, affectation des zones, déclaration des capacités et application des changements
• Calcul de la capacité utile, équilibre entre zones et principes de redistribution des données
• Atelier pratique : Construire un cluster de trois nœuds dans trois zones simulées, appliquer une réplication à trois copies et vérifier les accès S3 depuis plusieurs nœuds.

[Jour 2 – Matin]

Sécurisation et intégrations S3

• Configuration des clients S3, endpoint, région, signature et adressage des buckets
• Gestion des clés d’accès et des permissions par bucket selon le principe du moindre privilège
• Exposition du service avec un reverse proxy et TLS, isolation des interfaces internes et d’administration
• Validation de la compatibilité S3, transferts multipart et différences avec les politiques d’accès et le versioning AWS
• Intégrations avec rclone et restic, distinction entre sauvegarder vers Garage et sauvegarder le cluster lui-même
• Atelier pratique : Configurer deux accès aux permissions distinctes, transférer des fichiers avec rclone et sauvegarder puis restaurer un jeu de données avec restic sur Garage.

[Jour 2 – Après-midi]

Supervision et validation de la résilience

• Supervision avec Prometheus et Grafana, suivi des erreurs, de la capacité et de l’état des nœuds
• Diagnostic avec les journaux, la CLI et les indicateurs de synchronisation
• Scénarios de panne de nœud et de perte de zone, limites de disponibilité liées aux quorums et au point d’entrée S3
• Contrôles d’intégrité avec le scrubbing, suivi des réparations et snapshots des métadonnées
• Préparation de la maintenance, remplacement d’un nœud, changements de layout, mises à niveau et sauvegardes indépendantes
• Atelier pratique : Superviser le cluster, arrêter un nœud représentant une zone, tester les lectures et écritures via un nœud disponible, puis rétablir le service et vérifier la resynchronisation et l’intégrité des fichiers.