Formation Apache Arrow

PROGRAMME DE NOTRE FORMATION APACHE ARROW

INTRODUCTION À APACHE ARROW

• Présentation d’Apache Arrow et son écosystème
• Importance d’Apache Arrow dans le Big Data et l’analyse de données
• Concepts clés : colonnes, tableaux, schémas, et types de données
• Avantages de l’utilisation d’Apache Arrow pour le traitement de données en mémoire
• Installation d’Apache Arrow et configuration de l’environnement de développement

ARCHITECTURE ET CONCEPTION

• Vue d’ensemble de l’architecture interne d’Apache Arrow
• Comprendre la représentation en mémoire et le format de données columnar
• La bibliothèque Arrow et ses différentes langages de programmation (C++, Python, Java, etc.)
• Exploration des interfaces IPC (Inter-Process Communication) et Flight (gRPC)
• Utilisation des datasets et des RecordBatches

CONTRIBUER À APACHE ARROW

• Guide pour les nouveaux contributeurs : Comment commencer
• Processus pour signaler des bugs et suggérer des fonctionnalités
• Réaliser et soumettre votre première Pull Request (PR)
• Bonnes pratiques pour le travail collaboratif avec Git et GitHub
• Cycle de vie d’une pull request et revue de code

DÉVELOPPEMENT ET TESTS

• Configuration de l’environnement de développement pour différentes langues
• Compilation des bibliothèques Arrow : étapes et dépannage
• Écrire, exécuter et déboguer des tests unitaires et d’intégration
• Appliquer les conventions de style de codage d’Apache Arrow
• Utilisation des outils de développement quotidiens comme Archery

INTÉGRATION CONTINUE ET PACKAGING

• Présentation de l’intégration continue dans le projet Arrow
• Exécution de builds Docker pour la validation des changements
• Utilisation de Crossbow pour le packaging et les tests
• Comprendre les outils et les processus de build automatisés
• Résolution des problèmes courants lors de l’intégration continue

TUTORIELS ET RESSOURCES SUPPLÉMENTAIRES

• Tutoriels pratiques pour l’utilisation d’Arrow en Python et R
• Accéder à des ressources complémentaires pour approfondir vos connaissances
• Aide avec la documentation : comment contribuer et améliorer les documents
• Exemples d’utilisation avancée d’Apache Arrow dans des cas réels
• Discussion sur les dernières mises à jour et les fonctionnalités à venir