Cette nouvelle version d’Apache Airflow sorti en décembre 2022 offre plusieurs nouvelles fonctionnalités et de nouveaux changements.
Avant de se lancer
Pour une maîtrise complète de l’outil, suivez notre formation Apache Airflow. Il s’agit d’une formation complète dans laquelle vous apprendrez à superviser, planifier et monitorer plusieurs pipelines écrits en Python afin de vous offrir une expressivité et une flexibilité hors pair. Approfondissez vos connaissances en établissant les meilleures pratiques à adopter.
L’équipe Ambient IT
Convivialité de l’interface utilisateur améliorée
Les contributeurs ont travaillé énormément pour rendre l’interface utilisateur plus utilisable concernant le Dataset. L’interface utilisateur d’Airflow affiche désormais des informations utiles, par exemple, le nombre de fois où le système a été actualisé ou la date de la dernière mise à jour d’un ensemble de données. De plus, la vue des dépendances des ensembles de données dans l’UI est moins encombrée.
Commande Airflow dags test
La commande Airflow dags test a été modifié et optimisé pour faciliter le test local des DAG. Dorénavant, la fonctionnalité vérifie les tests DAG et les exécute automatiquement en boucle, en continu et en imprimant les erreurs dans la console de la CLI Airflow. Cette sortie de la commande est beaucoup plus utile, cela signifie que les auteurs n’ont plus à rechercher les informations dont ils ont besoin.
Annoter les instances de tâches
Cette fonctionnalité permet au personnel des opérations d’ajouter des notes utiles aux échecs de tâche ou aux diverses anomalies, s’informant sur les mesures prises pour les traiter. Par exemple, si l’exécution quotidienne d’un DAG de préparation des données échoue, l’ingénieur des opérations peut exécuter la tâche une seconde fois manuellement, en ajoutant une note qui indique : « Exécution manuelle planifiée en raison d’un échec précédent ».
Dynamic Task Mapping
Dans les améliorations apportées à l’ensemble de données par rapport à l’interface utilisateur, une fonctionnalité est constamment améliorée, il s’agit du Dynamic Task Mapping. Le mappage dynamique des tâches permet à un flux de travail de créer un certain nombre de tâches au moment de l’exécution en fonction des données actuelles. Avec cette nouvelle version, il est possible de cartographier dynamiquement un groupe de tâches qui utilise le @task_group décorateur.
logique XComArg
Cette fonctionnalité permet à une instance de tâche de référencer seulement les instances de tâche étendues sélectionnées d’une tâche en amont mappée. Cela est nécessaire pour la résolution d’un groupe de tâches mappées ou d’une tâche qui veut uniquement voir ses tâches en amont dans un même groupe de tâches étendues.
Système de notification d’état d’exécution de dag
La commande Listener API est introduite dans Airflow afin que les utilisateurs et les développeurs puissent écrire des plugins Pluggy. Le même procédé est utilisé pour fournir des notifications sur DagRun que les états soient démarrés, réussis ou échoués. Par ailleurs, cette fonctionnalité ajoute des méthodes de cycle de vie pour les plugins d’Airflow Job, que ce soit SchedulerJob ou BackfillJob qui s’exécute dans LocalTaskJob, il informe les plugins qu’il démarre ou se termine.
