Prefect a annoncé l’acquisition de Dagster, l’un de ses principaux concurrents dans l’orchestration open source de workflows et de pipelines de données. À première vue, l’opération ressemble à une consolidation classique autour d’Apache Airflow, référence historique du secteur. En réalité, le mouvement raconte surtout une autre histoire : celle de l’orchestration des agents IA en production.
L’accord, qui n’est pas encore formellement finalisé, réunit deux des alternatives les plus visibles à Airflow au sein d’une même entreprise. Dagster, son orchestrateur open source, ainsi que Dagster+, son offre cloud managée, conserveront leurs noms, leurs tarifs et leurs feuilles de route produits. Environ 40 membres de l’équipe Dagster doivent rejoindre Prefect dans le cadre de l’opération.
Pour TechBanger FR, l’intérêt de cette acquisition ne se limite donc pas au marché des data pipelines. Elle montre comment les outils historiquement conçus pour planifier, surveiller et fiabiliser des traitements de données deviennent progressivement l’infrastructure de base des workflows agentiques, ces systèmes où des agents IA prennent des décisions, appellent des outils et exécutent des tâches complexes.
Deux rivaux d’Airflow passent sous le même toit
Depuis plusieurs années, Prefect et Dagster évoluent dans le même espace : celui de l’orchestration moderne de workflows. Tous deux se sont imposés comme des alternatives à Apache Airflow, longtemps considéré comme le choix par défaut pour programmer et exécuter des pipelines de données.
Airflow a apporté une réponse robuste à un problème central : comment déclencher des tâches, gérer leurs dépendances, suivre leurs erreurs et relancer automatiquement des traitements ? Mais à mesure que les architectures data se sont complexifiées, de nouvelles attentes sont apparues : meilleure expérience développeur, observabilité plus fine, gestion plus explicite des actifs de données, intégration cloud plus fluide et maintenance plus simple.
C’est dans ce contexte que Prefect et Dagster ont bâti leur popularité, chacun avec une approche distincte.
Prefect : rendre l’orchestration plus fiable et plus accessible aux développeurs Python
Prefect s’est fait connaître avec une promesse claire : simplifier l’orchestration de workflows en production, en particulier pour les équipes qui travaillent en Python. La plateforme vise à rendre les exécutions plus résilientes, plus lisibles et plus faciles à superviser, sans obliger les développeurs à s’enfermer dans des modèles trop rigides.
Dans les environnements data modernes, cela répond à des besoins très concrets : relancer automatiquement une tâche échouée, surveiller un traitement critique, paramétrer des flux selon l’environnement, ou encore déclencher des workflows à partir d’événements externes.
Dagster : définir ce qu’un pipeline doit produire, pas seulement ce qu’il doit exécuter
Dagster, de son côté, s’est différencié en mettant davantage l’accent sur les actifs de données et les résultats attendus. Plutôt que de considérer un pipeline comme une simple succession de tâches, Dagster aide les équipes à modéliser ce que le pipeline doit produire, comment ces résultats sont vérifiés et comment ils s’inscrivent dans un graphe de dépendances.
Cette approche a séduit des équipes qui cherchent à rendre leurs pipelines plus compréhensibles, testables et gouvernables. Elle est particulièrement pertinente lorsque des modèles analytiques, des tableaux de bord, des tables de données et des traitements machine learning dépendent les uns des autres.
Le vrai enjeu : orchestrer les agents IA en production
Jeremiah Lowin, fondateur et CEO de Prefect, présente l’acquisition comme un pari sur l’avenir de l’orchestration moderne. Selon lui, les agents IA ont besoin de plusieurs briques pour fonctionner de manière fiable : des objectifs clairement définis, une capacité d’exécution flexible et des garde-fous pour contrôler les systèmes auxquels ils peuvent accéder.
Dans cette lecture, Dagster et Prefect ne sont pas seulement deux outils de pipelines. Ils deviennent deux pièces complémentaires d’une infrastructure destinée à faire tourner des agents IA dans des conditions réelles.
- Dagster apporte une logique de définition, de suivi et de validation des résultats attendus.
- Prefect fournit une couche d’exécution capable de piloter des workflows dynamiques et de gérer les imprévus.
- FastMCP, développé par Prefect, sert à connecter les agents IA à des systèmes externes de manière contrôlée.
L’idée est simple : un agent IA ne peut pas seulement “réfléchir”. Pour être utile en entreprise, il doit aussi agir, interroger des outils, modifier des données, déclencher des processus, respecter des permissions et produire des résultats traçables. C’est précisément le territoire de l’orchestration.
Pourquoi les workflows agentiques changent les besoins d’infrastructure
Les agents IA introduisent une rupture par rapport aux automatisations classiques. Un pipeline traditionnel suit généralement un chemin prévu à l’avance : extraire des données, les transformer, charger un résultat, exécuter une vérification, publier une sortie. Même lorsqu’il est complexe, son comportement reste largement déterministe.
Un workflow agentique est différent. L’agent peut décider de consulter un outil, puis un autre, d’adapter son plan, de recommencer une étape, ou de déclencher une action selon le contexte. Cette flexibilité est puissante, mais elle crée aussi de nouveaux risques.
Pour passer en production, les entreprises doivent répondre à plusieurs questions :
- Comment savoir ce qu’un agent a réellement fait ?
- Quels outils peut-il appeler, et avec quelles permissions ?
- Comment relancer une exécution partiellement échouée ?
- Comment vérifier que le résultat obtenu correspond à l’objectif attendu ?
- Comment auditer les décisions, les appels API et les données consultées ?
Ces questions ressemblent beaucoup à celles que les équipes data se posent depuis des années avec leurs pipelines. La nouveauté, c’est que les agents IA ajoutent une couche d’autonomie et d’incertitude. L’orchestration doit donc devenir à la fois plus flexible et plus contrôlée.
FastMCP, la pièce stratégique de Prefect dans l’écosystème IA
La stratégie de Prefect autour des agents IA ne se limite pas au rachat de Dagster. L’entreprise a aussi développé FastMCP, un framework lié au Model Context Protocol, ou MCP.
Le MCP est un standard ouvert publié par Anthropic fin 2024. Son objectif est de permettre aux modèles d’IA de découvrir et d’utiliser des outils ou des sources de données externes de manière structurée. En pratique, il sert de pont entre un modèle et le monde applicatif : fichiers, bases de données, API internes, outils métiers ou services cloud.
FastMCP simplifie la création de serveurs MCP en permettant aux développeurs d’écrire des fonctions Python classiques plutôt que de coder manuellement toute la logique du protocole. Prefect a lancé FastMCP le même mois que l’arrivée du MCP, et Anthropic l’a ensuite adopté comme SDK Python officiel pour MCP.
Ce point est important, car il place Prefect dans une zone stratégique : non seulement l’entreprise orchestre des workflows, mais elle contribue aussi à définir la manière dont les agents IA accèdent aux outils externes. Dans un contexte où les entreprises cherchent à industrialiser l’IA générative, cette couche de connexion devient critique.
Dagster, Prefect et l’IA : une transition déjà engagée
Cette acquisition n’arrive pas de nulle part. Les deux entreprises ont déjà commencé à déplacer leur discours et leurs produits vers les cas d’usage IA.
Prefect 3.0, lancé en 2024, mettait explicitement l’accent sur le support des workflows agentiques. L’objectif était de permettre aux équipes de mieux gérer des exécutions plus dynamiques, moins linéaires et davantage pilotées par des décisions prises en cours de route.
Dagster a également évolué dans cette direction. L’entreprise a présenté Components, une approche reposant sur des blocs réutilisables configurés en YAML pour construire des pipelines sans tout écrire à la main en Python. Elle a aussi lancé Compass, un outil permettant aux analystes d’interroger des données en langage naturel, notamment via Slack, au lieu d’écrire directement du SQL.
Ces évolutions traduisent un glissement plus large du marché : les outils data ne servent plus seulement à préparer des tableaux de bord ou alimenter des modèles. Ils deviennent des socles pour des systèmes capables de comprendre une demande, d’accéder à des données, d’agir et de fournir un résultat opérationnel.
Ce que cela change pour les équipes data et IA
Pour les équipes techniques, le rapprochement entre Prefect et Dagster pourrait avoir plusieurs conséquences concrètes. À court terme, les utilisateurs actuels ne devraient pas s’attendre à un bouleversement immédiat : les produits Dagster et Dagster+ conservent leurs noms, leurs prix et leurs roadmaps annoncées.
Mais à moyen terme, la combinaison des deux approches pourrait influencer la manière dont les organisations construisent leurs plateformes de données et d’IA.
Des pipelines plus proches des objectifs métier
L’approche de Dagster autour des actifs de données peut aider à rendre les workflows plus orientés résultats. Dans un contexte IA, cela devient essentiel : il ne suffit pas de savoir qu’une série de tâches s’est exécutée, il faut savoir si le système a produit un résultat valide, exploitable et conforme à l’objectif.
Exemple : un agent chargé de préparer un rapport commercial ne doit pas seulement lancer une requête, générer un résumé et envoyer un message. Il doit produire un rapport basé sur les bonnes sources, avec des chiffres vérifiables, dans le bon format et avec un historique consultable.
Une meilleure exécution des processus imprévisibles
Prefect apporte une logique d’exécution flexible qui correspond bien aux workflows où tout ne peut pas être planifié à l’avance. C’est un atout pour les agents IA, qui peuvent avoir besoin d’ajuster leur comportement selon les réponses obtenues.
Dans un environnement d’entreprise, cela peut concerner un agent de support qui consulte une base documentaire, ouvre un ticket, vérifie un statut client et déclenche une escalade si nécessaire. Chaque étape dépend du contexte, mais l’ensemble doit rester observable et maîtrisé.
Des garde-fous plus importants autour des outils externes
Avec FastMCP et MCP, Prefect se positionne aussi sur le contrôle des interactions entre agents et systèmes externes. C’est un point décisif pour les DSI : un agent IA ne doit pas disposer d’un accès illimité aux bases de données, aux outils internes ou aux API sensibles.
Les entreprises auront besoin de politiques précises : quels outils sont accessibles, dans quelles conditions, avec quelles limites, et comment journaliser chaque action. L’orchestration devient alors une couche de gouvernance autant qu’une couche d’exécution.
Un signal fort dans la bataille contre Airflow
Apache Airflow reste extrêmement installé dans les entreprises. Sa maturité, son écosystème et son adoption historique en font un standard difficile à déloger. Mais l’union de Prefect et Dagster donne naissance à un acteur plus solide face à cet incumbent.
Landen Bailey, principal data engineer chez Redo, a résumé sur LinkedIn une perception partagée par une partie de la communauté data : pendant des années, Prefect et Dagster ont été les deux choix “alternatifs” pour les équipes souhaitant s’éloigner d’Airflow. Séparément, chaque outil pouvait avoir du mal à menacer frontalement le leader. Ensemble, ils pourraient peser davantage.
La question n’est toutefois pas seulement de savoir si Prefect peut gagner des parts de marché face à Airflow. Le sujet est plus vaste : le centre de gravité de l’orchestration est en train de se déplacer. Les pipelines de données restent essentiels, mais les workflows IA, les agents autonomes et les connexions sécurisées aux outils métiers deviennent le nouveau terrain de compétition.
Le départ de Nick Schrock marque aussi une fin de cycle
L’opération a également une dimension humaine. Nick Schrock, fondateur de Dagster, avait quitté le rôle de CEO en 2022 pour devenir CTO, laissant la direction générale à Pete Hunt. Dans l’annonce officielle, Schrock et Hunt sont présentés comme restant impliqués auprès de Prefect en tant que conseillers stratégiques, tout en continuant à participer à la communauté open source.
Mais le billet publié par Nick Schrock donne une tonalité plus personnelle à cette transition. Il y indique qu’il quitte le projet et l’entreprise, ce qui marque clairement la fin d’un chapitre pour Dagster. Même si le produit conserve son nom et sa trajectoire annoncée, l’arrivée sous l’égide de Prefect ouvre une nouvelle phase.
Pour les communautés open source, ce type de changement est toujours sensible. La confiance dépendra de la capacité de Prefect à maintenir l’indépendance technique des projets, à respecter les usages existants et à éviter de transformer trop brutalement l’écosystème Dagster.
Pourquoi cette acquisition compte pour l’avenir de l’IA d’entreprise
Le rachat de Dagster par Prefect illustre une tendance de fond : l’industrialisation de l’IA ne se jouera pas uniquement sur les modèles. Les grandes entreprises ne manquent déjà plus de modèles capables de générer du texte, du code ou des analyses. Ce qui manque encore, c’est l’infrastructure fiable pour intégrer ces modèles dans des processus critiques.
Cette infrastructure doit répondre à des exigences très opérationnelles :
- définir clairement les objectifs confiés aux agents IA ;
- contrôler les outils et les données accessibles ;
- exécuter des workflows dynamiques sans perdre la traçabilité ;
- valider les résultats produits ;
- surveiller, auditer et corriger les comportements en production.
Prefect semble parier que les compétences développées pendant des années autour des pipelines de données peuvent devenir une base essentielle pour cette nouvelle génération de systèmes. Dagster apporte une vision forte de la définition et de la validation des résultats. Prefect apporte l’exécution et l’orchestration flexible. FastMCP apporte le lien avec l’écosystème des agents et des outils externes.
Si cette combinaison fonctionne, l’acquisition pourrait être moins un épisode de consolidation dans la data qu’un jalon dans la construction de la stack IA d’entreprise.
À retenir
- Prefect acquiert Dagster, l’un de ses principaux concurrents et une alternative reconnue à Apache Airflow.
- Dagster et Dagster+ doivent conserver leurs noms, leurs prix et leurs roadmaps, tandis qu’environ 40 personnes de l’équipe Dagster rejoignent Prefect.
- L’opération vise surtout l’orchestration des workflows agentiques, pas seulement les pipelines de données classiques.
- Dagster apporte une logique de définition et de suivi des résultats, tandis que Prefect met l’accent sur l’exécution flexible.
- FastMCP renforce la position de Prefect dans l’écosystème MCP, central pour connecter les agents IA à des outils externes.
- Le rapprochement pourrait créer un concurrent plus crédible face à Airflow, mais son enjeu principal se situe dans l’industrialisation de l’IA.
Pour les équipes data, IA et plateforme, ce rachat mérite donc d’être suivi de près. Il ne s’agit pas simplement d’un duel d’orchestrateurs open source qui se termine. C’est peut-être le début d’une nouvelle bataille : celle de l’infrastructure qui permettra aux agents IA de fonctionner de manière fiable, observable et contrôlée dans les environnements de production.