Zach Anderson
27 févr. 2026 16h58
La nouvelle intégration combine le traitement distribué de Ray Data avec l'analyse de documents de Docling pour traiter plus de 10 000 fichiers complexes pour les applications RAG en quelques heures au lieu de plusieurs jours.
Les équipes d'entreprise qui développent des applications d'IA viennent d'obtenir une solution à leur goulot d'étranglement le plus frustrant. Anyscale a expliqué en détail comment la combinaison de Ray Data avec Docling peut transformer des semaines de traitement de documents en quelques heures—un développement qui pourrait accélérer les délais de déploiement pour les entreprises disposant d'archives documentaires massives.
L'intégration technique répond à ce que les initiés appellent le « goulot d'étranglement des données » dans les systèmes de génération augmentée par récupération. Alors que les démonstrations font paraître l'IA générative simple, la réalité implique de lutter avec des milliers de PDF anciens, des tableaux complexes et des images intégrées que les outils de traitement traditionnels gèrent mal.
Ce qui change réellement
Le moteur d'exécution en streaming de Ray Data achemine les données simultanément à travers les tâches CPU et GPU. L'architecture native Python élimine la surcharge de sérialisation qui affecte d'autres frameworks lors de la traduction de données entre environnements linguistiques. Pour les équipes exécutant des inférences par lots ou prétraitant des ensembles de données massifs, cela signifie des cycles d'itération plus rapides.
Docling gère la complexité d'analyse qui fait échouer la plupart des outils traditionnels—extrayant avec précision les tableaux et les mises en page tout en préservant la structure sémantique. Lorsqu'il est intégré à Ray Data, chaque nœud de travail exécute une instance Docling avec des modèles d'IA intégrés en mémoire, permettant un traitement parallèle de documents à grande échelle.
L'architecture fonctionne ainsi : un pilote Ray Data gère l'exécution et sérialise le code des tâches pour la distribution. Les travailleurs lisent les blocs de données directement depuis le stockage et écrivent les fichiers JSON traités vers la destination. Le pilote ne devient jamais un goulot d'étranglement car il ne gère pas le débit réel des données.
Fondation Kubernetes
KubeRay orchestre les clusters Ray sur Kubernetes, gérant l'autoscaling dynamique de 10 à 100 nœuds de manière transparente. Le système inclut une récupération automatique en cas de défaillance des nœuds de travail—essentiel pour les grands travaux d'ingestion qui ne peuvent pas se permettre de redémarrer à zéro.
Le flux de bout en bout déplace les documents du stockage d'objets à travers l'analyse et la segmentation, génère des embeddings sur les nœuds GPU et écrit dans des bases de données vectorielles comme Milvus. Les applications RAG interrogent ensuite la base de données pour alimenter le contexte des LLM.
Des entreprises telles que Pinterest, DoorDash et Instacart utilisent déjà Ray Data pour le traitement du dernier kilomètre et l'entraînement de modèles, ce qui suggère que la technologie a prouvé sa viabilité en production.
Au-delà de la recherche simple
L'enjeu plus large ici cible les flux de travail d'IA agentique où des agents autonomes exécutent des tâches en plusieurs étapes. La qualité des données traitées devient plus critique car les agents s'appuient sur une documentation précise pour agir au nom des utilisateurs. Les organisations qui construisent des architectures évolutives se positionnent maintenant pour des chaînes d'inférence avancées avec plusieurs appels séquentiels de LLM.
Les plateformes Red Hat OpenShift AI et Anyscale fournissent des options de déploiement avec des exigences de gouvernance d'entreprise. La fondation open source signifie que les équipes peuvent commencer les tests sans obstacles majeurs en matière d'approvisionnement.
Pour les équipes d'IA qui passent actuellement plus de temps sur la préparation des données que sur l'ajustement des modèles, cette intégration offre une voie pratique. La question n'est pas de savoir si le traitement distribué de documents compte—c'est de savoir si votre infrastructure peut gérer ce qui vient ensuite.
Source de l'image : Shutterstock
Source : https://blockchain.news/news/ray-data-docling-enterprise-ai-document-processing
