MtoM Mag - Le journal de l'MtoM.

Le service AI Inférence de Cloudera multiplie par 36 la vitesse de performances du LLM grâce au traitement accéléré de NVIDIA et à ses microservices NVIDIA NIM. Résultat : performances accrues, sécurité robuste et flexibilité évolutive

Ce nouveau service combine les atouts des deux entreprises en une offre unique. D’une part, les données fiables de Cloudera servent de base à une IA de confiance. D’autre part, le traitement accéléré de NVIDIA et sa plateforme NVIDIA AI Enterprise permettent le déploiement en mode privé sur Cloudera d’applications IA sécurisées et performantes

Cloudera, seule véritable plateforme hybride pour les données, l’analyse et l’IA, lance Cloudera AI Inference. Cette nouvelle offre s’appuie sur les microservices NVIDIA NIM, parties intégrantes de la plateforme NVIDIA AI Enterprise. Cloudera AI Inference est l’un des premiers services d’inférence IA à fournir une capacité intégrée de microservices NIM. Cette solution rationalise de manière unique le déploiement et la gestion de modèles d’IA à grande échelle. Elle permet aux entreprises d’exploiter le véritable potentiel de leurs données et de faire passer la GenAI du stade expérimental à la pleine production.

Selon des données récentes de Deloitte, pour les entreprises, les plus grands obstacles à l’adoption de la GenAI sont les risques de conformité et les préoccupations relatives à la gouvernance. L’adoption de la GenAI progresse toutefois à un rythme rapide, plus des deux tiers des organisations ayant augmenté leur budget GenAI au troisième trimestre de cette année. Pour surmonter ces obstacles à l’adoption, les entreprises doivent s’orienter vers le mode privé pour l’exécution de modèles et d’applications d’IA sur site ou dans des clouds publics. Une telle transition exige des solutions sûres et évolutives qui évitent les approches complexes et improvisées.

Offrant un développement et un déploiement sécurisés, sous le contrôle de l’entreprise, Cloudera AI Inference protège les données sensibles de toute fuite vers des services de modèles d’IA non privés, hébergés par des fournisseurs. Basé sur la technologie NVIDIA, ce service aide à construire à des vitesses élevées des données fiables pour une IA de confiance. Il permet la création efficace de chatbots pilotés par l’IA, d’assistants virtuels et d’applications agentiques impactant à la fois la productivité et le développement de nouvelles activités.

Le lancement de Cloudera AI Inference fait suite à la collaboration de la société avec NVIDIA. Cette collaboration renforce l’engagement de Cloudera vis-à-vis de l’innovation en matière d’IA d’entreprise au moment où les organisations affrontent les complexités de la transformation numérique et de l’intégration de l’IA.

Avec les GPU NVIDIA Tensor Core, les développeurs peuvent créer, personnaliser et déployer des LLM d’entreprise offrant des performances jusqu’à 36 fois plus rapides et un rendement presque quatre fois supérieur à celui des CPU. L’expérience utilisateur est transparente. L’interface et les API sont directement intégrées dans les conteneurs de microservices NVIDIA NIM. Pas d’interface de ligne de commande (CLI) et pas de systèmes de contrôle séparés. L’intégration du service avec AI Model Registry de Cloudera renforce également la sécurité et la gouvernance en gérant les contrôles d’accès pour les points de terminaison du modèle et les opérations. Les utilisateurs bénéficient d’une plateforme unifiée où tous les modèles, qu’il s’agisse de déploiements LLM ou de modèles traditionnels, sont gérés de manière transparente dans le cadre d’un service unique.

Les autres fonctionnalités clés de Cloudera AI Inference :

 Capacités d’IA avancées : Utilisation des microservices NVIDIA NIM pour optimiser les LLM open-source, dont LLama et Mistral. Cette optimisation vise des avancées décisives dans le traitement du langage naturel (NLP), la vision par ordinateur et d’autres domaines de l’IA.

 Cloud hybride et confidentialité : Exécution de charges de travail sur site ou dans le cloud, avec déploiements de clouds privés virtuels (VPC) pour améliorer la sécurité et la conformité réglementaire.

 Évolutivité et surveillance : Utilisation de l’auto-scaling, de la haute disponibilité (HA) et du suivi des performances en temps réel pour détecter et corriger les problèmes, et assurer une gestion efficace des ressources.

 API ouvertes et intégration CI/CD : Accès à des API standards pour le déploiement, la gestion et la surveillance de modèles, en vue d’une intégration transparente avec les pipelines CI/CD et les workflows MLOps.

 Sécurité de l’entreprise : Accès sécurisé au modèle grâce à l’utilisation de comptes de service, du contrôle d’accès, du lignage et de fonctions d’audit.

 Déploiement avec gestion des risques : Tests A/B et déploiements canari pour des mises à jour contrôlées des modèles.

« Les entreprises sont désireuses d’investir dans la GenAI, mais celle-ci exige des données à la fois évolutives, sécurisées, conformes et bien gouvernées », précise l’analyste Sanjeev Mohan. « Faire passer l’IA en production à grande échelle, en mode privé, génère une complexité que les approches improvisées ne peuvent pas résoudre. Cloudera AI Inference comble cette lacune en ajoutant à l’expertise IA de NVIDIA la gestion avancée des données, ce qui permet à la fois de protéger les données et d’exploiter tout leur potentiel. Grâce à des fonctions de sécurité d’entreprise telles que les comptes de service, le contrôle d’accès et l’audit, les organisations peuvent en toute confiance protéger leurs données. Elles peuvent exécuter des charges de travail sur site ou dans le cloud, en déployant efficacement des modèles d’IA, avec la flexibilité et la gouvernance nécessaires. »

« Nous sommes ravis de collaborer avec NVIDIA pour mettre Cloudera AI Inference sur le marché. Nous apportons une plateforme AI/ML unique qui prend en charge presque tous les modèles et cas d’usage. Les entreprises pourront créer de puissantes applications d’IA avec notre logiciel puis les exécuter dans Cloudera », explique Dipto Chakravarty, Chief Product Officer de Cloudera. « Grâce à ses performances avancées, l’IA de NVIDIA autorise des prises de décision plus judicieuses. Elle permet à Cloudera d’innover pour ses clients en créant des applis IA de confiance, à partir de données de confiance et ce, à grande échelle. »

« Les entreprises aujourd’hui ont besoin d’intégrer l’IA générative à leur infrastructure de données existante de manière transparente afin d’obtenir plus de résultats », estime Kari Briski, vice president of AI software, models and services de NVIDIA. « En intégrant les microservices de NVIDIA NIM à la plateforme AI Inference de Cloudera, nous permettons aux développeurs de créer facilement des applications d’IA générative fiables tout en favorisant l’optimisation continue et autonome des données d’IA ».

Ces nouvelles fonctionnalités seront présentées lors de la conférence de Cloudera sur l’IA et les données, Cloudera EVOLVE NY, qui aura lieu le 10 octobre.

https://www.cloudera.com/