MtoM Mag - Le journal de l'MtoM.
- accueil .
- newsletter .
Flux RSS . - soumissions .
- publicité .
- contacts
Flux RSS .
Mistral AI et NVIDIA ont lancé aujourd’hui un nouveau modèle de langage de pointe, Mistral NeMo 12B, que les développeurs peuvent facilement personnaliser et déployer pour les applications d’entreprise prenant en charge les chatbots, les tâches multilingues, le codage et la synthèse.
En combinant l’expertise de Mistral AI en matière de données d’entraînement avec l’écosystème matériel et logiciel optimisé de NVIDIA, le modèle Mistral NeMo offre des performances élevées pour diverses applications.
« Nous avons la chance de collaborer avec l’équipe de NVIDIA, en tirant parti de leur matériel et de leurs logiciels hauts de gamme », a déclaré Guillaume Lample, cofondateur et scientifique en chef de Mistral AI. « Ensemble, nous avons développé un modèle offrant une précision, une flexibilité, une efficacité et un support et une sécurité de pointe sans précédent grâce au déploiement de NVIDIA AI Enterprise. »
Mistral NeMo a été formé sur la plateforme NVIDIA DGX Cloud AI, qui offre un accès dédié et évolutif à la dernière architecture NVIDIA.
NVIDIA TensorRT-LLM pour les performances d’inférence accélérée sur les grands modèles de langage et la plateforme de développement NVIDIA NeMo pour la création de modèles d’IA génératifs personnalisés ont également été utilisés pour faire progresser et optimiser le processus.
Cette collaboration souligne l’engagement de NVIDIA à soutenir l’écosystème des constructeurs de modèles.
Excellant dans les conversations multitours, les mathématiques, le raisonnement de bon sens, la connaissance du monde et le codage, ce modèle d’IA d’entreprise offre des performances précises et fiables dans diverses tâches.
Avec une longueur de contexte de 128 Ko, Mistral NeMo traite des informations étendues et complexes de manière plus cohérente et plus précise, garantissant ainsi des sorties contextuellement pertinentes.
Commercialisé sous la licence Apache 2.0, qui favorise l’innovation et soutient la communauté de l’IA au sens large, Mistral NeMo est un modèle de 12 milliards de paramètres. De plus, le modèle utilise le format de données FP8 pour l’inférence du modèle, ce qui réduit la taille de la mémoire et accélère le déploiement sans aucune dégradation de la précision.
Cela signifie que le modèle apprend mieux les tâches et gère plus efficacement divers scénarii, ce qui le rend idéal pour les cas d’utilisation en entreprise.
Mistral NeMo est livré sous la forme d’un microservice d’inférence NVIDIA NIM, offrant une inférence optimisée pour les performances avec les moteurs NVIDIA TensorRT-LLM.
Ce format conteneurisé permet un déploiement facile n’importe où, offrant une flexibilité accrue pour diverses applications.
Par conséquent, les modèles peuvent être déployés n’importe où, en quelques minutes, plutôt qu’en plusieurs jours.
NIM propose des logiciels d’entreprise qui font partie de NVIDIA AI Enterprise, avec des branches de fonctionnalités dédiées, des processus de validation rigoureux, ainsi qu’une sécurité et un support de niveau entreprise.
Il comprend une assistance complète, un accès direct à un expert en IA de NVIDIA et des accords de niveau de service définis, offrant des performances fiables et constantes.
La licence de modèle ouvert permet aux entreprises d’intégrer Mistral NeMo dans des applications commerciales de manière transparente.
Conçu pour s’adapter à la mémoire d’un seul GPU NVIDIA L40S, NVIDIA GeForce RTX 4090 ou NVIDIA RTX 4500, le Mistral NeMo NIM offre une efficacité élevée, un faible coût de calcul, ainsi qu’une sécurité et une confidentialité améliorées.
L’expertise combinée des ingénieurs de Mistral AI et de NVIDIA a permis d’optimiser l’entraînement et l’inférence pour Mistral NeMo.
Formé avec l’expertise de Mistral AI, notamment sur le multilinguisme, le code et les contenus multi-tours, le modèle bénéficie d’un entraînement accéléré sur la pile complète de NVIDIA.
Il est conçu pour des performances optimales, en utilisant des techniques efficaces de parallélisme des modèles, une évolutivité et une précision mixte avec Megatron-LM.
Le modèle a été entraîné à l’aide de Megatron-LM, qui fait partie de NVIDIA NeMo, avec 3 072 GPU H100 80GB Tensor Core sur DGX Cloud, composés de l’architecture d’IA de NVIDIA, y compris le calcul accéléré, la structure réseau et le logiciel pour augmenter l’efficacité de l’entraînement.
Avec la flexibilité de fonctionner n’importe où - cloud, centre de données ou station de travail RTX : Mistral NeMo est prêt à révolutionner les applications d’IA sur diverses plateformes.
