MtoM Mag - Le journal de l'MtoM.

L’équipe de recherche en IA de Snowflake, en collaboration avec la communauté open source, lance un système d’inférence et de fine-tuning pour LLMs à plusieurs centaines de milliards de paramètres, comme Llama 3.1 405B, établissant ainsi une nouvelle référence pour les solutions open source de pointe.

Le Data Cloud IA, Snowflake, annonce l’hébergement de la collection Llama 3.1 de grands modèles de langage (LLM) multilingues open source dans Snowflake Cortex AI. Ceci offre aux entreprises la possibilité de créer et d’exploiter facilement des applications d’intelligence artificielle puissantes et évolutives. Cette initiative comprend le plus grand et le plus performant LLM open source de Meta, le modèle Llama 3.1 405B, avec Snowflake qui développe et rend en open source la stack du système d’inférence pour permettre une inférence en temps réel et à haut débit, démocratisant ainsi les applications de traitement et de génération de langage naturel.

L’équipe de recherche en intelligence artificielle de Snowflake a optimisé Llama 3.1 405B pour l’inférence et le fine-tuning, prenant en charge une fenêtre de contexte massive de 128K dès le premier jour. Cette optimisation permet une inférence en temps réel avec une latence jusqu’à 3x plus faible et un débit 1,4 fois plus élevé que les solutions open source existantes. De plus, il est possible de mettre en place un fine-tuning de ce modèle massif en utilisant un seul nœud GPU, réduisant les coûts et la complexité pour les développeurs et utilisateurs dans le cadre de Cortex AI.

En s’associant avec Meta, Snowflake propose à ses clients des moyens simples, efficaces et fiables d’accéder, d’affiner et de déployer les nouveaux modèles de Meta dans le Data Cloud IA, avec une sécurité et une confiance intégrées dès la conception.

"Notre équipe de recherche en intelligence artificielle de classe mondiale pave la voie pour que les entreprises et la communauté open source exploitent des modèles avancés tels que Llama 3.1 405B pour l’inférence et le fine-tuning afin de maximiser l’efficacité," déclare Vivek Raghunathan, VP of AI Engineering chez Snowflake. "Nous ne nous contentons pas de fournir les modèles de pointe de Meta à nos clients via Snowflake Cortex AI. Nous armons les entreprises et la communauté de l’IA avec de nouvelles recherches et un code open source supportant des fenêtres de contexte de 128K, l’inférence multi-nœuds, le parallélisme de pipeline, la quantization en virgule flottante de 8 bits, et bien plus, afin de faire progresser l’intelligence artificielle pour l’écosystème global."

L’équipe de recherche en IA de Snowflake débloque l’inférence et le fine-tuning open source les plus rapides et les plus efficaces en termes de mémoire. Parallèlement au lancement de Llama 3.1 405B, Snowflake met en open source sa stack d’optimisation d’inférence Massive LLM Inference et de Fine-Tuning System, en collaboration avec DeepSpeed, Hugging Face, vLLM et d’autres acteurs de la communauté de l’intelligence artificielle. Cette avancée établit un nouvel état de l’art pour les systèmes d’inférence et de fine-tuning open source pour des modèles comportant plusieurs centaines de milliards de paramètres.

Snowflake Cortex AI continue de renforcer son engagement de fournir une IA de confiance et responsable. La sécurité de l’intelligence artificielle étant primordiale, Snowflake met à disposition Snowflake Cortex Guard pour protéger contre les contenus nuisibles dans toute application LLM ou tout actif construit dans Cortex AI (soit en utilisant les derniers modèles de Meta, soit les LLM disponibles auprès d’autres fournisseurs tels que Google, Mistral AI et Snowflake lui-même parmi d’autres. Cortex Guard s’appuie sur le Llama Guard 2 de Meta, assurant ainsi que les modèles utilisés par les entreprises sont sûrs.

"La sécurité et la confiance sont des impératifs business lorsqu’il s’agit d’exploiter l’intelligence artificielle générative, et Snowflake nous offre les garanties nécessaires pour innover et utiliser à grande échelle des grands modèles de langage de pointe," déclare Ryan Klapper, leader IA chez Hakkoda. "La combinaison des modèles Llama de Meta au sein de Snowflake Cortex AI nous ouvre encore plus de possibilités pour des applications internes basées sur les RAG, permettant à nos parties prenantes d’accéder à des informations précises et pertinentes."

"En tant que leader dans l’engagement et les plateformes de données clients, les utilisateurs de Twilio ont besoin d’accéder aux bonnes données pour créer le bon message au bon moment," déclare Kevin Niparko, VP, Product and Technology Strategy, Twilio Segment. "La possibilité de choisir le bon modèle pour leur cas d’utilisation au sein de Snowflake Cortex AI permet à nos clients de générer des insights pilotés par l’IA et de les activer facilement dans les outils en aval."

https://www.snowflake.com/