MtoM Mag - Le journal de l'MtoM.
- accueil .
- newsletter .
Flux RSS . - soumissions .
- publicité .
- contacts
Flux RSS .
C’est pour cette raison que Red Hat a lancé Open Data Hub, dans le but d’aider à développer et à soutenir les projets de données et d’IA/ML open source, à l’image de Kubeflow ou KServe.
Open Data Hub a débuté sous la forme d’un simple opérateur dédié au déploiement de logiciels d’IA/ML et de données sur les clusters Red Hat OpenShift avec un certain degré d’intégration mutuelle. Néanmoins, lorsque Red Hat a commencé à rencontrer des obstacles liés à la prise en charge, l’entreprise s’est tournée vers Kubeflow, un nouveau projet dont l’objectif principal consiste à simplifier et à mettre à l’échelle les déploiements de charges de travail de Machine Learning sur Kubernetes. En réécrivant Open Data Hub sur le code Kubeflow, les équipes ont été en mesure de créer une nouvelle matrice de prise en charge des fonctionnalités. Ces dernières années, Red Hat a décidé de s’impliquer davantage au sein de la communauté Kubeflow, non seulement dans le but de contribuer à la création de code, mais également pour aider la communauté à atteindre des degrés de maturité et d’adoption par les utilisateurs supérieurs. Voici une vue d’ensemble du travail réalisé jusqu’à ce jour par Red Hat au sein de la communauté Kubeflow.
Après avoir rejoint la communauté Kubeflow, Ricardo Martinelli, ingénieur logiciel senior chez Red Hat, s’est porté volontaire pour travailler en tant que manager sur le lancement de Kubeflow 1.9, en collaboration avec d’autres contributeurs Kubeflow, dans le but d’établir la feuille de route de cette opération de lancement. En conséquence, Red Hat a contribué à l’ajout de plusieurs fonctionnalités pour Kubeflow 1.9.
Le registre de modèles, une fonctionnalité en vogue, est devenu l’une des principales contributions de Red Hat à Kubeflow 1.9. Il s’intègre avec les pipelines et les composants fonctionnels de Kubeflow afin de créer un catalogue d’artefacts, qui rassemble des modèles, des ensembles de données, des indicateurs et bien plus encore, tout en permettant de déployer les modèles à partir du stockage des artefacts. D’autres fonctionnalités essentielles du registre de modèles incluent le déploiement d’un chart opérateur/Helm, le contrôle d’accès basé sur les rôles (RBAC), le multi-client et bien d’autres. Afin de fournir un support pour cette nouvelle fonctionnalité de registre de modèles, la communauté Kubeflow a créé un nouveau groupe de travail.
Red Hat a également commencé à contribuer au projet Kubeflow Pipelines 2.0 en facilitant la mise à niveau des pipelines vers Argo Workflows 3.4, ce qui permet de résoudre les problèmes liés à la sécurité et aux licences MinIO, tout en améliorant les performances de développement au sein des implémentations Argo et Tekton.
À l’occasion du lancement de Kubeflow 1.9, la communauté a décidé de mettre à exécution ses plans pour Kubeflow Notebooks 2.0, qui doit s’accompagner d’un nouvel ensemble de définitions de ressources sur mesure (CRD), Workspace et WorkspaceKind. Ces CRD permettent à l’administrateur de jouir d’un degré de contrôle supérieur sur les espaces de travail, ce qui inclut la capacité à mettre à jour une configuration de notebook existante. Ce projet est entré dans sa phase de conception au début de l’année 2024 et le groupe de travail Notebooks dirige le projet d’architecture. Andriana Theodorakopoulou, Ramakrishna Pattnaik, Jiri Petrlik et Harshad Reddy Nalla, ingénieurs de Red Hat, s’efforcent actuellement de développer la documentation relative à la conception et de cibler les contributions à venir en matière de code.
KServe est un projet autonome issu de Kubeflow Incubation. La communauté KServe travaille en étroite collaboration avec la communauté Kubeflow au sein du groupe de travail fonctionnel Kubeflow afin d’intégrer KServe avec Kubeflow tout en développant une communauté KServe qui s’agrandit rapidement et en encourageant la création de fonctionnalités innovantes. Red Hat travaille main dans la main avec d’autres membres de la communauté afin de mener ces efforts dans divers domaines, y compris en ajoutant des environnements d’exécution originaux HuggingFace et vLLM, en ajoutant un environnement de « runtime explicatif enfichable », des améliorations et des correctifs au mode RawDeployment, tout en optimisant les CRD KServe très volumineux, en renforçant la sécurité, en améliorant le processus de lancement et bien davantage. Edgar Hernandez Garcia, Jooho Lee, Filippe Spolti et Yuan Tang comptent parmi les principaux contributeurs KServe chez Red Hat. Yuan Tang et Edgar Hernandez Garcia ont d’ailleurs été récemment promus au poste de reviewers de KServe.
En collaboration avec d’autres membres de la communauté, Red Hat s’efforce de développer Kubeflow afin que ce projet soit certifié par la Cloud Native Computing Foundation (CNCF). Certaines conditions pour y parvenir impliquent de repenser la documentation Kubeflow afin de remplir les critères de certification CNCF, ce qui a étendu le travail à d’autres domaines, notamment la sécurité et les politiques de protocoles Internet (IP).
Les équipes en charge de la sécurité produits et de l’”open source program office” (OSPO) de Red Hat travaillent avec la communauté Kubeflow à résoudre des questions liées aux processus en cas de vulnérabilité décelée au sein des composants Kubeflow. Sean Pryor mène ce projet dans le but d’empêcher la publication d’images Kubeflow avec des CVE non gérées en proposant de se servir de scanners de sécurité et de mettre en place un flux de travail dédié pour résoudre ces problèmes de sécurisation. Owen Watkins, membre de l’équipe qui supervise la sécurité des produits chez Red Hat, œuvre à la mise en place de lignes directrices destinées à encadrer les actions à effectuer en cas de rapport faisant état d’une faille de sécurité.
Red Hat contribue également à Kubeflow dans le domaine de la gouvernance. Yuan Tang, principal ingénieur logiciel chez Red Hat, a été élu membre du Kubeflow Steering Committee (KSC), l’organisme de gouvernance principal de Kubeflow. M. Tang est à l’origine de nombreux projets open source populaires, y compris Argo et KServe, qu’il contribue également à maintenir. Au cours des six dernières années, il a travaillé en tant que tech lead sur de nombreux sous-projets Kubeflow. Ses contributions ont permis de renforcer la confiance de la communauté Kubeflow dans ses compétences techniques et son leadership et il a aidé à piloter les différents sujets qui ont fait surface lorsque Kubeflow a entamé le processus de certification par la CNCF.
Depuis les premières contributions de Red Hat au projet Kubeflow, l’entreprise a toujours su que l’idée d’une « distribution certifiée » constituerait une thématique essentielle et, grâce au nouveau comité de pilotage et à la mise en œuvre du processus de certification par la CNCF, Kubeflow pourrait revoir ses plans afin de créer un test de conformité dans le but de certifier les Distributions Kubeflow.
Il reste encore du travail à accomplir pour obtenir la certification de Kubeflow par la CNCF et Red Hat s’engage à redoubler d’efforts pour y parvenir.
Kubeflow et le Google Summer of Code À la suite de son engagement au sein de la communauté Kubeflow et en raison de son expérience des projets open source, Red Hat a entrepris de présenter une proposition au Google Summer of Code pour le compte de la communauté Kubeflow. Celle-ci inclut de nombreux projets menés en collaboration avec d’autres contributeurs Kubeflow qui couvrent le développement d’API LLM, le triage des problèmes et des demandes de tirage (PR) sur Github, les tâches de documentation et bien plus encore. Red Hat participe au Google Summer of Code depuis plusieurs années, notamment grâce à un travail sur l’ensemble de ses multiples projets middleware, et cette expérience a conduit l’entreprise à demander à se joindre à l’événement avec l’aide de la communauté Kubeflow. Nous sommes impatients d’encadrer des étudiants et de leur montrer de quelle manière la collaboration open source peut permettre d’illuminer l’innovation, d’enrichir leur éducation et de donner un élan à leur carrière grâce à une expérience concrète du développement.
L’engagement de Red Hat et la relation qu’entretient l’entreprise avec les autres membres du projet Kubeflow montrent comment une communauté peut concevoir et mettre sur le marché un meilleur logiciel en travaillant de concert. Nous espérons que cela débouchera sur de nombreuses années jalonnées de réussites et nous tenons à remercier la communauté Kubeflow de nous avoir accueillis à bras ouverts.
