Anyscale a annoncé une collaboration avec NVIDIA pour intégrer la plate-forme logicielle NVIDIA AI Enterprise dans la plate-forme Anyscale, ce qui permet aux clients d'accélérer et de mettre à l'échelle de grands modèles de langage (LLM) dans un environnement de production avec sécurité, support et stabilité. L'intégration apporte la prise en charge des microservices d'inférence NVIDIA NIM annoncés à la NVIDIA GTC le 18 mars 2024. Les clients bénéficieront de la puissance combinée de Ray et de l'environnement d'exécution géré d'Anyscale, fournissant des capacités telles que l'orchestration de conteneurs, l'observabilité et l'autoscaling, ainsi que l'accès à NVIDIA AI Enterprise pour améliorer la sécurité et les performances LLM.

Les charges de travail d'IA exigent de plus en plus de performances de la part de l'infrastructure. La mise à l'échelle dynamique de cette infrastructure tout en équilibrant les coûts reste un défi omniprésent. L'intégration d'Anyscale avec NVIDIA AI Enterprise améliorera l'évolutivité des charges de travail d'IA, en permettant la formation et le déploiement de modèles plus importants et plus complexes et en prenant en charge l'optimisation de modèles plus petits pour des tâches spécifiques.

L'accès à l'infrastructure informatique accélérée de NVIDIA simplifiera le déploiement et la gestion des applications distribuées d'apprentissage machine (ML), ce qui se traduira par une utilisation plus efficace des ressources, une itération plus rapide et une réduction des coûts. De plus, l'accès à NIM minimise les restrictions et le temps consacré à l'infrastructure, ce qui permet aux développeurs de rester concentrés sur l'innovation pour leur entreprise. L'intégration d'Anyscale avec NVIDIA AI Enterprise apportera de nombreux avantages aux développeurs, notamment : Mise à l'échelle automatique pour réduire les coûts : Grâce aux capacités de mise à l'échelle automatique, les utilisateurs peuvent améliorer l'utilisation des ressources pour réduire les coûts tout en améliorant les performances et l'évolutivité de leurs applications d'IA.

Observabilité : La transparence totale fournit des informations sur les performances et la fiabilité des applications, ce qui permet aux développeurs d'ajuster leur code afin d'optimiser les performances du système. Optimisation : Les clients ont accès à l'inférence générative optimisée par l'IA via NVIDIA NIM, ce qui permet de développer de meilleures solutions pour des cas d'utilisation spécifiques tels que le traitement audio ou l'imagerie médicale. Sécurité : Les développeurs ont la possibilité d'exploiter les fonctions de sécurité avancées et le support d'Anyscale et de NVIDIA, ce qui permet d'utiliser des données propriétaires pour former des modèles en toute sécurité.

Espaces de travail : Le développement collaboratif via les espaces de travail permettra aux clients d'accélérer l'itération et le déploiement des modèles et de rationaliser les flux de travail.