Snowflake Inc. a annoncé le lancement de Snowflake Arctic, un grand modèle linguistique (LLM) conçu pour être le LLM le plus ouvert et le plus performant du marché. Grâce à son architecture unique de mélange d'experts (MoE), Arctic fournit une intelligence de premier ordre avec une efficacité inégalée à l'échelle. Il est optimisé pour les charges de travail complexes des entreprises, dépassant plusieurs références industrielles en matière de génération de code SQL, de suivi des instructions, et plus encore.

En outre, Snowflake publie les poids d'Arctic sous une licence Apache 2.0 ainsi que les détails de la recherche qui a conduit à son entraînement, établissant ainsi une nouvelle norme d'ouverture pour la technologie d'IA d'entreprise. Le LLM Snowflake Arctic fait partie de la famille de modèles Snowflake Arctic, une famille de modèles construits par Snowflake qui comprend également les meilleurs modèles pratiques d'insertion de texte pour les cas d'utilisation de recherche. L'équipe de recherche en IA de Snowflake, qui comprend une composition unique de chercheurs et d'ingénieurs système, a pris moins de trois mois et a dépensé environ un huitième du coût de formation de modèles similaires lors de la construction d'Arctic.

Formé à l'aide d'instances P5 d'Amazon Elastic Compute Cloud (Amazon EC2), Snowflake établit une nouvelle référence en ce qui concerne la rapidité avec laquelle les modèles ouverts de niveau entreprise peuvent être formés, permettant ainsi aux utilisateurs de créer des modèles personnalisés rentables à grande échelle. Dans le cadre de cet effort stratégique, la conception différenciée du MoE d'Arctic améliore à la fois les systèmes d'entraînement et la performance des modèles, avec une composition de données méticuleusement conçue et axée sur les besoins de l'entreprise. Arctic fournit également des résultats de haute qualité, en activant 17 des 480 milliards de paramètres à la fois pour atteindre la qualité avec une efficacité symbolique sans précédent.

En termes d'efficacité, Arctic active environ 50 % de paramètres en moins que DBRX, et 75 % en moins que Llama 3 70B pendant l'inférence ou l'entraînement. En outre, il surpasse les principaux modèles ouverts, notamment DBRX, Mixtral-8x7B, et d'autres encore, en matière de codage (HumanEval+, MBPP+) et de génération SQL (Spider), tout en offrant des performances de premier plan en matière de compréhension du langage général (MMLU).