Fastly, Inc. a annoncé le lancement de Fastly AI Accelerator, la première solution d'IA de la société conçue pour créer une meilleure expérience pour les développeurs en aidant à améliorer la performance et à réduire les coûts à travers l'utilisation d'invites similaires pour les applications de grands modèles de langage (LLM). Fastly AI Accelerator est conçu pour réduire les appels API et les coûts grâce à une mise en cache intelligente et sémantique. Construit sur la plateforme Edge Cloud de Fastly et s'appuyant sur une technologie de mise en cache de pointe, AI Accelerator utilise une passerelle API spécialisée pour améliorer considérablement les performances des applications utilisant les LLM les plus courants, en commençant par ChatGPT et en élargissant le support à d'autres modèles.

Les applications d'IA les plus répandues peuvent traiter des centaines de milliers d'appels d'API ou de questions par jour. La plupart des questions posées par les utilisateurs sont probablement très similaires et peuvent avoir été posées auparavant. Sans mise en cache sémantique, chaque appel au LLM nécessite un retour au fournisseur pour l'information, ce qui peut augmenter les coûts et la latence.

Cependant, la mise en cache sémantique de Fastly AI Accelerator fournit une réponse en cache pour les requêtes répétées directement à partir de la plateforme haute performance de Fastly, au lieu de retourner au fournisseur d'IA, ce qui permet d'offrir une meilleure expérience en améliorant la performance tout en réduisant les coûts. En utilisant Fastly AI Accelerator, les développeurs n'ont qu'à mettre à jour leur application pour utiliser un nouveau point de terminaison API, ce qui ne nécessite généralement que la modification d'une seule ligne de code. Fastly AI Accelerator implémentera alors de manière transparente la mise en cache sémantique pour les API compatibles avec OpenAI.

Cette approche va au-delà de la mise en cache traditionnelle car Fastly AI Accelerator est capable de comprendre le contexte des demandes et des requêtes, et enverra une réponse similaire si deux demandes ou plus sont semblables. Pour aider les développeurs à créer des expériences plus rapides, plus sûres et plus engageantes, Fastly leur permet également d'essayer Fastly encore plus facilement grâce à un niveau de compte gratuit étendu qui aide les codeurs à mettre en place un nouveau site, à créer une nouvelle application ou à lancer un nouveau service en quelques minutes seulement. Les comptes gratuits incluent également l'accès au réseau de diffusion de contenu (CDN) de Fastly, une mémoire et un espace de stockage généreux, des redirections illimitées, des règles de page et des expressions régulières.

De plus, le niveau gratuit de Fastly inclut des fonctionnalités de sécurité telles que TLS et une atténuation DDoS toujours active, des outils d'observabilité, et bien plus encore.