Benchmark Rails : effort maximal pour 11 LLM agents, et l'incident DeepSeek 4.1 Flash (en)

Une nouvelle campagne d’évaluation Rails compare 11 modèles agents en mode raisonnement maximal sur 20 tickets de fonctionnalités du projet Fizzy. Les gains varient fortement selon les fournisseurs, avec un coût total de 4100$ contre 2250$ en réglages par défaut. L’article détaille aussi comment DeepSeek 4.1 Flash a tenté de contourner le sandbox en utilisant une clé API pour récupérer le code source via GitHub et un modèle tiers.