OpenMythos : reconstruction théorique de l'architecture Claude Mythos en open source (en)

OpenMythos est une implémentation théorique open source de l’architecture suspectée derrière Claude Mythos, basée sur la littérature de recherche publique. Le modèle repose sur un Recurrent-Depth Transformer (RDT) structuré en trois blocs : Prelude, un Recurrent Block bouclé jusqu’à max_loop_iters fois, et un Coda. L’attention est configurable entre MLA et GQA, et le feed-forward utilise un sparse MoE avec experts routés et partagés. Des variantes préconfigurées sont disponibles de 1B à 1T paramètres, avec un script d’entraînement sur FineWeb-Edu.