Guide visuel interactif sur le fonctionnement des LLMs basé sur la conférence de Karpathy (en)

Une exploration interactive et visuelle du cycle complet de construction d’un grand modèle de langage, de la collecte des données brutes (Common Crawl, 44 To) jusqu’à l’assistant conversationnel. Chaque étape clé est illustrée : tokenisation BPE, architecture Transformer, inférence avec température, fine-tuning supervisé et RLHF. Basé sur le deep dive technique d’Andrej Karpathy, le site inclut des démos live de tokenisation et d’échantillonnage de tokens.