LLM : ce qui se passe vraiment du token à la réponse (fr)

Un LLM ne comprend rien à votre question : il prédit un token après l’autre, en s’appuyant sur des milliards de paramètres appris pendant l’entraînement. Cet article démonte toute la mécanique, du tokenizer à l’attention en passant par le MoE et la quantification, et explique pourquoi le nombre de paramètres ne suffit plus à juger un modèle.