Auteur: Neura Tech - ven. 04 Avr 2025

Révolution de l'apprentissage par renforcement : FASTCURL et les Modèles R1

Les modèles de langage de grande taille ont transformé la compréhension et la génération de texte par les machines, en particulier dans des domaines complexes tels que le raisonnement mathématique. Ces systèmes, appelés modèles R1, imitent des processus de pensée lents et délibérés. Leur force réside dans leur capacité à gérer des tâches complexes nécessitant un raisonnement étape par étape sur de longues séquences. Cela les rend précieux pour des applications comme la résolution de problèmes mathématiques de niveau Olympiade ou des tâches de raisonnement logique, où la profondeur et la cohérence du raisonnement sont essentielles.

Cependant, un défi majeur dans l’entraînement de ces modèles réside dans le coût computationnel élevé de l’apprentissage par renforcement, en particulier lors de l’utilisation de fenêtres de contexte longues. Les tâches nécessitant une logique multi-étapes forcent les modèles à produire des réponses longues, ce qui consomme davantage de ressources et ralentit l’apprentissage. De plus, toutes les réponses longues n’apportent pas une valeur ajoutée significative à la précision, de nombreuses justifications étant redondantes. Ces inefficacités dans la génération de réponses rendent difficile l’échelle d’entraînement efficace, surtout pour des modèles de 1,5 milliard de paramètres.

Innovations dans l’entraînement : l’émergence de fastcurl

Pour surmonter ces inefficacités, des chercheurs de Tencent ont introduit un cadre d’apprentissage par renforcement appelé FASTCURL. Cette méthode propose une stratégie basée sur un curriculum, alignée avec l’expansion de la fenêtre de contexte. FASTCURL segmente le jeu de données en catégories courtes, longues et combinées, permettant de progresser en quatre étapes, chacune utilisant un ensemble de données et un paramètre de fenêtre contextuelle différents. Cette approche garantit que le modèle maîtrise d’abord un raisonnement simple avant de passer à des raisonnements plus complexes.

Le processus de formation, qui s’effectue sur un seul nœud avec seulement 8 GPU, réduit considérablement la complexité d’installation. En effet, FASTCURL commence avec des invites courtes sous une fenêtre de 8K, puis évolue vers un ensemble de données mixte avec une fenêtre de 16K, suivi d’un ensemble de données longues avec la même taille de fenêtre, et enfin, le modèle revoit les données combinées. Chaque étape est entraînée pour une itération, nécessitant environ 860 étapes d’entraînement, ce qui est efficace par rapport aux 1 750 étapes requises par le modèle DeepScaleR, représentant une réduction de 50 % du temps et de l’utilisation des ressources, tout en maintenant l’efficacité.

Résultats et performances de fastcurl

Les évaluations de performance montrent que le modèle FASTCURL-1.5B-Preview a surpassé d’autres modèles sur cinq benchmarks. Il a obtenu des scores de 88,0 sur MATH 500, 43,1 sur AIME 2024, 74,2 sur AMC 2023, 31,6 sur Minerva Math et 50,4 sur OlympiadBench, avec un score PASS@1 moyen de 57,5. En comparaison, le modèle DeepScaleR-1.5B-Preview a enregistré un score moyen de 57,0, FASTCURL ayant mieux performé dans quatre des cinq ensembles de données. Ces résultats montrent que FASTCURL peut surpasser les techniques existantes tout en consommant significativement moins de ressources. De plus, le modèle a montré une meilleure généralisation, en particulier sur des ensembles de données tels qu’AMC 2023 et Minerva Math, ce qui témoigne de sa robustesse.

Conclusion

Cette recherche met en lumière un problème computationnel dans l’entraînement des modèles de raisonnement R1 et propose une stratégie innovante basée sur un curriculum comme solution. En combinant une segmentation des données basée sur les entrées avec une expansion de contexte, FASTCURL offre un cadre d’entraînement efficace et pratique. Ce modèle démontre qu’un design d’entraînement stratégique peut rivaliser avec l’échelle computationnelle brute, prouvant que l’innovation dans les méthodes d’apprentissage peut considérablement améliorer les performances des modèles d’intelligence artificielle.