Microsoft a récemment annoncé le lancement de LongRoPE2, une méthode novatrice visant à étendre les fenêtres de contexte des modèles de langage (LLM) à 128K tokens tout en conservant plus de 97% de précision dans les contextes courts. Cette avancée répond à une limitation majeure des LLM, qui peinent à traiter efficacement des séquences de longues durées.
Bien que des modèles comme GPT-4o et LLaMA3.1 offrent des fenêtres de contexte atteignant 128K tokens, maintenir une performance élevée sur ces longueurs étendues reste un défi. Les embeddings de position rotatifs (RoPE) intègrent des informations de position dans les LLM, mais rencontrent des problèmes d’out-of-distribution (OOD) lorsqu’ils sont appliqués au-delà de leurs limites pré-entraînées. Ces valeurs OOD apparaissent dans les embeddings RoPE à dimensions supérieures, entraînant une dégradation des performances.
Les fenêtres de contexte plus longues s’avèrent cruciales pour des applications d’IA telles que les conversations multi-tours, l’analyse documentaire et le raisonnement en profondeur. Cependant, les LLM montrent des lacunes en matière d’efficacité et de précision lorsque l’on cherche à dépasser leurs longueurs par défaut sans une méthode d’extension efficace. La plupart des méthodes existantes reposent sur un redimensionnement heuristique des RoPE, qui échoue à résoudre complètement les problèmes OOD et atteint souvent des longueurs de contexte effectives inférieures aux attentes.
Les chercheurs de Microsoft ont développé LongRoPE2 pour surmonter ces limitations. Cette méthode s’attaque à trois problématiques clés. Premièrement, l’équipe a émis l’hypothèse que des dimensions RoPE supérieures reçoivent une formation insuffisante, provoquant des valeurs OOD inattendues lors de l’extension des positions des tokens. LongRoPE2 introduit une évaluation de perplexité ciblée, qui se concentre sur les tokens nécessitant une compréhension contextuelle approfondie, contrairement aux mesures de perplexité traditionnelles.
Deuxièmement, LongRoPE2 adopte un algorithme de redimensionnement RoPE basé sur une recherche évolutive, optimisant les facteurs de redimensionnement au-delà des hypothèses théoriques. Enfin, il intègre un entraînement sur des fenêtres de contexte mixtes, permettant de peaufiner le modèle sur des séquences courtes et longues, évitant ainsi toute perte de performance sur les tâches à contexte court tout en garantissant une adaptation efficace aux longs contextes.
Les évaluations de performance révèlent la supériorité de LongRoPE2 sur divers benchmarks. Les tests approfondis sur Phi3-mini-3.8B et LLaMA3-8B montrent que LongRoPE2 atteint des résultats de pointe sur RULER, LongBench et InfiniteBench. Par exemple, sur le benchmark RULER, LongRoPE2 a étendu LLaMA3-8B à 128K tokens tout en conservant un score de 82.03, bien supérieur aux 73.40 obtenus avec LongRoPE et aux 49.39 de YaRN. Ce succès s’accompagne d’une efficacité remarquable, LongRoPE2 ayant nécessité seulement 10 milliards de tokens pour atteindre cette performance, contre 800 milliards pour l’approche de Meta.
En somme, LongRoPE2 démontre que l’extension des fenêtres de contexte des LLM ne se limite pas à augmenter la longueur des tokens, mais nécessite une approche novatrice pour surmonter les limitations fondamentales des embeddings positionnels.