Fournisseurs LLM
Natively Sparse Attention : DeepSeek toujours en avance.
Résumé PDF DeepSeek vient de publié une autre étude marquante sur l’évolution des mécanismes d’attention dans les modèles de langage, baptisée NSA (Natively Sparse Attention). Cette approche vise à optimiser l’efficacité tout en maintenant des performances élevées, particulièrement dans le traitement de contextes longs. La motivation derrière cette recherche réside dans le constat que les […]
Lire la suite
Qwen2.5-Max : Révolution de l'intelligence artificielle avec les modèles MoE à grande échelle
Le développement continu et l’extension des tailles de données et de modèles constituent un levier essentiel pour améliorer l’intelligence des modèles d’intelligence artificielle. Cependant, la communauté de recherche et d’industrie fait face à des défis dans la mise à l’échelle de modèles extrêmement grands, qu’ils soient denses ou basés sur des Mixture-of-Experts (MoE). De nombreuses […]
Lire la suite
Alibaba harponne DeepSeek
Après Deepseek, Qwen 2.5-Max d’Alibaba Le géant chinois du e-commerce, Alibaba, vient d’annoncer le lancement de son nouveau modèle d’intelligence artificielle, Qwen 2.5-Max, en affirmant qu’il surpasse son rival DeepSeek. Cette annonce stratégique intervient après que la start-up chinoise DeepSeek a bouleversé les marchés lundi en revendiquant une meilleure performance et une coût-efficacité supérieure à […]
Lire la suite
Avancée en Intelligence Artificielle : Lancement des modèles R1 de DeepSeek
Une avancée significative dans l’intelligence artificielle DeepSeek, un développeur chinois d’intelligence artificielle, a annoncé aujourd’hui le lancement de sa nouvelle série de modèles de langage, la série R1, optimisée pour les tâches de raisonnement. La société a rendu le code source des algorithmes disponible sur Hugging Face, marquant ainsi une étape importante dans la recherche […]
Lire la suite