Des chercheurs de Berkeley recréent DeepSeek pour 30 $
Ce qui devait arriver arriva
Un groupe de chercheurs de l’Université de Californie, Berkeley, a réussi à reproduire la technologie essentielle de l’IA révolutionnaire DeepSeek, développée en Chine, pour un coût dérisoire de 30 dollars. Cette réalisation met en lumière des alternatives abordables à la construction de modèles d’intelligence artificielle, remettant en question les dépenses élevées des grandes entreprises.
Dirigée par le doctorant Jiayi Pan, l’équipe a répliqué les capacités d’apprentissage par renforcement de DeepSeek R1-Zero en utilisant un petit modèle de langage de seulement 3 milliards de paramètres. Malgré sa taille modeste, l’IA a démontré des capacités d’auto-vérification et de recherche, des caractéristiques clés permettant d’affiner ses réponses de manière itérative.
Pour tester leur création, l’équipe a utilisé le jeu Countdown, un puzzle numérique basé sur un jeu télévisé britannique où les joueurs doivent atteindre un nombre cible par des opérations arithmétiques. Au départ, le modèle produisait des réponses aléatoires, mais grâce à l’apprentissage par renforcement, il a développé des techniques d’auto-correction et de résolution de problèmes. Finalement, il a appris à réviser ses réponses jusqu’à trouver la solution correcte.
Le coût incroyable de cette recréation de DeepSeek, selon Pan, représente une fraction négligeable des sommes investies par les grandes entreprises en IA pour le développement de modèles à grande échelle. Les chercheurs ont testé plusieurs tailles de modèles, commençant par un modèle de 500 millions de paramètres, qui ne pouvait que deviner. En augmentant la taille à 1,5 milliard de paramètres, la recréation a commencé à intégrer des techniques de révision, tandis que des modèles entre 3 et 7 milliards de paramètres ont montré une amélioration significative dans la résolution des problèmes.
Cependant, des experts expriment des doutes quant à l’affirmation de DeepSeek concernant son coût abordable. Nathan Lambert, chercheur en IA, s’interroge sur la véracité des 5 millions de dollars de coût de formation annoncés pour son modèle de 671 milliards de paramètres. De plus, les préoccupations concernant l’envoi de données vers la Chine et les coûts opérationnels annuels potentiels de DeepSeek, estimés entre 500 millions et 1 milliard de dollars, soulèvent des questions éthiques et de sécurité.
Malgré ces réserves, les travaux de l’équipe de Berkeley démontrent que des avancées significatives en matière d’apprentissage par renforcement peuvent être réalisées sans les budgets astronomiques actuellement alloués par des géants de l’IA comme OpenAI, Google et Microsoft.
Cela change-t-il les vrais paradigmes défendus par NEURA KING ?
Ces recherches sont une démonstration de type “Proof of Work” qui déchaînera sous peu les envies d’AGI de tout individu ayant 30$ à investir pour conquérir le marché du “Everything”.
Mais nul n’a encore compris que la pertinence et la fiabilité ne relèvent pas de l’efficacité. Cela important peu sur un espace informationnel qui privilégie le Fake, les gagnants à court terme seront les providers d’inférence, tandis que les perdants seront la souveraineté et le libre arbitre qui, tous deux, seront massivement attaqués.
Toutefois, cela ne sera encore qu’une étape vers la réalité de l’usage généralisé qui ne peut être ni rentable ni fiable autrement que par l’alignement, ce que personne n’a réellement compris ni réussi jusque là, à part Neura King.
Donc, non, le paradigme “final” n’a pas changé. En revanche, DeepSeek éclaire les aveugles et les sourds. Ce qui est une bonne nouvelle, car cela éduque les décideurs à coup de trique.
Lorsque le narratif chinois sera massivement propagé par des solutions en marque blanche, nous verrons si cela suffit à faire comprendre aux régulateurs les risques de la subversion.
Nous attendons avec certitude le réveil des investisseurs et des états pour diriger les flux financiers vers un retour sur investissement garanti par l’alignement et le routage cognitif.
A lire : https://neuraking.com/28117/deepseek-le-cadeau-empoisonne-de-la-chine/