Entraînement GPU intercontinental : la fin des mégacampus ?

From Le centre de gravité · 00:07:37

Show by Franck Dubray - Dragonfly

Faut-il encore construire des campus géants d’un seul tenant pour entraîner des modèles de pointe ? Core Automation a relié 320 GPU entre les États-Unis et l’Asie pour entraîner un modèle MoE de 32 milliards de paramètres en dissociant le rythme du routage de celui des poids. Mais entre faisabilité mathématique et coût réel de la synchronisation à 9 000 miles de distance, l’équation économique cache encore ses variables les plus décisives.#business #meta-volatile #infrastructure #gpu #moe

More episodes of Le centre de gravité

More episodes

PodSearch is a free, independent podcast search engine. Read about PodSearch, the privacy policy or contact us.