Depuis quelques jours, on entend beaucoup parler de projets de construction "Datacenters 1GW" pour l'IA en France Pour bien comprendre le besoin, il faut bien avoir en tête ces 3 chiffres suivant: il faut 50Me, pour investir dans 1000 GPU qui vont fonctionner dans un Datacenter consommant 1MW de puissance électrique Ces 3 chiffres fonctionnent ensemble sur plusieurs niveaux de scale: 50Me - 1k GPU - 1MW 500Me - 10k GPU - 10MW 5Mde - 100k GPU - 100MW 50Mde - 1M GPU - 1GW 80% de ces montants servent à acheter les GPUs, 20% pour construire un Datacenter Pour quel besoin ? Les GPUs sont utilisés pour 2 types d'usage: - l'entrainement et donc la création d'un modèles LLM avec les données (training) - l'utilisation d'un modele LLM existant par les clients (inference) Les générations de GPUs actuellement disponibles sur le marché permettent de faire l'entraînement sur environ 100K GPU en fonctionnant ensemble. Le facteur limitant est la distance entre les 2 GPUs les plus éloignés physiquement : à partir d'un certain nombre de GPU connectés ensemble, la distance fait ralentir le fonctionnement de l'ensemble de GPUs C'est pourquoi pour le besoin de l'entrainement, une nouvelle génération de GPUs arrive sur le marché: les superchip. Au lieu d'avoir des dizaines de GPU indépendants que vous connectez en suite ensemble, chaque superchip regroupe une dizaines de GPUs sur une seule carte. Bravo ! Vous avez réduit la distance entre les GPUs et vous pouvez connecter désormais 10 fois plus de GPUs ensemble sans ralentir le tout. En revanche, vous avez de nouveaux défis à résoudre: comment distribuer l'énergie et refroidir une infrastructure 10 fois plus dense Comment vous procurer une source d'énergie de 1GW et comment assurer sa redondance Pour héberger la puissance de calcul dans un Datacenter, on utilise les baies aka les racks, qui est une sorte d'armoire de 0,6m de large, 1m de profondeur et 2.5m de hauteur. Chaque baie est alimentée avec environ 20KW de puissance électrique. Pour la refroidir, on utilise de l'air frais qu'on pousse à travers la baie Si on veut utiliser plus que 20KW dans une baie, l'air ne suffit pas pour la refroidir. Il faut passer en watercooling. C'est là qu'on commence à parler de la nouvelle génération de Datacenter et dans certains cas on parle de 1GW. En effet, pour héberger les superchip, on parle désormais de baies à 120KW voir meme on spécule sur 240KW par baie et un système de watercooling pour capturer et extraire toute cette chaleur. C'est totalement nouveau par la puissance par baie mais aussi par ce système de refroidissement watercooling at scales. Voilà pourquoi ce genre de Datacenter n'existent pas et donc faut les construire Pour l'usage d'inférence, il n'y a pas besoin de Datacenters aussi sophistiqués. Pas besoin de superchip non plus. Un modèle LLM a besoin d'un système de GPU qui consomme entre 100W et 10KW, rarement 20KW, equivalent de 1 à 16 GPU. Chaque système étant indépendant, vous pouvez mettre autant de systèmes en parallèle que vous voulez, ce qui vous permet d'absorber un grand traffic web ou mobile. Il est même préférable d'avoir plusieurs Datacenters d'Inference, en parallèle et pourquoi pas 1 par pays. Cela permet d'assurer la haute disponibilité, et les faibles latences en utilisant Datacenter le plus proche du visiteur Et OVHcloud dans tout ca ? Nous possédons plus de 40 Datacenters, dans plusieurs pays en Europe, au Canada, en Amérique du Nord, et Asie. Nous sommes experts de watercooling depuis plus de 20 ans. Ceci nous permet de refroidir >500K serveurs physique dans tous nos Datacenters. Nos technos interne, opensourcées, coutent 20x à 40x moins que les solutions du marché. Nous possédons les Datacenters de 40MW à 100MW, capable d'héberger de l'entrainement, avec de baies à 40KW mais aussi nous avons les Datacentres partout dans le monde pour assurer l'inference. Nos investissements suivent les besoins de nos clients et nous sommes capable d'accélérer si necessaire

Comment faut-il s’y prendre pour apprendre ? Réponse de Stanislas Dehaene demain à 23h et dimanche à 15h sur @franceculture…

Un petit RT pour le #trail organisé par mon club #Running #courir #courseapied #drome @dromemanature @Prefet26 @icidromeardeche @boucles_classic @LeDL26et07 @Gendarmerie_026 @Echo2607 @casquetteverte @VRDRrugby @vincentgaudin