ChatGPT به لطف ده ها هزار پردازنده گرافیکی انویدیا امکان پذیر شد که مایکروسافت اکنون در حال ارتقا آنهاست.

از زمان موفقیت اولیه ChatGPT، مایکروسافت و برخی از رقبای آن کار بر روی مدل های موازی هوش مصنوعی برای موتورهای جستجو و سایر برنامه ها را آغاز کرده اند. این شرکت برای سرعت بخشیدن به هوش مصنوعی مولد خود، ND H100 v5 VM را معرفی کرده است، یک ماشین مجازی که می تواند از هشت تا هزاران پردازنده گرافیکی Nvidia H100 استفاده کند.

پس از خرید تراشه های انویدیا، مایکروسافت مجبور شد درباره نحوه ترتیب دادن چنین تعداد انبوهی از پردازنده های گرافیکی برای جلوگیری از گرمای بیش از حد و قطع برق فکر کند. این شرکت دقیقاً نمی‌گوید هزینه این تلاش چقدر بوده است، اما معاون اجرایی، اسکات گاتری، این رقم را بیش از چند صد میلیون دلار اعلام کرد.

چالش پیش روی شرکت‌ها در سال 2019 پس از سرمایه‌گذاری یک میلیارد دلاری مایکروسافت در OpenAI و موافقت با ساخت یک ابررایانه هوش مصنوعی برای این استارت‌آپ آغاز شد. با این حال، مایکروسافت سخت افزار داخلی برای آنچه OpenAI نیاز داشت را نداشت.

همچنین بخوانید: آیا انویدیا برنده بازار آموزش هوش مصنوعی شده است؟

طبق گزارش بلومبرگ، OpenAI ChatGPT را بر روی یک ابررایانه که مایکروسافت از ده ها هزار پردازنده گرافیکی Nvidia A100 ساخته بود، آموزش داد. مایکروسافت این هفته آرایه جدیدی را معرفی کرد که از پردازنده‌های گرافیکی جدیدتر H100 انویدیا استفاده می‌کند.

H100s از طریق NVSwitch و NVLink 4.0 با 3.6 ترابایت بر ثانیه پهنای باند دوبخشی بین هر یک از 8 GPU محلی در هر ماشین مجازی متصل می شوند. هر GPU دارای پهنای باند 400 گیگابیت بر ثانیه از طریق Nvidia Quantum-2 CX7 InfiniBand و اتصالات PCIe5 64 گیگابایت بر ثانیه است. هر ماشین مجازی 3.2 ترابایت بر ثانیه را از طریق یک شبکه درخت چربی غیر مسدود کننده مدیریت می کند. سیستم جدید مایکروسافت همچنین دارای پردازنده های نسل چهارم اینتل زئون و رم 16 کاناله 4800 مگاهرتز DDR5 است.

اجرای همزمان تمام A100 ها، ردموند را مجبور کرد تا نحوه قرار دادن آنها و منابع تغذیه آنها را بررسی کند. همچنین باید نرم‌افزار جدیدی را برای افزایش کارایی ایجاد می‌کرد، اطمینان می‌داد که تجهیزات شبکه می‌تواند در برابر حجم عظیمی از داده‌ها مقاومت کند، سینی‌های کابل جدیدی را طراحی می‌کرد که می‌توانست به‌طور مستقل تولید کند، و از روش‌های خنک‌کننده چندگانه استفاده می‌کرد. بسته به تغییر آب و هوا، تکنیک های خنک کننده شامل تبخیر، خنک کننده های باتلاقی و هوای بیرون بود.