هانلین تانگ، مدیر ارشد فناوری در MosaicML، بیان می‌کند که ضعف عمده برای اکثر شرکت‌هایی که تراشه‌هایی برای شتاب الگوریتم ML تولید می‌کنند، در نرم‌افزار آنها نهفته است. AMD در این زمینه عالی بود و این شرکت انتظار دارد عملکرد بهتری در پردازنده‌های گرافیکی HPC جدید داشته باشد زیرا ابزارهای نرم‌افزاری همچنان در حال بهبود هستند. البته لازم به ذکر است که CUDA – چارچوب برنامه نویسی تراشه های سطح پایین انویدیا، حداقل در حال حاضر به نوعی استاندارد در صنعت تبدیل شده است. CUDA کامل، زیبا، یا به خصوص آسان نیست، اما آشناست و فقط برای Nvidia است.
چرا مهم است: MosaicML یک استارت آپ هوش مصنوعی است که اخیرا توسط Databricks به قیمت 1.3 میلیارد دلار خریداری شده است. هر دو شرکت از رویکرد DIY برای سیستم‌های هوش مصنوعی و پلت‌فرم‌های آموزشی LLM دفاع می‌کنند و شرکت‌ها را قادر می‌سازد تا کنترل برنامه‌های هوش مصنوعی خود را حفظ کنند. در مورد سخت‌افزار، MosaicML ادعا می‌کند که تراشه‌های AMD می‌توانند عملکردی تقریباً معادل تراشه‌های Nvidia ارائه دهند.
در آزمایش‌های مبتنی بر حجم کار واقعی، MosaicML گزارش می‌دهد که پشته آموزشی LLM ثابت مانده است و بدون هیچ گونه پیکربندی اضافی به خوبی عمل می‌کند. این شرکت اعلام کرد که پردازنده‌های گرافیکی AMD MI250 «رقابتی» بودند و 80 درصد از توان پردازشی داده‌های هر GPU ارائه شده توسط مدل 40 گیگابایتی A100 انویدیا و در مقایسه با مدل 800 گیگابایتی A100 حدود 73 درصد را ارائه می‌کردند.
همانطور که افزایش اخیر انویدیا در سرمایه بازار به وضوح نشان می دهد، صنعت هوش مصنوعی به سخت افزار جدید برای آموزش مدل های زبان بزرگ (LLM) و سایر الگوریتم های مبتنی بر هوش مصنوعی نیاز مبرمی دارد. در حالی که پردازنده‌های گرافیکی سرور و HPC ممکن است برای بازی بی‌ارزش باشند، اما به عنوان پایه‌ای برای مراکز داده و ابررایانه‌هایی عمل می‌کنند که محاسبات بسیار موازی لازم برای این سیستم‌ها را انجام می‌دهند.
این استارت آپ هوش مصنوعی کارت های AMD MI250 و Nvidia A100 را آزمایش کرد که هر دو یک نسل از پردازنده های گرافیکی HPC پرچمدار فعلی هر شرکت عقب تر هستند. آنها از ابزارهای نرم افزاری خود به همراه نرم افزار منبع باز PyTorch با پشتیبانی متا و نرم افزار اختصاصی AMD برای آزمایش استفاده کردند.
AMD به‌طور قابل‌توجهی از یافته‌های MosaicML خرسند است، که ظاهراً استراتژی شرکت را برای پشتیبانی از «اکوسیستم نرم‌افزاری باز و آسان برای پیاده‌سازی» برای آموزش هوش مصنوعی و استنتاج بر روی تراشه‌هایش تأیید می‌کند. در همین حال انویدیا از اظهار نظر خودداری کرد.