اول از همه، کوالکام مجبور شد فرمت داده های نقطه شناور با دقت تک (یا FP32) را که توسط Stable Diffusion استفاده می شود، به نوع داده با دقت پایین تر INT8 کوچک کند. این شرکت با استفاده از کوانتیزاسیون پس از آموزش (AIMET) جدیداً ایجاد شده خود، توانست عملکرد را تا حد زیادی افزایش دهد و در عین حال در مصرف انرژی صرفه جویی کند و دقت مدل را با این دقت پایین‌تر و بدون نیاز به آموزش مجدد پرهزینه حفظ کند.
نتیجه این بهینه‌سازی تمام پشته، امکان اجرای Stable Diffusion بر روی تلفن بود که تصویری با ابعاد ۵۱۲ در ۵۱۲ پیکسل در کمتر از ۱۵ ثانیه برای ۲۰ مرحله استنتاج ایجاد کرد. Qualcomm اظهار داشت که این سریع‌ترین استنتاج در گوشی‌های هوشمند و «مقایسه با تأخیر ابری» است، در حالی که ورودی کاربر برای پیام متنی «کاملاً بدون محدودیت» باقی می‌ماند.
به گفته کوالکام، اجرای Stable Diffusion بر روی گوشی تنها آغاز راه است، زیرا توانایی اجرای مدل‌های بزرگ هوش مصنوعی بر روی دستگاه‌های لبه‌ای مزایای بسیاری مانند قابلیت اطمینان، تأخیر، حفظ حریم خصوصی، کارایی و هزینه را به همراه دارد. علاوه بر این، بهینه‌سازی‌های تمام پشته برای شتاب‌دهنده‌های سخت‌افزاری مبتنی بر هوش مصنوعی می‌توانند به راحتی برای پلتفرم‌های دیگر مانند لپ‌تاپ، هدست‌های XR و «تقریباً هر دستگاه دیگری که توسط Qualcomm Technologies تولید می‌شود» استفاده شود.
کوالکام توانست قابلیت‌های ایجاد تصویر Stable Diffusion را با یک گوشی هوشمند اندرویدی که توسط دستگاه Snapdragon 8 Gen 2 SoC طراحی شده است، تطبیق دهد. این یک نتیجه قابل توجه است که به گفته این شرکت مستقر در سن دیگو، تنها آغازی برای برنامه های کاربردی هوش مصنوعی است که بر روی دستگاه های محاسباتی لبه مدیریت می شوند. Qualcomm اطمینان می دهد که هیچ اتصال اینترنتی لازم نیست.
آینده نگر: Stable Diffusion یک مدل یادگیری عمیق است که قادر است کلمات را به تصاویر وهم انگیز و کاملا مصنوعی تبدیل کند. شبکه یادگیری ماشینی معمولاً در فضای ابری اجرا می‌شود و همچنین می‌توان آن را روی یک رایانه شخصی قوی نصب کرد تا به‌صورت آفلاین کار کند. با بهینه‌سازی‌های بیشتر، این مدل می‌تواند به طور موثر بر روی تلفن‌های هوشمند اندرویدی نیز اجرا شود.
همانطور که در وبلاگ شرکتی Qualcomm توضیح داده شد، Stable Diffusion یک مدل پایه بزرگ است که از یک شبکه عصبی آموزش دیده بر روی تعداد زیادی داده در مقیاس استفاده می کند. هوش مصنوعی مولد متن به تصویر حاوی یک میلیارد پارامتر است و بیشتر در فضای ابری (یا روی یک کامپیوتر سنتی x86 مجهز به یک GPU اخیر) “محصور” شده است.
تحقیقات هوش مصنوعی کوالکام از «بهینه‌سازی‌های هوش مصنوعی کامل» برای استقرار Stable Diffusion بر روی گوشی‌های هوشمند اندرویدی برای اولین بار، حداقل با عملکردی که شرکت توصیف کرده است، استفاده کرد. هوش مصنوعی تمام پشته به این معنی است که کوالکام باید اپلیکیشن، مدل شبکه عصبی، الگوریتم‌ها، نرم‌افزار و حتی سخت‌افزار را تنظیم می‌کرد، حتی اگر برای انجام کار به وضوح برخی مصالحه‌ها لازم بود.