علیرغم از کار افتادن صفحه وب میزبان نسخه نمایشی Alpaca، کاربران همچنان می توانند مدل را از مخزن GitHub خود برای آزمایش خصوصی بازیابی کنند، که استنفورد آن را تشویق می کند. این شرکت از کاربران درخواست کرد که در زمان انتشار این مدل، نقص‌هایی را که در بیانیه مطبوعاتی خود ذکر نشده بود، «پرچم کنند».
با این حال، این بدان معنا نیست که آلپاکا هرگز برای مصرف عمومی مناسب نخواهد بود. کد GitHub تنها یک هفته است که منتشر شده است و مردم آن را روی Raspberry Pi و گوشی های پیکسل. این شاهکارها فقط به دلیل اندازه سبک وزن آلپاکا امکان پذیر است. مانع اصلی رفتار چنین مدل کوچکی است، چیزی که استنفورد بیش از سه سال است که روی آن مطالعه کرده است (ویدیو بالا). این منطقه ای است که حتی LLM های عظیم مانند ChatGPT نیاز به کار دارند.
علاوه بر این، استنفورد می دانست که آلپاکا هنگام راه اندازی نسخه نمایشی تعاملی، پاسخ های نامناسبی ایجاد می کند.
“با توجه به … ناکافی بودن فیلترهای محتوای ما…” کدی برای “اینترنت مدل ما را خراب کرد” است که جای تعجب نیست زیرا اینترنت همه چیز را خراب می کند.
هفته گذشته، محققان دانشگاه استنفورد نسخه خود را از یک ربات چت مبتنی بر هوش مصنوعی LLaMa متا به نام “Alpaca” منتشر کردند اما پس از شروع “توهم” به سرعت آن را آفلاین کردند. برخی در صنعت مدل زبان بزرگ (LLM) به این نتیجه رسیده اند که توهم برای زمانی که یک هوش مصنوعی اطلاعات نادرست را به گونه ای واقعی منتشر می کند، تعبیر خوبی است. این دانشگاه افزود که افزایش هزینه های میزبانی و نگرانی برای ایمنی نیز از عوامل حذف آن بوده است.
در متن: مدل‌های زبانی بزرگ بدون هیچ نشانه‌ای از کندی بر چرخه اخبار مسلط هستند. همه می خواهند در طبقه همکف این فناوری قرار بگیرند، بنابراین در حال حاضر عجله طلایی برای انتشار چت ربات عالی هوش مصنوعی بعدی وجود دارد. متأسفانه، مدل هایی مانند ChatGPT برای ساخت و آموزش بسیار گران هستند. مدل‌های کوچک‌تر بسیار ارزان‌تر هستند، اما به نظر می‌رسد که تمایل بیشتری برای تبدیل شدن به یک آشفتگی مشابه با مایکروسافت Tay از سال 2016 دارند.
یکی از مشکلات آلپاکا این است که مدل نسبتاً کوچکی است که در LLM ها وجود دارد، اما این به دلیل طراحی است. متا به عمد LLaMA را به عنوان یک مدل زبان در دسترس ایجاد کرد که برای آموزش یک ابرکامپیوتر گران قیمت لازم نیست. استنفورد از آن برای توسعه یک مدل پارامتر هفت میلیاردی با قیمت حدود 600 دلار استفاده کرد. این را با 3 میلیارد دلار (یا بیشتر) که مایکروسافت در مدل مبتنی بر ChatGPT خود با صدها میلیارد پارامتر سرمایه گذاری کرده است مقایسه کنید.
البته، LLM ها مستعد تفکرات خیالی هستند و آنها را به شکلی کاملاً باورپذیر ارائه می کنند. محققان تقریباً در هر چت ربات اخیری که در طبیعت منتشر شده است به این ضعف اشاره کرده اند. نمونه‌های متعددی از ChatGPT و دیگران وجود دارد که اطلاعات نادرست را به‌عنوان واقعی ارائه می‌کنند و زمانی که درباره آن فراخوانی می‌شود، مکرراً درباره داستان خود بحث می‌کنند.
یکی از سخنگویان موسسه هوش مصنوعی انسان محور دانشگاه استنفورد به The Register گفت: «هدف اولیه از انتشار نسخه نمایشی انتشار تحقیقات ما به روشی قابل دسترس بود. ما احساس می‌کنیم که بیشتر به این هدف دست یافته‌ایم و با توجه به هزینه‌های میزبانی و ناکافی بودن فیلترهای محتوایمان، تصمیم گرفتیم نسخه نمایشی را حذف کنیم.»
محققان هفته گذشته در بیانیه مطبوعاتی خود گفتند: “آلپاکا همچنین چندین نقص رایج در مدل های زبانی از جمله توهم، سمیت و کلیشه ها را نشان می دهد.” “توهم، به طور خاص، به نظر می رسد یک حالت شکست معمول برای Alpaca، حتی در مقایسه با text-davinci-003 (GPT-3.5 OpenAI). استقرار یک نسخه نمایشی تعاملی برای Alpaca نیز خطرات بالقوه ای دارد، مانند انتشار گسترده تر محتوای مضر و کاهش موانع برای هرزنامه، کلاهبرداری یا اطلاعات نادرست.”
از این نظر، جای تعجب نیست که آلپاکا به این سرعت در زمان عرضه عمومی شکست خورد. حتی ChatGPT و Bing Chat هم مشکلات زیادی داشتند، تقلبیو جنجال‌هایی در زمان عرضه آنها، و آن هم پس از بتای بسته‌شده نسبتا طولانی بود.