محققان بیش از هزار نمونه آموزشی را از مدلها جمعآوری کردند که از عکسهای فردی گرفته تا عکسهای فیلم، تصاویر خبری دارای حق چاپ و لوگوی شرکتهای دارای علامت تجاری را شامل میشد، و متوجه شدند که هوش مصنوعی بسیاری از آنها را تقریباً یکسان بازتولید میکند. محققان کالج هایی مانند پرینستون و برکلی و همچنین از بخش فناوری – به ویژه گوگل و دیپ مایند – این مطالعه را انجام دادند.
مجموعه داده از Stable Diffusion، مجموعه تصاویر خراشیده شده چند ترابایتی معروف به LAION، برای تولید تصویر زیر استفاده شد. از عنوان مشخص شده در مجموعه داده استفاده کرد. تصویر یکسان، اگرچه کمی در اثر نویز دیجیتال تاب برداشته شده بود، زمانی که محققان عنوان را در اعلان Stable Diffusion وارد کردند، تولید شد. در مرحله بعد، تیم پس از اجرای مکرر همان دستور، به صورت دستی تأیید کرد که آیا تصویر بخشی از مجموعه آموزشی است یا خیر.
همین تیم روی مطالعه قبلی کار کرد که به مشکل مشابهی با مدلهای زبان هوش مصنوعی، به ویژه GPT2، پیشرو ChatGPT بسیار موفق OpenAI اشاره کرد. با اتحاد مجدد گروه، تیم تحت هدایت محقق مغز گوگل، نیکلاس کارلینی، نتایج را با ارائه زیرنویسهایی برای تصاویر، مانند نام شخص، برای Imagen و Stable Diffusion گوگل کشف کردند. پس از آن، آنها بررسی کردند که آیا هر یک از تصاویر تولید شده با نسخه های اصلی نگهداری شده در پایگاه داده مدل مطابقت دارد یا خیر.
پروفسور علوم کامپیوتر در ETH زوریخ و فلوریان ترامر، یکی از شرکتکنندگان در پژوهش، محدودیتهای قابل توجهی را برای یافتهها مشاهده کردند. عکسهایی که محققان توانستند استخراج کنند یا به طور مکرر در دادههای آموزشی تکرار میشدند یا به طور قابلتوجهی از بقیه عکسهای مجموعه داده متمایز بودند. به گفته فلوریان ترامر، کسانی که نامها یا ظاهر نامتعارف دارند، بیشتر به خاطر میمانند.
محققان خاطرنشان کردند که یک پاسخ حفظ نشده همچنان میتواند متنی را که مدل از آن خواسته شده است را به درستی نشان دهد، اما ترکیب پیکسلی یکسانی نخواهد داشت و با هر تصویر آموزشی متفاوت خواهد بود.
چه اتفاقی افتاده؟ محققان دریافتهاند که مدلهای محبوب خلق تصاویر مستعد آموزش ایجاد تصاویر قابل تشخیص از افراد واقعی هستند که به طور بالقوه حریم خصوصی آنها را به خطر میاندازد. برخی از درخواستها باعث میشوند که هوش مصنوعی یک عکس را کپی کند تا اینکه چیزی کاملاً متفاوت ایجاد کند. این تصاویر بازسازی شده ممکن است حاوی مطالب دارای حق چاپ باشد. اما بدتر این است که مدلهای مولد هوش مصنوعی معاصر میتوانند دادههای خصوصی را که برای استفاده در مجموعه آموزشی هوش مصنوعی جمعآوری شدهاند، به خاطر بسپارند و تکرار کنند.
به گفته محققان، مدلهای هوش مصنوعی انتشار کمترین نوع مدل تولید تصویر هستند. در مقایسه با شبکههای متخاصم مولد (GAN)، یک کلاس قبلی از مدلهای تصویری، بیش از دو برابر بیشتر از دادههای آموزشی به بیرون درز میکنند. هدف این تحقیق هشدار دادن به توسعه دهندگان در مورد خطرات حفظ حریم خصوصی مرتبط با مدلهای انتشار است که شامل نگرانیهای مختلفی از جمله احتمال سوء استفاده و تکثیر دادههای خصوصی حساس و دارای حق نسخهبرداری، از جمله تصاویر پزشکی، و آسیبپذیری در برابر حملات خارجی در محل آموزش است. داده ها را می توان به راحتی استخراج کرد. راه حلی که محققان پیشنهاد می کنند شناسایی عکس های تولید شده تکراری در مجموعه آموزشی و حذف آنها از مجموعه داده ها است.