خطر دیگر پتانسیل پرس و جوهای ذخیره شده است که می تواند شامل اطلاعات شناسایی شخصی، هک شدن، لو رفتن یا به طور تصادفی در دسترس عموم باشد. همچنین سناریویی وجود دارد که در آن اپراتور LLM توسط سازمان دیگری با رویکردی کمتر دقیق برای حفظ حریم خصوصی تسخیر می شود.
ماست هد: امیلیانو ویتوریوسی
اما نگرانی بزرگ این است که پرس و جوهای کاربر حساس برای ارائه دهنده قابل مشاهده است – OpenAI در جعبه ChatGPT – و ممکن است برای آموزش نسخه های آتی چت بات ها استفاده شود. نمونه‌هایی از سوالات حساس می‌تواند این باشد که کسی سؤالات فاش‌کننده سلامتی یا روابط را بپرسد. یکی دیگر از موقعیت های فرضی این است که یک مدیر عامل در مورد بهترین راه برای اخراج یک کارمند سوال می کند.
به طور خلاصه: با شروع استفاده از چت ربات‌های هوش مصنوعی، نگرانی‌ها در مورد پیامدهای امنیتی آنها در حال افزایش است. یکی از این هشدارها از مرکز امنیت سایبری ملی بریتانیا (NCSC) می آید که برخی از مشکلات احتمالی ناشی از مواردی مانند ChatGPT را برجسته کرده است.
NCSC، بخشی از آژانس اطلاعاتی GCHQ بریتانیا، روز سه‌شنبه پستی را منتشر کرد که در آن به بررسی مکانیک هوش مصنوعی مولد پرداخت. این بیان می‌کند که در حالی که مدل‌های زبان بزرگ (LLM) بدون شک چشمگیر هستند، جادو نیستند، هوش عمومی مصنوعی نیستند، و حاوی برخی نقص‌های جدی هستند.
NCSC می نویسد که LLM ها می توانند چیزها را اشتباه بگیرند و حقایق نادرست را “توهم” کنند، چیزی که در اولین نمایش ربات چت با Bard گوگل دیدیم. آژانس می نویسد که آنها می توانند جانبدارانه باشند و اغلب ساده لوح هستند، مانند زمانی که به سؤالات اصلی پاسخ می دهند. آنها برای آموزش از ابتدا به منابع محاسباتی عظیم و داده های گسترده نیاز دارند. و آنها می توانند برای ایجاد محتوای سمی تحریک شوند و مستعد حملات تزریقی هستند.
به دور از نگرانی های مربوط به حریم خصوصی، NCSC بر توانایی LLM ها برای کمک به مجرمان سایبری در نوشتن بدافزار فراتر از توانایی های خود تأکید می کند. این چیزی است که ما در ژانویه در مورد آن شنیدیم، زمانی که محققان امنیتی کشف کردند که ChatGPT در انجمن های جرایم سایبری به عنوان یک ابزار “آموزشی” و پلت فرم ایجاد بدافزار استفاده می شود. ربات چت همچنین می تواند برای پاسخ به سوالات فنی در مورد هک کردن شبکه ها یا افزایش امتیازات استفاده شود.
در اخبار مرتبط، اخیراً فاش شد که مجرمان سایبری از شخصیت‌های تولید شده توسط هوش مصنوعی برای انتشار بدافزار در YouTube استفاده می‌کنند.
آمازون و JPMorgan تنها دو شرکتی هستند که به کارمندان خود توصیه کرده‌اند که از ChatGPT استفاده نکنند زیرا نگرانی‌هایی در مورد افشای اطلاعات حساس وجود دارد.
می‌نویسد: “افراد و سازمان‌ها باید مراقب داده‌هایی باشند که انتخاب می‌کنند در اعلان‌ها ارسال کنند. شما باید اطمینان حاصل کنید که کسانی که می‌خواهند با LLM آزمایش کنند، می‌توانند این کار را انجام دهند، اما به گونه‌ای که داده‌های سازمانی را در معرض خطر قرار ندهد.” NCSC.