OpenAI می گوید ابزار طبقه بندی کننده هوش مصنوعی می تواند متن نوشته شده با هوش مصنوعی را تشخیص دهد

با در نظر گرفتن همه چیز، OpenAI فکر می کند که سرویسی که برای تشخیص متن نوشته شده توسط هوش مصنوعی مولد طراحی شده است، می تواند ابزار مهمی برای ارزیابی تأثیر الگوریتم های ML بر کلاس درس و سایر فعالیت های آموزشی باشد. این شرکت در حال حاضر در حال “درگیر شدن با مربیان در ایالات متحده” برای بحث در مورد توانایی ها و محدودیت های ChatGPT، تلاش برای ایجاد و استقرار ایمن مدل های زبان بزرگ در تماس مستقیم با جوامع آسیب دیده است. OpenAI هشدار می دهد که طبقه بندی کننده هوش مصنوعی به تنهایی نباید تنها عاملی باشد که در تلاش برای شناسایی متن نوشته شده با هوش مصنوعی در نظر گرفته شود.



منبع

چرا مهم است: پس از تمام گفتگوها و تحقیر فزاینده متن نوشته شده توسط هوش مصنوعی مولد مانند ChatGPT، OpenAI در حال ترویج یک الگوریتم جدید ML است که برای شناسایی چنین خروجی متنی طراحی شده است. نتایج، با این حال، هنوز هم بسیار بد است.

قابلیت اطمینان طبقه‌بندی‌کننده هوش مصنوعی با تکه‌های متنی بزرگ‌تر (بالاتر از 1000 کاراکتر) بهبود می‌یابد، در حالی که با زبان‌هایی غیر از انگلیسی «به‌طور قابل‌توجهی بدتر» عمل می‌کند. محدودیت‌های دیگر عبارتند از: ناتوانی در شناسایی ماهیت متن بسیار قابل پیش‌بینی مانند 1000 عدد اول، آسیب‌پذیری در برابر متنی که به‌طور خاص ویرایش شده است تا از طبقه‌بندی‌کننده‌ها اجتناب شود، و «کالیبراسیون» متوسط ​​برای شناسایی متن موجود خارج از داده‌های آموزشی.

برای ورودی‌هایی که بسیار متفاوت از متن در مجموعه آموزشی هستند، OpenAI هشدار می‌دهد که گاهی اوقات طبقه‌بندی‌کننده هوش مصنوعی می‌تواند در پیش‌بینی‌های اشتباه خود «بسیار مطمئن» باشد. به هر حال، این طبقه‌بندی‌کننده جدید بهتر از سیستم قبلی که شرکت روی آن کار می‌کرد، کار می‌کند.

مانند هر الگوریتم یادگیری ماشین دیگری، طبقه‌بندی‌کننده هوش مصنوعی جدید OpenAI بر روی مجموعه داده‌ای از قطعات متنی برای انجام وظیفه خود آموزش دیده است. برخلاف ChatGPT، طبقه‌بندی‌کننده هوش مصنوعی برای تمایز بین متن نوشته شده توسط انسان و متن نوشته شده توسط هوش مصنوعی «از ارائه‌دهندگان مختلف» طراحی شده است. نیازی به گفتن نیست که این ارائه دهندگان شامل ChatGPT هستند.

ChatGPT و سایر الگوریتم‌هایی که قادر به تولید محتوای متنی به ظاهر صحیح هستند، به سرعت به یک نگرانی رو به رشد برای معلمان، مدارس و دانشگاه‌ها تبدیل شده‌اند، به طوری که اکنون بازاری برای ابزارهای ضد هوش مصنوعی مانند GPTZero وجود دارد. ابزار دیگری از این دست اکنون توسط OpenAI منتشر شده است، همان شرکتی که ChatGPT را ایجاد کرد و انقلاب اخیر هوش مصنوعی را آغاز کرد.

OpenAI می‌گوید که طبقه‌بندی‌کننده هنوز «کاملاً قابل اعتماد نیست»، زیرا این ابزار قادر است تنها ۲۶ درصد از متن نوشته‌شده با هوش مصنوعی را در یک «مجموعه چالشی» متن انگلیسی به درستی شناسایی کند. آزمایشگاه تحقیقاتی هشدار می دهد که مثبت کاذب (9٪ از مجموعه چالش) و منفی کاذب نیز بسیار محتمل است.