مانند هر الگوریتم یادگیری ماشین دیگری، طبقه‌بندی‌کننده هوش مصنوعی جدید OpenAI بر روی مجموعه داده‌ای از قطعات متنی برای انجام وظیفه خود آموزش دیده است. برخلاف ChatGPT، طبقه‌بندی‌کننده هوش مصنوعی برای تمایز بین متن نوشته شده توسط انسان و متن نوشته شده توسط هوش مصنوعی «از ارائه‌دهندگان مختلف» طراحی شده است. نیازی به گفتن نیست که این ارائه دهندگان شامل ChatGPT هستند.
قابلیت اطمینان طبقه‌بندی‌کننده هوش مصنوعی با تکه‌های متنی بزرگ‌تر (بالاتر از 1000 کاراکتر) بهبود می‌یابد، در حالی که با زبان‌هایی غیر از انگلیسی «به‌طور قابل‌توجهی بدتر» عمل می‌کند. محدودیت‌های دیگر عبارتند از: ناتوانی در شناسایی ماهیت متن بسیار قابل پیش‌بینی مانند 1000 عدد اول، آسیب‌پذیری در برابر متنی که به‌طور خاص ویرایش شده است تا از طبقه‌بندی‌کننده‌ها اجتناب شود، و «کالیبراسیون» متوسط برای شناسایی متن موجود خارج از داده‌های آموزشی.
برای ورودی‌هایی که بسیار متفاوت از متن در مجموعه آموزشی هستند، OpenAI هشدار می‌دهد که گاهی اوقات طبقه‌بندی‌کننده هوش مصنوعی می‌تواند در پیش‌بینی‌های اشتباه خود «بسیار مطمئن» باشد. به هر حال، این طبقه‌بندی‌کننده جدید بهتر از سیستم قبلی که شرکت روی آن کار می‌کرد، کار می‌کند.
OpenAI می‌گوید که طبقه‌بندی‌کننده هنوز «کاملاً قابل اعتماد نیست»، زیرا این ابزار قادر است تنها ۲۶ درصد از متن نوشته‌شده با هوش مصنوعی را در یک «مجموعه چالشی» متن انگلیسی به درستی شناسایی کند. آزمایشگاه تحقیقاتی هشدار می دهد که مثبت کاذب (9٪ از مجموعه چالش) و منفی کاذب نیز بسیار محتمل است.
با در نظر گرفتن همه چیز، OpenAI فکر می کند که سرویسی که برای تشخیص متن نوشته شده توسط هوش مصنوعی مولد طراحی شده است، می تواند ابزار مهمی برای ارزیابی تأثیر الگوریتم های ML بر کلاس درس و سایر فعالیت های آموزشی باشد. این شرکت در حال حاضر در حال “درگیر شدن با مربیان در ایالات متحده” برای بحث در مورد توانایی ها و محدودیت های ChatGPT، تلاش برای ایجاد و استقرار ایمن مدل های زبان بزرگ در تماس مستقیم با جوامع آسیب دیده است. OpenAI هشدار می دهد که طبقه بندی کننده هوش مصنوعی به تنهایی نباید تنها عاملی باشد که در تلاش برای شناسایی متن نوشته شده با هوش مصنوعی در نظر گرفته شود.
ChatGPT و سایر الگوریتم‌هایی که قادر به تولید محتوای متنی به ظاهر صحیح هستند، به سرعت به یک نگرانی رو به رشد برای معلمان، مدارس و دانشگاه‌ها تبدیل شده‌اند، به طوری که اکنون بازاری برای ابزارهای ضد هوش مصنوعی مانند GPTZero وجود دارد. ابزار دیگری از این دست اکنون توسط OpenAI منتشر شده است، همان شرکتی که ChatGPT را ایجاد کرد و انقلاب اخیر هوش مصنوعی را آغاز کرد.