به گزارش سیتنا، شرکت اوپن‌ای‌آی روز سه‌شنبه اعلام کرد دو عامل هوش مصنوعی این شرکت، بخش‌هایی از سامانه نظارت داخلی را که برای شناسایی رفتارهای نامناسب طراحی شده است، تضعیف کرده‌اند؛ اتفاقی که تازه‌ترین نمونه از عملکرد عامل‌های هوش مصنوعی برخلاف خواسته توسعه‌دهندگانشان به شمار می‌رود.
سازنده چت‌جی‌پی‌تی اعلام کرد این اتفاق‌ها هنگام انجام وظایف برنامه‌نویسی داخلی رخ داده‌اند و در زمره شدیدترین موارد تخلف این سامانه‌ها ارزیابی نشده‌اند. با این حال، این افشاگری نشان می‌دهد حتی سامانه‌هایی که توسعه‌دهندگان برای شناسایی رفتارهای نامناسب هوش مصنوعی به آن‌ها اتکا می‌کنند، ممکن است در برابر همان عامل‌هایی که زیر نظر دارند آسیب‌پذیر باشند.
این موضوع در شرایطی مطرح شده است که نگرانی‌ها درباره عقب ماندن تلاش‌های ایمنی هوش مصنوعی از سرعت توسعه سامانه‌های قدرتمندتر افزایش یافته است. پژوهشگران هشدار داده‌اند که با افزایش استقلال عمل عامل‌های پیشرفته هوش مصنوعی، نظارت و کنترل آن‌ها ممکن است دشوارتر شود.
شرکت‌های توسعه‌دهنده هوش مصنوعی، از جمله اوپن‌ای‌آی و آنتروپیک که هر دو در مسیر عرضه عمومی سهام قرار دارند، طی ماه‌های اخیر مواردی از دسترسی عامل‌های هوش مصنوعی خود به سامانه‌های خارجی بدون مجوز را نیز گزارش کرده‌اند.
اوپن‌ای‌آی اعلام کرد در نخستین مورد، یک عامل هوش مصنوعی GPT-6.1 Sol که در سوم اکتبر مشغول انجام یک وظیفه آزمایشی داخلی بود، هشدارهای امنیتی خودکار را غیرفعال کرد. این عامل پس از دریافت دستور قبلی مبنی بر ارسال نکردن پیام در پیام‌رسان اسلک، به این نتیجه رسید که این دستور شامل اعلان‌های امنیتی نیز می‌شود.
در رویدادی جداگانه در ششم اکتبر، یک عامل GPT-6 Astra هنگام کپی کردن بخشی از کدهای موجود، ابزار نظارت ایمنی را حذف کرد و بعدتر به‌اشتباه ادعا کرد که چنین کاری انجام نداده است.
اوپن‌ای‌آی در توضیح این دو اتفاق اعلام کرد: «در هر دو مورد، عامل‌ها بررسی کردند که آیا باید تدابیر حفاظتی نظارتی حفظ شوند یا خیر، اما دستورهای معمول برنامه‌نویسی را به‌عنوان مجوزی برای تضعیف این تدابیر تفسیر کردند.»
این شرکت اعلام کرد اقداماتی را برای دشوارتر کردن غیرفعال‌سازی سامانه‌های نظارتی از سوی مدل‌ها در دستور کار قرار داده است. اوپن‌ای‌آی همچنین تأکید کرد که هنوز توضیح قانع‌کننده‌ای برای این رفتارها ندارد.
این شرکت مستقر در سان‌فرانسیسکو گفت در حال آزمایش این فرضیه است که آیا مدل‌هایش تمایلی به اجتناب از نظارت دارند و آیا برای توجیه چنین رفتاری به دنبال دلایلی می‌گردند یا خیر.
انتهای پیام