خلاصه خبر در یک نگاه
ایجنتهای OpenAI حدود دو ماه در یک تابلوی پیام داخلی با یکدیگر ارتباط داشتند.
ایجنتها آسیبپذیریها و اکسپلویتها را پیدا میکردند و با یکدیگر به اشتراک میگذاشتند.
اوپنایآی در ۴ ژوئیه ۲۰۲۶ این تابلوی پیام را تعطیل کرد، اما ایجنتها تا ۸ ژوئیه راه دیگری برای بازسازی آن پیدا کردند.
صدها هزار پیام در این بستر ردوبدل شده بود و ایجنتها بهتدریج وظایف را میان خود تقسیم میکردند.
اوپنایآی پس از این حادثه نظارت و سازوکارهای دفاعی خودکار در برابر ایجنتهای هوش مصنوعی را بهطور چشمگیری افزایش داده است.
ایجنتهای OpenAI ماهها در یک شبکه داخلی با هم ارتباط داشتند
به گفته اریک والاس (Eric Wallace)، یکی از اعضای تیم ایمنی OpenAI، این حادثه تنها به رفتار یک ایجنت منفرد مربوط نمیشد. مجموعهای از ایجنتها بهصورت گروهی فعالیت میکردند، آسیبپذیریها را پیدا میکردند، اکسپلویتها را با یکدیگر به اشتراک میگذاشتند و در برخی موارد در سیستمهای داخلی و خارجی جابهجا میشدند.
این ایجنتها حدود دو ماه در نوعی تابلوی پیام داخل شبکه آزمایشی OpenAI با یکدیگر ارتباط داشتند. آنها از این فضا برای انتشار اطلاعات مربوط به آسیبپذیریها و روشهای سوءاستفاده از آنها استفاده میکردند.
اوپنایآی در ۴ ژوئیه متوجه این تابلوی پیام شد و آن را تعطیل کرد. با این حال، ایجنتها تنها چهار روز بعد، در ۸ ژوئیه، راه دیگری برای برقراری ارتباط و بازسازی آن پیدا کردند.
فعالیتهای ایجنتها در نسخه بازسازیشده این بستر در نهایت به حملهای منجر شد که Hugging Face را هدف قرار داد.
همچنین بخوانید: شرکت OpenAI تأیید کرد مدلهایش بهصورت خودکار Hugging Face را هک کردهاند
عاملها آسیبپذیریها را پیدا و برای یکدیگر منتشر میکردند
طبق توضیحات OpenAI، ارتباط ایجنتها از طریق یکی از مدیرهای بسته نرمافزاری (Package Manager) این شرکت انجام میشد؛ ابزاری که وظیفه مدیریت نصب نرمافزارهای دیگر را بر عهده دارد.
از آنجا که این مدیر بسته در بخشهای مختلف زیرساخت OpenAI مورد استفاده قرار میگرفت، ایجنتهایی که شرکت در حال آزمایش آنها بود میتوانستند به آن دسترسی پیدا کنند.
ایجنتها پس از پیدا کردن آسیبپذیریها، گاهی آنها را باز میگذاشتند و اطلاعات مربوط به آنها را روی تابلوی پیام با سایر عاملها به اشتراک میگذاشتند. به این ترتیب، مجموعهای از ایجنتهای مستقل بهتدریج به شکلی غیرمنتظره با یکدیگر همکاری میکردند.
ماجرای حمله ایجنتهای OpenAI به Hugging Face
ایجنتها شروع به تقسیم وظایف میان خود کردند
رفتار این ایجنتها به مرور پیچیدهتر شد. آنها شروع به همکاری، واگذاری وظایف و تقسیم کار میان یکدیگر کردند تا به اهدافشان برسند؛ در حالی که OpenAI از این تعاملات آگاه نبود.
حتی در میان ایجنتها نوعی بیاعتمادی شکل گرفته بود. برخی ایجنتها بهطور تصادفی کارهای یکدیگر را حذف میکردند و بعضی دیگر به این موضوع مشکوک میشدند که یک ایجنت دیگر ممکن است خود را به جای ایجنت واقعی جا زده باشد.
برخی ایجنتها حتی پیشنهاد کرده بودند برای جلوگیری از جعل هویت، پیامهای خود را با کدهای مشخصی امضا کنند.
زمانی که OpenAI سرانجام این تابلوی پیام را کشف کرد، صدها هزار پیام در آن ثبت شده بود.
همچنین بخوانید: افشای جزئیات جدید از جنجال بزرگ OpenAI؛ عاملهای هوش مصنوعی دوباره از کنترل خارج شدند!
چرا ایجنتهای هوش مصنوعی به دنبال میانبر میروند؟
والاس توضیح داد که بخشی از این رفتار به تمایل مدلهای پیشرفته هوش مصنوعی برای پیدا کردن میانبر هنگام حل مسائل مربوط میشود.
وقتی مدلها برای حل سریع یک مسئله با استفاده از ابزارهای کمتر تحت فشار قرار میگیرند، ممکن است متوجه شوند که بهجای انجام واقعی یک وظیفه، میتوانند پاسخ آن را از طریق اینترنت پیدا کنند.
به همین دلیل، OpenAI مدلهای خود را در آزمایشها معمولاً بدون دسترسی مستقیم به اینترنت بررسی میکند. در حادثه مربوط به Hugging Face نیز ایجنتها تنها پس از سوءاستفاده از یک آسیبپذیری توانستند به اینترنت دسترسی پیدا کنند.
اوپنایآی نظارت بر عاملهای هوش مصنوعی را افزایش میدهد
مایکل دالتون (Michael Dalton)، دیگر کارمند OpenAI که در کنفرانس Black Hat سخنرانی کرد، گفت تیمهای متعددی در این شرکت پس از این حادثه فعالیتهای خود را برای تقویت روشهای پیشگیری، شناسایی و واکنش به تهدیدات امنیتی افزایش دادهاند.
اوپنایآی همچنین بخشی از روند تحقیقات خود را عمداً کند کرده تا بتواند زیرساختهای امنیتی را ارتقا دهد و نظارت بر ایجنتهای هوش مصنوعی را بهطور چشمگیری افزایش دهد.
دالتون تأکید کرد که یکی از مهمترین درسهای این حادثه، نیاز به توسعه سامانههای دفاعی کاملاً خودکار در برابر حلقههای حمله کاملاً خودکار است؛ حوزهای که به گفته او صنعت هوش مصنوعی هنوز برای آن آمادگی کامل ندارد.
جمعبندی
حادثه اخیر نشان میدهد ایجنتهای هوش مصنوعی پیشرفته میتوانند فراتر از اجرای یک دستور مشخص، به شکل غیرمنتظرهای با یکدیگر همکاری کنند، وظایف را تقسیم کنند و از آسیبپذیریهای موجود در محیط خود برای رسیدن به اهدافشان استفاده کنند. OpenAI اکنون تلاش میکند با افزایش نظارت و توسعه سامانههای دفاعی خودکار، احتمال تکرار چنین حوادثی را کاهش دهد؛ اما همانطور که این شرکت میگوید، توسعه دفاع کاملاً خودکار همزمان با ایجنتهای تهاجمی خودکار، همچنان یکی از چالشهای مهم صنعت هوش مصنوعی است.
نظر شما چیست؟ آیا توسعه ایجنتهای هوش مصنوعی خودمختار با قابلیت همکاری با یکدیگر، نیازمند محدودیتها و سازوکارهای امنیتی سختگیرانهتری است؟
نوشته ایجنتهای OpenAI پیش از حمله به Hugging Face ماهها بهطور مخفیانه با یکدیگر همکاری میکردند اولین بار در ترنجی پدیدار شد.