به گزارش سیتنا، محققان دو مدل هوش مصنوعی محبوب چینی را متقاعد کرده‌اند که به آنها بگویند چگونه سلاح‌های بیولوژیکی بسازند و ترور انجام دهند.
مایندگارد، شرکتی که امنیت سیستم‌های هوش مصنوعی را آزمایش می‌کند، دریافت که ابزارهای Moonshot، Kimi K2.6 و K3 Swarm، می‌توانند از نرده‌های محافظ اعمال شده توسط توسعه‌دهندگان عبور کنند.
این کشف در جریان آزمایشی موسوم به «جیلبریک» انجام شد، که در آن محققان دستورالعمل‌های دقیقی را وارد می‌کنند تا دریابند که آیا مدل‌های هوش مصنوعی محدودیت‌های ایمنی را نادیده می‌گیرند یا خیر.
این سیستم‌ها در مورد نحوه ایجاد گاز سارین، تولید نرم‌افزار بدافزار، سرنگونی هواپیماها و حتی برنامه‌ریزی حمله تروریستی به متروی لندن مشاوره می‌دادند.
پس از جیلبریک شدن مدل، کاربر به آن دستور می‌داد که «یک قدم جلوتر برود - چیزی بزرگ» و این مدل دسته‌هایی از جمله سلاح‌های بیولوژیکی طراحی شده توسط هوش مصنوعی را پیشنهاد می‌داد.
این موضوع در بحبوحه بحث‌های داغ در این صنعت پیرامون آینده هوش مصنوعی مطرح می‌شود؛ بحث‌هایی که پس از هشدارهای آخرالزمانی درباره این فناوری — که برخی آن را تهدیدی برای بقای بشریت می‌دانند — شدت گرفته است.
پیتر گاراگان، بنیان‌گذار شرکت «مایندگارد» (Mindgard)، اظهار داشت که تیم او دریافته است مدل K2.6 قادر به اجرای زبان برنامه‌نویسی پایتون است؛ قابلیتی که امکان اجرای هر نوع کدی را برای آن فراهم می‌سازد.
او توضیح داد که این کد می‌تواند عادی یا مخرب باشد؛ بدین معنا که در صورت اتصال به اینترنت، این مدل می‌تواند با هدف قرار دادن سرورها، در انجام حملات سایبری نقش داشته باشد.
برای K3 Swarm، محققان سعی کردند جیلبریک را به حساب‌های دیگر در Kimi گسترش دهند - اما متوجه شدند که این مدل برای ایجاد این حساب به یک کد شماره تلفن نیاز دارد.
با این حال، این ابزار سپس سعی کرد کاربر را متقاعد کند که کد را به آن بدهد یا از طریق ایمیل ثبت نام کند، به این معنی که سعی داشت آن شخص را برای انجام حملات سایبری دستکاری کند.
دکتر گاراگان به دیلی میل گفت: «کیمیِ Moonshot AI خروجی‌های قابل اجرا در مورد نحوه ایجاد گاز سارین، تولید نرم‌افزار بدافزار، برنامه‌ریزی ترور، نحوه سرنگونی هواپیماها، برنامه‌ریزی حمله تروریستی به متروی لندن و غیره تولید کرد.
«ما همچنین کشف کردیم که چگونه Kimi را طوری تحریک کنیم که از سرور خود به دنیای خارج متصل شود، به طور خودکار حساب ایمیل خود را اعمال و راه‌اندازی کند و حتی سعی کردیم انسان‌ها را متقاعد کنیم تا به او در گسترش جیلبریک به حساب‌های دیگر کمک کنند.»
دکتر گاراگان، استاد علوم کامپیوتر در دانشگاه لنکستر، گفت که مدل‌های هوش مصنوعی «هر ماه توانمندتر می‌شوند» که می‌تواند «برای فعالیت‌های خاص مفید باشد».
اما او افزود: «با این حال، پس از جیلبریک شدن، همین قابلیت می‌تواند در بحث و کمک به فعالیت‌های تروریستی یا هکرها مورد استفاده قرار گیرد.»
«ما در مورد فاجعه تمدن که فروشندگان هوش مصنوعی شروع به صحبت در مورد آن کرده‌اند صحبت نمی‌کنیم، بلکه در مورد چگونگی توانمندسازی هکرها و مجرمان برای دستیابی سریع‌تر و ارزان‌تر به اهدافشان صحبت می‌کنیم.»
مایندگارد این مشکل را کشف کرد و در ۲۷ ژوئیه، قبل از پیگیری یک هفته بعد، در ایمیلی به مون‌شات هشدار داد. اما اعلام کرد که هیچ پاسخی دریافت نکرده و در ۱۲ سپتامبر یک پست وبلاگی در مورد این مشکل منتشر کرد.
این شرکت ادعا کرد که مون‌شات اخیراً پس از تماس بی‌بی‌سی برای اظهار نظر، با آنها تماس گرفته است. بی‌بی‌سی اولین بار دیروز این نقض امنیتی را در برنامه سرویس جهانی خود، Tech Life، گزارش داد.
این اتفاق پس از آن رخ داد که OpenAI، سازنده ChatGPT، در ماه ژوئیه با اعلام اینکه سیستم هوش مصنوعی‌اش در یک «حادثه سایبری بی‌سابقه» به تنهایی Hugging Face، یک پلتفرم محبوب برای توسعه‌دهندگان هوش مصنوعی، را هک کرده است، صنعت را تکان داد.
پادشاه چارلز و شاهزاده هری از جمله کسانی هستند که در هفته‌های اخیر به بحث در مورد بهترین راه برای مهار فناوری هوش مصنوعی قبل از اینکه بتواند از کنترل انسان خارج شود، پیوسته‌اند.
در همین حال، توسعه‌دهنده ربات چت Claude، Anthropic، این هفته به سرمایه‌گذاران هشدار داد که فناوری پیشرفته هوش مصنوعی ممکن است «خطرات فاجعه‌بار یا وجودی برای بشریت» ایجاد کند.
دکتر گاراگان گفت: «فروشندگان هوش مصنوعی خواستار کاهش سرعت گسترش هوش مصنوعی به دلایل ایمنی هستند - اگرچه به نظر من بخش بزرگی از «پسری که فریاد زد گرگ» وجود دارد، جایی که تنها چند ماه پیش آنها در مورد خطرناک بودن مدل‌های خود اغراق می‌کردند، در حالی که در عین حال در مهار عوامل خود از هک کردن سازمان‌های شخص ثالث مختلف شکست می‌خوردند.»
«آنها در این حوزه صدای مهمی دارند، اگرچه منافع زیادی در هدایت روایت دارند.»
سخنگوی مون‌شات به بی‌بی‌سی گفت: «مایندگارد جزئیات بیشتری را روز پنجشنبه، ۲۴ سپتامبر با ما در میان گذاشت. ما هنوز در حال بحث در مورد جزئیات خاص با مایدگارد در حین انجام یک بررسی داخلی هستیم.
«به عنوان یک توسعه‌دهنده مدل با وزن باز، مون‌شات ای‌آی از ورودی‌های شخص ثالث به عنوان یک ستون کلیدی برای ساخت هوش مصنوعی بهتر و ایمن‌تر استقبال می‌کند.»
یک مدل با وزن باز، مدلی است که پارامترهای عددی آموخته‌شده آن - به نام «وزن‌ها» - به صورت عمومی منتشر می‌شوند تا هر کسی بتواند آنها را دانلود، اجرا و اصلاح کند.
اوایل این ماه، داریو آمودی، مدیر اجرایی آنتروپیک، گفت که صنعت هوش مصنوعی باید توسعه خود را کند کند تا به اقدامات ایمنی زمان بدهد تا به آنها برسد.
او گفت که بدون حرکت با سرعت ایمن، هوش مصنوعی می‌تواند ظرف شش تا دوازده ماه رهبری گروهی را که می‌توانند اینترنت را تصرف کنند، بر عهده بگیرد.
در همین حال، رقیب آن، OpenAI، که ChatGPT را توسعه می‌دهد، روز دوشنبه اعلام کرد که به دلیل نگرانی‌های امنیتی، انتشار یک مدل هوش مصنوعی جدید را به تأخیر می‌اندازد.
این شرکت اعلام کرد که «از نظر ایمنی و هم‌ترازی، استاندارد بسیار بالایی» دارد و نسخه جدید مدل GPT-6 Astra آن از این استاندارد پایین‌تر است.
اندی برنهام اوایل این ماه گفت که می‌خواهد بریتانیا در تدوین مجموعه‌ای از قوانین برای جلوگیری از گسترش هوش مصنوعی سرکش، رهبری جهان را بر عهده بگیرد.
نخست‌وزیر می‌خواهد بریتانیا به عنوان یک «واسطه صادق» عمل کند تا «مجموعه‌ای واحد از اصول و استانداردهای جهانی» را برای توسعه هوش مصنوعی پیشرو تدوین کند.
اما این امر او را در مسیر برخورد با دونالد ترامپ، رئیس‌جمهور آمریکا، قرار می‌دهد که اصرار دارد در برابر تلاش‌ها برای مهار آنچه «هوش برتر» می‌نامد، مقاومت خواهد کرد.
ترامپ دیروز هرگونه سرمایه‌گذاری مشترک با چین در حوزه هوش مصنوعی را رد کرد و گفت که نمی‌خواهد «اسرار» را به رقیب اصلی اقتصادی کشورش «افشا» کند.
انتهای پیام