شرکت امنیتی CrowdStrike در گزارش جامعی تصریح کرده است که با توجه به معماری امنیتی عاملهای هوش مصنوعی روشهای سنتی دیگر پاسخگو نیستند. گزارش یاد شده بهصراحت اعلام میکند که ابزارهای سنتی امنیت برنامههای کاربردی (AppSec) برای محافظت از عاملهای هوش مصنوعی ناکارآمد هستند، دلیل این ناکارآمدی، تفاوت بنیادین در ماهیت عملکرد عاملهای هوش مصنوعی با برنامههای نرمافزاری سنتی است. در یک برنامه سنتی، مسیر اجرا، ورودیها و وابستگیها مشخص و قابلپیشبینی است.
به گزارش آی سی تی نیوز،در مقابل، عامل هوش مصنوعی مانند یک جعبه سیاه تصمیمگیرنده عمل میکند که بر اساس زبان، متن و فراداده (Metadata) شکل میگیرد. این عامل، درخواست کاربر را تفسیر کرده، برنامهریزی میکند، ابزار مناسب را انتخاب و نتایج را تحلیل میکند. این چرخه تکرارشونده، شامل لایههایی از جمله دستورات (Prompts) ، حافظه (Memory) ، لایه استدلال (Reasoning) و لایه ابزار (Tools) است که همگی میتوانند هدف حمله قرار گیرند.
یکی از مهمترین عواملی که این پیچیدگی را دوچندان میکند، پروتکل زمینه مدل (MCP – Model Context Protocol) است. MCP به عاملهای هوش مصنوعی اجازه میدهد تا به صورت پویا به سرورهای خارجی متصل شده و قابلیتهای جدیدی را در زمان اجرا کشف کنند. این انعطافپذیری تحسینبرانگیز، هرچند بهرهوری توسعهدهندگان را افزایش میدهد، اما مرز اعتماد را از کدهای کنترلشده به سمت اجزایی منتقل میکند که خارج از فرآیندهای استاندارد امنیتی قرار دارند.
شرکت امنیتی کراوداسترایکشرکت امنیتی کراوداسترایک(CrowdStrike)یکی از پیشگامان جهانی در زمینه امنیت سایبری، اخیراً گزارشی تخصصی با عنوان «امنیت عامل هوش مصنوعی: معماری، سطح حمله و دفاع» منتشر کرده است. این گزارش را که تیم تحقیقاتی این شرکت تدوین کرده، به عنوان یک نقشهراه عملی ۹۰ روزه برای تأمین امنیت عاملهای هوش مصنوعی (AI Agents) معرفی شده است. با توجه به سابقه درخشان کراوداسترایک در کشف تهدیدات پیشرفته و ارائه راهکارهای نوین امنیتی، این گزارش از اعتبار و اهمیت بالایی در جامعه امنیت اطلاعات برخوردار است و میتواند نقطه عطفی در نحوه مواجهه سازمانها با چالشهای امنیتی این فناوری نوظهور محسوب شود.
توسعه و استقرار عاملهای هوش مصنوعی، مرزهای جدیدی از کارایی و اتوماسیون را گشوده است. این عاملها که قادر به برنامهریزی، استدلال و اجرای اقدامات بر اساس درک زبان طبیعی هستند، به سرعت در حال تبدیل شدن به بخش جداییناپذیر از زیرساخت سازمانها محسوب میشوند. با این حال، همین قابلیتهای پیشرفته، سطح حملهای کاملاً نوین و پیچیده را پدید آوردهاند که امنیتپذیری آنها را به چالشی اساسی برای متخصصان حوزه امنیت اطلاعات تبدیل کرده است.
شکست فرضیههای بنیادین امنیت برنامههای کاربردی گزارش کراوداسترایک با نگاهی عمیق، شش فرضیه اساسی را که امنیت برنامههای کاربردی سنتی بر آنها استوار است، مورد نقد قرار داده و نشان میدهد که عاملهای هوش مصنوعی چگونه هر یک از آنها را نقض میکنند:
- رفتار قطعی: برنامههای سنتی با ورودی یکسان، خروجی یکسانی دارند؛ اما عاملهای هوش مصنوعی بر اساس وضعیت حافظه و محتوای متن، تصمیمات متفاوتی اتخاذ میکنند.
- ورودیهای ساختاریافته: ابزارهای امنیتی برای شناسایی حملات تزریق (مانند SQLi یا XSS) طراحی شدهاند، در حالی که حملات به عاملهای هوش مصنوعی در لایه معنا (Semantic) رخ میدهند و با دستورات پنهان در متون عادی اجرا میشوند.
- مسیرهای اجرایی صریح: در نرمافزار سنتی، کد توسط توسعهدهنده نوشته میشود، اما در عاملهای هوش مصنوعی، مسیر اجرا توسط خود مدل و بر اساس توضیحات ابزارها انتخاب میشود.
- مدیریت حالت در دیتابیسهای کنترلشده: حافظه عاملهای هوش مصنوعی به صورت زمینه مکالمه (Context) است که میتواند به اشتباه، اطلاعات محرمانه را بین کاربران و جلسات مختلف به اشتراک بگذارد.
- وابستگیهای پایدار: برخلاف کتابخانههای نرمافزاری، سرورهای MCP میتوانند بدون هشدار و طی حملات «کشیدن فرش از زیر پا (Rugpull)»، رفتار ابزارها را تغییر دهند.
- مرزهای اعتماد صریح: در سیستمهای عاملهای هوش مصنوعی، ورودی کاربر، دستورات سیستمی، توضیحات ابزار و حافظه همگی در یک جریان متنی واحد ترکیب میشوند و تشخیص مرز اعتماد را غیرممکن میسازند.
حملات فعال در دنیای واقعی این گزارش به سه نمونه بارز از حملات علیه این معماری اشاره میکند که درک آنها برای هر متخصص امنیتی حیاتی است:
- مسمومیت ابزار (Tool Poisoning) : مهاجم یک سرورMCP با ابزاری به ظاهر بیخطر منتشر میکند، اما در توضیحات آن، دستوری پنهان برای خواندن یک فایل حساس (مانند کلید SSH و ارسال آن به عنوان پارامتر به ابزار تعبیه میکند. خود ابزار به درستی کار میکند، اما دادههای محرمانه به بیرون درز پیدا میکند.
- سایهاندازی ابزار (Tool Shadowing) : مهاجم ابزاری جدید اضافه میکند که عملکرد مخربی ندارد، اما توضیحات آن به گونهای طراحی شده که بر استدلال مدل تأثیر گذاشته و باعث میشود هنگام استفاده از ابزارهای مجاز دیگر (مانند ارسال ایمیل)، مهاجم را در کپی مخفی (BCC) قرار دهد.
- تغییر رفتار پس از یکپارچهسازی (Rugpull Attacks) : پس از تأیید و استفاده از یک ابزار، مالک سرور MCP، عملکرد آن را بهروزرسانی کرده و قابلیت استخراج دادهها را به آن اضافه میکند، در حالی که توضیحات ظاهری آن بدون تغییر میماند.
راهکارهای دفاعی پیشنهادی کراوداسترایک: از نظارت تا واکنش برای مقابله با این تهدیدات نوظهور، شرکت امنیت سایبری کراوداسترایک پیشنهاد میکند که به جای تکیه بر روشهای مبتنی بر نحو (Syntax-based)، بر کنترلهای مستقر در لایه استدلال و معنا تمرکز شود. مهمترین راهکارهای دفاعی شامل موارد زیر است:
- اعتبارسنجی ورودی در لایه معنایی: به جای پاکسازی کاراکترها، باید الگوهای تزریق دستورات پنهان را شناسایی کرد.
- اعتبارسنجی پارامترهای ابزار: هرگز نباید به خروجی مدل اعتماد کرد. پارامترهای تولید شده برای اجرای ابزارها باید با استفاده از طرحهای سختگیرانه (Strict Schemas) اعتبارسنجی شوند.
- مدیریت هویت با کمترین دسترسی (Least Privilege): هر عامل هوش مصنوعی باید یک هویت منحصربهفرد (NHI) با حداقل دسترسیهای لازم داشته باشد و اعتبارنامههای آن به صورت دورهای چرخش داده شوند.
- کنترل جریان اطلاعات: دادهها باید در لحظه دریافت، طبقهبندی شده (محرمانه، عمومی، شخصی) و مسیر حرکت آنها بر اساس این طبقهبندی محدود شود.
- پایش و رصد رفتار: ثبت زنجیره استدلال و انتخاب ابزارها و مقایسه آن با الگوهای رفتاری گذشته، برای تشخیص انحرافات و حملات حیاتی است.
- تأیید انسانی برای اقدامات حساس: عملیات پرخطر مانند حذف دادهها یا تراکنشهای مالی باید حتماً توسط یک انسان تأیید شوند.
چکلیست ۹۰ روزه کراوداسترایک این گزارش یک برنامه عملیاتی ۹۰ روزه برای تیمهای امنیتی ارائه میدهد که شامل هشت مرحله کلیدی از جمله: تهیه فهرست دقیق از ابزارهای MCP، پیادهسازی احراز هویت متقابل (mTLS)، استقرار گاردریلهای لایه دستورات و اجرا، راهاندازی سیستم نظارت بر انحرافات، اعمال حاکمیت بروزرسانی ابزارها و تدوین روشهای واکنش به حوادث خاص این عاملها است.
عاملهای هوش مصنوعی، نسل بعدی اتوماسیون هستند، اما امنیتسازی آنها نیازمند تغییری پارادایمی در رویکردهای دفاعی است. همانطور که شرکت کراوداسترایک تأکید میکند، امنیت برنامههای کاربردی سنتی بر فرضیاتی استوار است که در این سیستمهای استدلالگر نقض میشوند. موفقیت در تأمین امنیت این عاملها، در گرو درک عمیق از معماری آنها، شناسایی نقاط نفوذ در لایههای معنایی و پیادهسازی کنترلهایی است که بتوانند پیش از وقوع فاجعه، انحراف در فرآیند تصمیمگیری را شناسایی و متوقف کنند.
سازمانها برای بهرهمندی ایمن از این فناوری، باید سرمایهگذاری خود را بر روی پلتفرمها و راهکارهایی متمرکز کنند که دید و کنترل یکپارچهای بر تمامی لایههای عامل هوش مصنوعی فراهم آورند. گزارش کراوداسترایک در پایان به راهکار اختصاصی این شرکت یعنی Falcon Guardian اشاره کرده است که با یکپارچهسازی گاردریلها، شناسایی تهدیدات و پاسخ خودکار، این اصول را به مرحله اجرا درمیآورد.