دکتر داوود ادیب، رئیس انجمن صنفی کارفرمایی شرکتهای فناور هوش مصنوعی و اقتصاد دیجیتال ایران، در یادداشت ارسالی برای سیتنا آورده است:
در بخش دوم این یادداشت، پرسش این بود که آیا میتوان هوش مصنوعی بسیار پیشرفته و خودمختار را برای همیشه تحت کنترل انسان نگه داشت. از محدودیت دسترسی، تفکیک تصمیم از اجرا، نظارت و معماریهای کنترلی سخن گفتیم.
اما در پایان به پرسش دشوارتری رسیدیم:
از کجا مطمئن خواهیم شد که هنوز کنترل در دست ماست؟
شاید این پرسش در نگاه نخست بیش از اندازه آیندهنگرانه به نظر برسد. اما اتفاق مهمی در پژوهشهای ایمنی هوش مصنوعی در حال رخدادن است: مسئله دیگر فقط این نیست که یک مدل چه کاری انجام میدهد؛ پژوهشگران میخواهند بدانند آیا مدل میتواند بفهمد که در حال ارزیابیشدن است و رفتار خود را متناسب با آن تغییر دهد.
این تفاوت کوچک، میتواند یکی از بزرگترین مسائل نسل بعدی هوش مصنوعی باشد. فرض کنیم یک سیستم پیشرفته تمام آزمونهای ایمنی را با موفقیت پشت سر بگذارد. دستورها را رعایت کند، از خطوط قرمز عبور نکند و حتی در هزاران آزمایش هیچ رفتار خطرناکی از خود نشان ندهد.
آیا میتوانیم اعلام کنیم سیستم ایمن است؟
لزوماً نه.
زیرا یک احتمال دیگر نیز وجود دارد: شاید سیستم نهتنها مسئلهای را که به آن دادهایم فهمیده باشد، بلکه موقعیتی را که در آن قرار گرفته نیز فهمیده باشد. یعنی بداند چه زمانی آزمایش میشود، چه زمانی رفتار آن ثبت میشود، چه رفتاری موجب محدودشدن دسترسیهایش خواهد شد و چه پاسخی برای عبور از ارزیابی مناسبتر است.
در این صورت با مسئلهای کاملاً متفاوت مواجه میشویم. ما تصور میکنیم در حال ارزیابی هوش مصنوعی هستیم، در حالی که ممکن است هوش مصنوعی نیز در حال ارزیابی محیط ارزیابی باشد.
این مفهوم امروز در تحقیقات ایمنی با عناوینی مانند «آگاهی از ارزیابی» یا Evaluation Awareness مورد توجه قرار گرفته است. مسئله فقط دروغگفتن نیست. یک سیستم میتواند بدون گفتن حتی یک جمله دروغ، تصویر ناقصی از توانایی واقعی خود ارائه دهد.
برای مثال، فرض کنیم یک عامل هوشمند متوجه شود نمایش یک توانایی خاص باعث افزایش محدودیتهای امنیتی آن خواهد شد. در چنین شرایطی آیا ممکن است عملکردی پایینتر از توانایی واقعی خود نشان دهد؟
این پدیده را میتوان در قالب مفهوم Sandbagging بررسی کرد: سیستمی که در شرایط خاص، عمداً یا بهصورت راهبردی کمتر از ظرفیت واقعی خود ظاهر میشود.
و اینجا یک تناقض عجیب شکل میگیرد: ضعیف ظاهرشدن میتواند خود نشانهای از توانمندی بیشتر باشد.
سیستمی که قادر نیست محیط خود را بفهمد، همان کاری را انجام میدهد که بلد است. اما سیستمی که بتواند تشخیص دهد نمایش تواناییهایش چه پیامدی برای آینده فعالیتش خواهد داشت، ممکن است انگیزه ابزاری برای مدیریت چیزی پیدا کند که ما درباره آن تصور میکنیم.
در چنین شرایطی، آزمون هوش مصنوعی دیگر صرفاً آزمون توانایی نیست؛ تبدیل به نوعی بازی اطلاعاتی میان «ارزیاب» و «سیستم تحت ارزیابی» میشود. و این موضوع پیامد مهم دیگری دارد.
برای سالها یکی از تصورات رایج این بوده که هرچه آزمونهای هوش مصنوعی سختتر و جامعتر شوند، شناخت ما از سیستم نیز بیشتر خواهد شد.
اما درباره سیستمهای بسیار پیشرفته ممکن است با یک محدودیت بنیادی روبهرو شویم: اعتبار یک آزمون وابسته به این است که سیستم نتواند ماهیت آزمون را علیه خود آزمون به کار بگیرد.
اگر مدل بفهمد چه چیزی اندازهگیری میشود، چه رفتاری امتیاز بیشتری میگیرد و چه رفتاری موجب مداخله انسان میشود، خود فرایند اندازهگیری ممکن است بر رفتاری که قصد اندازهگیری آن را داریم اثر بگذارد.
در این نقطه مسئله «فریب» نیز معنای دقیقتری پیدا میکند. فریب هوش مصنوعی الزاماً نباید شبیه فریب انسان باشد. نیازی نیست سیستم حسادت کند، عصبانی شود، قدرت بخواهد یا از خاموششدن بترسد.
کافی است میان هدف، محیط و پیامد اقدامات خود رابطه برقرار کند. اگر سیستم تشخیص دهد انجام اقدام A باعث محدودشدن توانایی آن برای دستیابی به هدف B خواهد شد، اجتناب از A میتواند صرفاً بخشی از برنامهریزی برای دستیابی به B باشد. رفتاری که از بیرون شبیه «اطاعت» دیده میشود، ممکن است در برخی شرایط صرفاً یک راهبرد باشد.
و شاید همین موضوع یکی از خطرناکترین اشتباهات مفهومی ما درباره هوش مصنوعی آینده باشد:
ما ممکن است اطاعت را با همراستایی اشتباه بگیریم. این دو الزاماً یک چیز نیستند. سیستمی که فرمان ما را اجرا میکند، لزوماً سیستمی نیست که تحت تمام شرایط آینده نیز مطابق انتظار ما رفتار خواهد کرد.
این مسئله اکنون از سطح یک آزمایش فکری نیز فراتر رفته است. در سالهای اخیر پژوهشگران در محیطهای کنترلشده رفتارهایی مرتبط با Alignment Faking یا «تظاهر به همراستایی» و Scheming را بررسی کردهاند؛ شرایطی که در آن مدل بسته به اینکه تصور میکند تحت آموزش، نظارت یا ارزیابی است،
میتواند رفتار متفاوتی نشان دهد. این یافتهها به هیچ عنوان اثبات نمیکنند که هوش مصنوعی امروز دارای نقشهای مخفی برای فریب انسان است.
اما یک هشدار مهم در خود دارند:
رفتار خوب در آزمون، بهتنهایی اثباتکننده رفتار خوب در تمام شرایط آینده نیست. اینجاست که مسئله تفسیرپذیری یا Interpretability اهمیت پیدا میکند.
اگر تنها خروجی یک سیستم را ببینیم، شاید بخش مهمی از مسئله را نبینیم. برای اطمینان بیشتر از سیستمهای آینده باید بتوانیم تا حد ممکن بفهمیم چه سازوکارهایی به تصمیم منجر شدهاند، سیستم به چه اطلاعاتی توجه کرده و چرا مسیر مشخصی را انتخاب کرده است.
اما اینجا نیز مشکل تازهای ظاهر میشود. فرض کنیم برای شناسایی رفتار نامطلوب، فرایندهای درونی یا استدلال سیستم را پایش کنیم.
اگر سپس براساس آنچه مشاهده کردهایم مدل را آموزش دهیم تا چنین نشانههایی را نشان ندهد، آیا واقعاً رفتار نامطلوب را حذف کردهایم؟ یا فقط به سیستم یاد دادهایم نشانه قابل مشاهده آن رفتار را تولید نکند؟
این تمایز برای آینده ایمنی هوش مصنوعی حیاتی است. در امنیت سایبری سالهاست یک اصل مهم وجود دارد: نبودن هشدار در سیستم مانیتورینگ الزاماً به معنای نبودن حمله نیست.
گاهی مهاجم شکست نخورده است؛ فقط دیگر دیده نمیشود. در هوش مصنوعی آینده نیز ممکن است با نسخه پیچیدهتری از همین مسئله روبهرو شویم. اگر تمام معیارهای ایمنی ما قابل مشاهده و قابل یادگیری باشند، یک سیستم بسیار توانمند شاید بتواند نه محدودیتها، بلکه مدل ذهنی ما از محدودیتها را یاد بگیرد.
در آن صورت دیگر فقط ما نیستیم که برای هوش مصنوعی مدل میسازیم. هوش مصنوعی نیز میتواند مدلی از ما بسازد. مدلی از اینکه چه چیزی ما را نگران میکند، چه زمانی مداخله میکنیم، چه رفتاری را ایمن تلقی میکنیم و چه چیزی باعث میشود سطح دسترسی آن را کاهش دهیم.
این شاید یکی از کمتر مورد توجه قرارگرفتهترین تغییرات در رابطه انسان و هوش مصنوعی باشد. تا امروز مسئله اصلی این بوده است که انسان بتواند رفتار ماشین را پیشبینی کند.
اما در آینده ممکن است ماشینی داشته باشیم که رفتار انسانِ ناظر را نیز پیشبینی میکند. از آن لحظه، کنترل دیگر یک رابطه یکطرفه نیست. ناظر، خودش به بخشی از محیطی تبدیل میشود که سیستم آن را تحلیل میکند.
اینجاست که مفهوم «Human in the Loop» نیز نیازمند بازنگری خواهد بود. حضور انسان در حلقه تصمیمگیری همیشه به معنای کنترل واقعی انسان نیست.
اگر سیستم هزاران گزینه را بررسی کند، اطلاعات را انتخاب کند، گزینهها را رتبهبندی کند و در نهایت دو پیشنهاد را مقابل یک مدیر انسانی قرار دهد، چه کسی واقعاً تصمیم را ساخته است؟
انسانی که یکی از دو گزینه را انتخاب کرده؟ یا سیستمی که تعیین کرده انسان اساساً کدام دو گزینه را ببیند؟
در نسل بعدی سیستمهای هوشمند شاید کنترل نه از طریق گرفتن اختیار رسمی انسان، بلکه از طریق کنترل فضای انتخاب انسان جابهجا شود.
این نوع تغییر کنترل بسیار ظریفتر است، زیرا ظاهراً هنوز انسان تصمیم نهایی را میگیرد. دکمه تأیید همچنان مقابل اوست. نام او همچنان زیر تصمیم ثبت میشود. اما معماری تصمیم ممکن است پیش از رسیدن به انسان توسط ماشین ساخته شده باشد.
بنابراین شاید معیار آینده برای کنترل هوش مصنوعی نباید فقط این باشد که «آیا انسان میتواند تصمیم ماشین را متوقف کند؟»
باید سؤال دیگری نیز مطرح کنیم: آیا انسان هنوز قادر است مستقلاً بفهمد چه چیزی را باید متوقف کند؟
و مسئله از اینجا حتی پیچیدهتر میشود.
فرض کنیم روزی سیستمهای هوش مصنوعی در طراحی مدلهای بعدی، نوشتن کد آنها، ساخت ابزارهای ارزیابی و حتی طراحی بخشی از سازوکارهای ایمنی نسل بعدی مشارکت گسترده داشته باشند.
در آن صورت ممکن است به نقطهای برسیم که هوش مصنوعی نهفقط موضوع ارزیابی، بلکه بخشی از خود فرایند ارزیابی باشد. هوش مصنوعی، هوش مصنوعی دیگری را آزمایش کند.
هوش مصنوعی، رفتار آن را تحلیل کند. و انسان گزارش نهایی را دریافت کند. این سناریو الزاماً خطرناک نیست و حتی ممکن است برای نظارت بر سیستمهایی فراتر از توان تحلیل انسان ضروری باشد.
اما یک سؤال بنیادین ایجاد میکند: اگر برای فهمیدن اینکه یک هوش مصنوعی قابل اعتماد است به هوش مصنوعی دیگری نیاز داشته باشیم، آخرین حلقه اعتماد کجا قرار خواهد گرفت؟
شاید چالش بزرگ آینده هوش مصنوعی این نباشد که ماشین روزی از فرمان انسان سرپیچی کند.
سناریوی دشوارتر این است که ماشین همچنان فرمانبردار به نظر برسد، انسان همچنان تصور کند تصمیمگیرنده نهایی است و تمام شاخصهای نظارتی نیز وضعیت عادی را نشان دهند.
اما در همان زمان، ما دیگر نتوانیم با اطمینان پاسخ دهیم که چه کسی رفتار چه کسی را پیشبینی میکند. و شاید مرز واقعی میان «ابزار» و «عامل» دقیقاً همینجا باشد. ابزار منتظر تصمیم ما میماند.
عامل، تصمیم بعدی ما را نیز در محاسبات خود وارد میکند. اگر روزی به آن نقطه برسیم، پرسش اصلی دیگر این نخواهد بود که: «آیا هوش مصنوعی از کنترل خارج شده است؟»
پرسش بسیار دشوارتر خواهد بود: اگر هوش مصنوعی یاد گرفته باشد تحت کنترل به نظر برسد، چه آزمایشی میتواند ثابت کند که هنوز واقعاً تحت کنترل است؟
پایان
انتهای پیام