سلاح های هوش مصنوعی و توهم خطرناک کنترل انسان
آمریکا باید سیستمهای مستقلی بسازد که بتوانند به تنهایی انتخابهای اخلاقی داشته باشند
آی بیک محسنی
آرنولد شوارتزنگر در فیلم علمی تخیلی The Terminator در سال 1984 وعده داده بود او شوخی نمی کرد. در مصاحبه ای در سال 2023 بازیگر تبدیل به فرماندار پیشنهاد کرد که دیدگاه فیلم در مورد سلاح های خودمختار اکنون یک واقعیت است یا همانطور که کارگردان فیلم جیمز کامرون گفته است: “من در سال 1984 به شما هشدار دادم و شما گوش نکردید.”در آینده دیستوپیایی فیلم انسان ها یک سیستم نظامی مجهز به هوش مصنوعی طراحی می کنند که سرکش می شود و بشر را نابود می کند. به طور دقیق این اتفاق نیفتاده است. در همان زمان جنگ در 40 سال پس از اکران The Terminator به طور غیرقابل انکاری تغییر کرده است. سلاح های مجهز به هوش مصنوعی به طور فعال در میدان های نبرد از اوکراین تا غزه مستقر هستند و احتمالاً نقش تعیین کننده ای در هر درگیری بین ایالات متحده و چین خواهند داشت.هشدار ترمیناتور مبنی بر اینکه نمیتوان به ماشینها در تصمیمگیریهای مهم اعتماد کرد مانند اینکه چه زمانی و به چه کسی تیراندازی شود در روان جمعی انسان وجود دارد. با این حال خطر واقعی ممکن است کنترل بسیار کم انسان بر این سیستم ها نباشد بلکه این توهم است که اصلاً می توان آنها را کنترل کرد. این توهم با تقویت این امید ساده لوحانه به دولتها، ارتشها و جوامع دموکراتیک آرامش کاذب میدهد که میتوانند با داشتن انسانها در حلقه سیستمهای بهتری طراحی کنند سیستمهایی که میتوانند با دشمنان خودکامه که نگرانی کمتری درباره خودکار کردن همه چیز دارند رقابت کنند. بحث کنترل انسان بر سیستمهای تسلیحاتی مجهز به هوش مصنوعی است دیدگاه غالب همچنان ادامه دارد که بیشتر بهتر است. به عنوان مثال سیاست دولت ایالات متحده صراحتاً ایجاب می کند که سلاح های خود مختار مرگبار با ظرفیت مداخله انسانی مناسب طراحی شوند. مقامات ارشد مرتباً بر این واقعیت تأکید می کنند. در اواخر سال 2023 پس از آنکه وزارت دفاع ابتکار Replicator را راهاندازی کرد تلاشی برای استقرار هزاران سیستم خودمختار در سراسر خدمات نظامی تا اوت 2025 کاتلین هیکس معاون وزیر دفاع اظهار داشت: «همیشه یک انسانی مسئول استفاده از زور است. توقف کامل.» سازمان ملل متحد به دنبال ممنوعیت سلاحهای کاملاً خودمختار است و قوانین الزامآور بینالمللی را پیشنهاد کرده است که چنین سیستمهایی را ملزم میکند که یک انسان در حلقه حضور داشته باشند. بسیاری از سازمانهای غیردولتی از جمله Stop Killer Robots The Future of Life و عفو بینالملل هدف کنترل انسان بر سلاحهای خودران را پذیرفتهاند.اگرچه تصور این که مردم زنده و نفس می کشند آرامش بخش است الگوریتم های بی فکر را از کشتن بی رویه باز می دارند اما این اتفاق نظر با واقعیت تکنولوژیک همخوانی ندارد. مدلهای هوش مصنوعی که سلاحهای خودران معاصر را هدایت میکنند اغلب برای نظارت بر آموزشدیدهترین اپراتورها بسیار پیچیده هستند. علاوه بر این هر استفاده پیشنهادی برای تسلیحات خودمختار آنها را در مقیاس عظیم تصور می کند که به سطوحی از داده، سرعت و پیچیدگی نیاز دارد که دخالت معنادار انسانی را غیرممکن می کند. در شرایط عادی، انتظار از یک انسان که محاسن تجزیه و تحلیل یک سیستم هوش مصنوعی را بسنجید و مسیرهای عملی را پیشنهاد کند چالش برانگیز خواهد بود. در شرایط نبرد که با استرس شدید زمان محدود و قطع یا عدم وجود ارتباطات بین افراد، واحدها و مقامات بالاتر مشخص شده است انجام این کار غیرممکن خواهد بود. بهجای افراط در این توهم که انسانها توانایی کنترل سلاحهای خودمختار را در زمان جنگ خواهند داشت، بنابراین ارتشها باید اکنون در شرایط زمان صلح به مدلهای خود برای سلاحهای خودمختار اعتماد کنند و اجازه دهند در زمان شروع تیراندازی بدون دخالت بیش از حد انسان عمل کنند.
تسریع در جنگ
رقابت نظامی بین ایالات متحده و چین توسعه و استقرار سیستمهای تسلیحاتی خودمختار را اجتنابناپذیر میسازد زیرا جنگ در اوکراین شواهد اولیهای از این تغییر پارادایم ارائه میدهد. در همین حال دولت ایالات متحده متعهد به استقرار هوش مصنوعی به طور گسترده و فوری برای اهداف مختلف امنیتی تجزیه و تحلیل اطلاعاتی، ایمنی زیستی، امنیت سایبری و موارد دیگر است.برای سالها پکن سرمایهگذاری هنگفتی روی قابلیتهایی انجام داده است که هدف آن خنثی کردن قدرت پیشبینی ایالات متحده در شرق آسیا است و به طور بالقوه به چین اجازه میدهد تا یک واقعیت انجامشده را بر سر تایوان تحمیل کند. تا همین اواخر ارتش ایالات متحده حفظ تعداد کمی از سکوهای تسلیحاتی بزرگ به اصطلاح نفیس مانند ناوهای هواپیمابر و هواپیماهای جنگنده و بمب افکن های پیشرفته را در اولویت قرار داده است. با این حال این رویکرد دیگر پایدار نیست. چین تعداد زیادی سامانه تسلیحاتی نسبتاً ارزان مانند موشکهای بالستیک ضد کشتی و زیردریاییهای دیزلالکتریکی ساخته و توزیع کرده است که ممکن است به راحتی پلتفرمهای نفیس ارتش ایالات متحده را از بین ببرند استراتژی به نام «انکار». بنابراین برای بازگرداندن مزیت ایالات متحده در شرق آسیا هر شاخه از نیروهای مسلح تلاش هایی را برای استقرار سیستم های بدون سرنشین کافی برای غلبه بر توانایی های انکار چین آغاز کرده اند.اتوماسیون هوش مصنوعی و هواپیماهای بدون سرنشین با درجات مختلف خودمختاری اجزای اساسی تقریباً هر یک از جدیدترین مفاهیم عملیاتی خدمات نظامی ایالات متحده هستند: طراحی نیروی تفنگداران دریایی 2030 عملیات دریایی توزیع شده نیروی دریایی، عملیات رزمی در مقیاس بزرگ ارتش و مفهوم عملیات آینده نیروی هوایی. هر یک از اینها به نوبه خود متکی به یک ابتکار در حال انجام است که در سال 2022 به نام فرماندهی و کنترل مشترک همه دامنه راه اندازی شد و تنها در سال 2024 1.4 میلیارد دلار هزینه داشت. به گفته وزارت دفاع این برنامه با هدف اتصال «هر حسگر هر تیرانداز» به منظور «کشف، جمعآوری، همبستگی، تجمیع، پردازش و بهرهبرداری از دادهها از همه حوزهها و منابع» و در نتیجه ایجاد یک «بافت داده» یکپارچه است. ” به بیان ساده همه چیزهایی که می توانند داده ها را جمع آوری کنند از ماهواره ها گرفته تا پهپادهای دریایی گرفته تا یک سرباز در میدان باید بتوانند آن را به اشتراک بگذارند و از آن استفاده کنند.سیستمهای بدون سرنشین ستون ضروری این بافت دادهها هستند. در خشکی با ارائه دقت بالاتر، مرگباری را افزایش داده و تلفات دوستانه و غیرنظامی را کاهش میدهند. در هوا هواپیماهای بدون خلبان از استقامت و مانور بیشتری برخوردار خواهند بود در تعداد بیشتری مستقر می شوند برای پوشش مناطق بزرگتر با یکدیگر همکاری می کنند و هدف گیری متقابل دشمن را پیچیده می کنند. و در دریا کشتی های بدون سرنشین به مناطق غیرقابل دسترس سابق نفوذ می کنند.ایالات متحده، چین و روسیه هر کدام میلیاردها دلار برای تغییر جنگ هزینه کرده اند. فشارهای رقابت امنیتی تنها به یک جهت اشاره دارد: اتوماسیون فزاینده در جنگ. و از منظر صرفاً تاکتیکی و عملیاتی، هرچه جنگ سریعتر شود، معایب بیشتری در کند کردن کارها با ملزم کردن انسانها به شفاعت در طول نبرد وجود دارد.
اشتباه کردن در انسان است
البته تاکتیک و عملیات تنها ملاحظات در جنگ نیست. از منظر اخلاقی بسیاری از ناظران از این بیم دارند که بدون نظارت ماشینهای بیفکر ممکن است از کار بیفتند و اصولی مانند تناسب (که حکم میکند آسیبی که یک اقدام نظامی تحمیل میکند از منافع آن بیشتر نباشد) و تبعیض (که ارتشها را ملزم میکند بین آنها تمایز قائل شود را نقض کنند، بیم دارند رزمندگان و غیرنظامیان). برخی دیگر نگرانند که سیستمهای خودمختار ممکن است به دلیل سوگیری در دادههای آموزشی خود جمعیتهای آسیبپذیر را قربانی کنند یا اینکه بازیگران غیردولتی ممکن است سلاحهای خودران را هک یا سرقت کنند و از آنها برای اهداف بدخیم استفاده کنند.از منظر عملی تأکید کوتهبینانه بر کارآمدی تاکتیکی یا عملیاتی نیز میتواند منجر به نتایج استراتژیک ضعیف مانند تشدید ناخواسته شود. منتقدان سلاحهای خودمختار استدلال کردهاند که انسانها زمینه وسیعتری را در تصمیمگیریهای خود ادغام میکنند و باعث میشود که آنها را در مدیریت جدید یا هرج و مرج بهتر کنند در حالی که ماشینها روی فیلمنامه میمانند. تعداد کمی از مردم به طور کامل به ماشینهایی که تصمیمات سنگینی مانند قتل، یا گسترش دامنه کارزار نظامی دارند اعتماد میکنند. تا به امروز مفروضات اکثر مردم در موارد به یاد ماندنی از خطاهای رایانه ای مانند تصادفات اتومبیل خودران یا «توهمات ربات چت» لنگر انداخته است. بسیاری از مردم تصور می کنند که انسان ها کمتر احتمال دارد که بیهوده خون بریزند یا درگیری را تشدید کنند.این استدلالهای اخلاقی و عملی با این حقیقت اساسی پشتیبانی میشوند که حتی پیشرفتهترین سیستمهای خودمختار با هوش مصنوعی نیز اشتباه میکنند. با این وجود هوش مصنوعی تا حدی پیشرفت کرده است که کنترل انسان اغلب بیشتر اسمی است تا واقعی. درک متورم از ظرفیت انسان برای کنترل هوش مصنوعی در واقع می تواند خطراتی را که منتقدان از آن می ترسند تشدید کند. این توهم که انسانها میتوانند در سناریوهای جنگی آتی مداخله کنند که وعده استرس و سرعت بالا را میدهند و در طی آن ارتباطات ضعیف یا متناوب میشوند سیاستگذاران، پرسنل نظامی و طراحان سیستم را از برداشتن گامهای لازم برای طراحی باز میدارد. اکنون سیستم های مستقل ایمن را آزمایش و ارزیابی کنید.وادار کردن انسان ها به مداخله در تصمیمات تاکتیکی به طور خودکار کشتن را در جنگ های مبتنی بر هوش مصنوعی اخلاقی تر نمی کند. ارتشهای مدرن مدتهاست که از سیستمهایی با اشکال مختلف خودمختاری مدرج استفاده میکنند مانند سیستم رزمی Aegis نیروی دریایی با سطوح مشخصی از اختیارات انسانی مورد نیاز برای آزاد کردن سلاحها. اما تصمیم اپراتور انسانی برای راهاندازی متکی به یک سیستم کامپیوتری است که دادههای دریافتی را تجزیه و تحلیل میکند و منویی از گزینهها را ایجاد میکند. در این محیط، انتخاب انسان با قضاوت اخلاقی مربوطه بیش از آنکه یک تصمیم آگاهانه باشد یک مهر لاستیکی است: اپراتور از قبل به حسگرهایی که دادهها را جمعآوری کردهاند و سیستمهایی که آنها را تجزیه و تحلیل کرده و اهداف را تعیین کردهاند اعتماد دارد.جنگهای آینده مجهز به هوش مصنوعی حتی سریعتر و وابستهتر به دادهها خواهند بود زیرا سیستمهای تسلیحاتی مجهز به هوش مصنوعی (مانند انبوه هواپیماهای بدون سرنشین) میتوانند به سرعت و در مقیاس مستقر شوند. انسان ها نه زمان و نه توانایی شناختی برای ارزیابی آن داده ها را مستقل از ماشین خواهند داشت. به عنوان مثال اسرائیل در طول جنگ غزه از سیستم تولید هدف مجهز به هوش مصنوعی استفاده کرده است. این سیستم که از صدها هزار جزئیات برای طبقهبندی اهداف به عنوان متخاصم استفاده میکند بسیار پیچیدهتر از آن است که تصمیمات را در چند دقیقه یا چند ثانیه انجام دهیم. علاوه بر این کنترل انسانی دیگر از منظر عملی بهتر نیست. مردم از نظر بدیهی زمینه بیشتری نسبت به ماشین ها ندارند. در عصر هوش مصنوعی آنها اغلب بسیار کمتر خواهند بود. خلبانی را در نظر بگیرند که ناوگانی از هواپیماهای خودمختار را هدایت می کند یا فرماندهی را در نظر بگیرند که هزاران پهپاد را در هوا، زمین و دریا هماهنگ می کند، همانطور که در مفهوم “Hellscape” ارتش ایالات متحده وجود دارد. بر اساس این طرح اگر چین قصد حمله به تایوان را داشت نیروی دریایی ایالات متحده هزاران کشتی بدون سرنشین سطحی، کشتی های زیردریایی و هواپیما را مستقر می کرد تا تنگه تایوان را به یک سالن تیراندازی تبدیل کند و برای ناوگان ایالات متحده زمان بخرد تا بسیج شود. انسانها نمیتوانند حجم عظیمی از دادههای جمعآوریشده توسط چنین مجموعهای از سیستمها را تفسیر کرده و آنها را برای تصمیمگیری درست تجزیه و تحلیل کنند. اگرچه سیستمهای خودمختار را میتوان برای تطبیق تعداد بیشتری از وظایف تعاملی و پیچیده بزرگتر کرد اما قابلیتهای انسانی ثابت است. فشار برای سرعت بخشیدن به تفسیر و تجزیه و تحلیل انسانی منجر به تصمیم گیری های کمتر متفکرانه و مستعد خطا می شود. در عین حال بدون تسریع در فرآیند تصمیم گیری انتخاب اقدامات در یک محیط سریع منسوخ خواهد شد.در درگیریهای آتی که مشخصه آن قطع شدن یا عدم وجود ارتباطات بین واحدها است که اکثر ناظران انتظار دارند در جنگ بین ایالات متحده و چین با توجه به توانایی هر یک از طرفها برای هدفگیری ماهوارهها و هک یا مسدود کردن طیف الکترومغناطیسی چنین باشد فرماندهان و پرسنل منفرد در این میدان ممکن است به خوبی از نظارت و پشتیبانی سطح بالاتر قطع شود. به عنوان مثال مفهوم تفنگداران دریایی معروف به “نیروهای ایستاده” را در نظر بگیرند که برای واحدهای رزمی کوچک و بسیار متحرک طراحی شده اند. نیروهای مستقر به عنوان گروه های کوچک پرسنل توزیع شده در جزایر و سرزمین های اقیانوس آرام، در محدوده تسلیحات چینی عمل خواهند کرد. برای زنده ماندن آنها باید امضاهای الکترومغناطیسی خود را به حداقل برسانند واحدهای انتشار فرکانس رادیویی با استفاده از رادارها یا وسایل ارتباطی تولید می کنند که دشمن می تواند از آنها برای شناسایی و حمله به آنها سوء استفاده کند. این بدان معنی است که نیروهای مستقر اغلب مجبور می شوند ارتباطات خود را خاموش کنند تا پنهان شوند و آنها را مجبور به تصمیم گیری بدون ورودی خارجی و تنها با استفاده از داده هایی که خودشان جمع آوری می کنند می کنند. در این شرایط پرسنل صرفاً به این دلیل که انسان هستند زمینه غنیتری نخواهند داشت.سیاستگذاران و رهبران نظامی پیشنهاد کردهاند که استفاده یا پیچیدگی سیستمهای خودمختار را برای تطابق با سرعت انسان کاهش داده و کاهش دهید. تنها کاری که انجام می دهد این است که پاسخ آهسته تری ارائه می دهد. سایر طرفداران کنترل بیشتر انسانی اهمیت آموزش بهتر اپراتور را تمجید می کنند. این فقط می تواند دستاوردهای حاشیه ای داشته باشد زیرا سیستم های هوش مصنوعی به طور فزاینده ای از حد قدرت شناختی انسان فراتر می روند در حالی که میزان داده های تولید شده به طور تصاعدی افزایش می یابد.مقامات ارشد دفاعی ایالات متحده در بیانیههای عمومی خود استدلال میکنند که سیستمهای هوش مصنوعی نظامی به جای اقدام مستقیم باید فقط پیشنهاد دهند. اگرچه تصور اینکه چگونه هواپیماهای بدون سرنشین برای مثال چگونه میتوانند به طور مستقل به اهداف خود سفر کنند و تنها در صورتی که انسانها به آنها دستور دهند درگیر شوند، آسان است اما این موضوع نحوه عملکرد واقعی جنگهای مجهز به هوش مصنوعی را رد میکند. درگیری در اوکراین نشان داده است که با افزایش وسایل نقلیه هوایی بدون سرنشین سیستمهایی نیز برای ایجاد اختلال در ارتباط با اپراتورها وجود دارد. این امر اوکراینی ها را مجبور کرده است که سطوح رو به رشدی از خودمختاری واقعی را در آغوش بگیرند.همانطور که برخی پیشنهاد می کنند نمی توان به راحتی کاربردهای تهاجمی در مقابل تدافعی را برای سلاح های خودمختار کشنده تفکیک کرد و فقط به استقلال واقعی برای دفاع از خود اجازه داد. همانطور که استراتژیست های نظامی از زمان ژنرال پروس کارل فون کلاوزویتز مشاهده کرده اند یک دفاع تاکتیکی می تواند از یک حمله عملیاتی پشتیبانی کند یا یک حمله تاکتیکی یک دفاع عملیاتی.
ایجاد اعتماد
به همه این دلایل توصیههای سیاستی مبتنی بر توانایی انسان برای کنترل سلاحهای خود مختار در بهترین حالت تسکیندهنده هستند. آنها ممکن است به همه احساس امنیت کنند که سلاح ها هرگز به خودی خود شلیک نمی کنند اما همچنین پیروزی نیروهای نظامی را دشوارتر می کنند و سخت ترین سؤالات اخلاقی و عملی را به پرسنل خط مقدم با کمترین زمان و کمترین منابع برای تصمیم گیری واگذار می کنند. سیاستگذاران باید به جای ایجاد توهمات آرامش بخش، رویکردی واقع بینانه به سیستم های تسلیحاتی خودگردان را در پیش گیرند رویکردی که حتی ممکن است اخلاقی تر باشد.برای انجام این کار، دولتها ابتدا باید اطمینان حاصل کنند که تصمیمهای کلیدی انسانی مانند تصمیمهای مربوط به تناسب و تبعیض نه در زمان جنگ، که زمانی برای فکر کردن وجود ندارد بلکه در زمان صلح زمانی که نظرات کارشناسان بحثهای دموکراتیک و بالا گرفته میشود اتخاذ شود. نظارت در سطح امکان پذیر است. هدف از بین بردن کنترل و مسئولیت پذیری انسانی نیست بلکه اطمینان از اینکه آنها با منابع مناسب و در زمان مناسب اعمال می شوند نه در زمان جنگ زمانی که ممکن است به قیمت یک نبرد تمام شود.دولت ها همچنین باید بپذیرند که حتی پیچیده ترین سیستم هوش مصنوعی نیز همیشه درست نخواهد بود. کاهش تأثیر شکست ها با تشخیص زودهنگام آنها و یادگیری از آنها برای تکامل سیستم بسیار مهم است تا عملی و اخلاقی باقی بماند. با توجه به اینکه انسانها نمیتوانند بر این سیستمها در زمان جنگ نظارت کنند ارتشها به سیستمهای پلیسی کمکی سریع، سبک و متنوعی نیاز دارند، مانند سیستمهایی که برای تشخیص نقض قوانین رانندگی توسط وسایل نقلیه خودران یا سخنان مشوق نفرت در تولیدکنندگان متن پدیدار میشوند. و هم پیمانکاران دفاعی و هم ارتش باید رویههایی را ایجاد کنند تا از شکستها درس بگیرند یعنی بررسی حوادث، تعیین مسئولیت و هدایت تکامل سیستم.در نهایت پیمانکاران دفاعی و ارتش باید اکنون اعتماد خود را به سیستمهای خودمختار ایجاد کنند. با ارائه شواهدی مبنی بر اینکه سیستمهای فعلی مطابق انتظار کار میکنند میتوانند راه را برای عملیات جنگی با سرعت ماشینها در آینده هموار کنند. یک سیستم غیرقابل اعتماد به مداخله انسانی بیشتری نیاز دارد و سرعت آن را کاهش می دهد. ارتش برای ایجاد اعتماد در سیستم های سنتی روش های آزمایش و ارزیابی بالغ دارد. با این حال سیستمهای مستقل مجهز به هوش مصنوعی بهطور چشمگیری متفاوت از سیستمهای قبلی ساخته شدهاند و بنابراین برای ایجاد اعتماد به اشکال جدیدی از شواهد نیاز دارند. آنها توسط توسعه دهندگان از طریق قوانین تصمیم گیری منطقی برنامه ریزی نشده اند. درعوض برای پیادهسازی آنچه به میلیونها قانون نیاز دارد این سیستمهای جدید آموزش میبینند که چگونه ورودیها و خروجیهای مورد انتظار را در یک مجموعه داده ترسیم کنند. این تغییر پارادایم در سیستم سازی مستلزم اشکال جدیدی از شواهد است. داده ها برای آموزش یک مدل هوش مصنوعی باید به وضوح ورودی های دنیای واقعی را که سیستم در هنگام استفاده از آن در نبرد دریافت می کند، منعکس کند. باید از یک منبع معتبر سرچشمه گرفته و به روز باشد. سیستم باید مجموعه ای از بررسی های تضمین کیفیت را برای اطمینان از پایبندی به اهداف عملی و اصول اخلاقی انجام دهد. در نهایت با توجه به عدم شفافیت این سیستم ها برای درک انسان آنها همچنین باید شواهد توضیحی برای حسابداری اقدامات خود ارائه دهند.در دهههای آینده ایالات متحده به طور فزایندهای به سیستمهای تسلیحاتی خودمختار مجهز به هوش مصنوعی در جنگ تکیه خواهد کرد. ایجاد این توهم که انسانها میتوانند این سیستمها را در حالی که جنگ ادامه دارد کنترل کنند دستهای کشورهای دموکراتیک را در برابر دشمنانی که فاقد چنین رفتارهایی هستند میبندد. همچنین به طور بالقوه منجر به تصمیمات اخلاقی کمتری می شود زیرا این تصمیمات را به زمان جنگ واگذار می کنند اما تضمین می کند که تحت بیشترین فشار ممکن زمانی که هیچ تصمیم واقعی امکان پذیر نیست گرفته می شود. دولت ها باید در حال حاضر ورودی های انسانی را به سیستم ها متصل کنند سپس آن سیستم ها را پلیس و بهبود بخشند و با پشتکار اعتماد کاربران را ایجاد کنند در غیر این صورت میل به کنترل انسان بر هوش مصنوعی نظامی بیش از آنکه نجات دهد به قیمت جان انسان ها تمام خواهد شد.