روزنامه گاردین، 6 فروردین 1404، «کوین تی.بیکر» (Kevin T Baker):
هوش مصنوعی مقصر بمباران مدرسه در ایران شناخته شد، اما حقیقت بسیار نگرانکنندهتر است.[1]
پوشش خبری درباره مدلهای زبانی سرکش و بیرحم، غالب بود، اما هیچ ارتباطی با هدف قرار دادن مدرسه نداشت. انتخابهای انسانها در طول سالیان متمادی بود که این فاجعه را به بار آورد.
«هیاهوی فناوری» به عنوان بهترین راه گریز از مسئولیت
در اولین صبح عملیات خشم حماسی، ۲۸ فوریه ۲۰۲۶، نیروهای آمریکایی به دبستان شجره طیبه در میناب، در جنوب ایران، حمله کردند و حداقل دو بار به ساختمان آن ضربه زدند. نیروهای آمریکایی بین ۱۷۵ تا ۱۸۰ نفر را کشتند که بیشتر آنها دخترانی بین هفت تا ۱۲ سال بودند.
ظرف چند روز، سوالی که پوشش خبری را سازماندهی میکرد این بود که آیا «کلود» (Claude)، یک چتبات ساخته شده توسط شرکت «آنتروپیک» (Anthropic)، مدرسه را به عنوان هدف انتخاب کرده است یا خیر. کنگره در مورد میزان استفاده از هوش مصنوعی در حملات، به پیت هگست، وزیر جنگ ایالات متحده، نامه نوشت. مجله نیویورکر پرسید که آیا میتوان به کلود اعتماد کرد که در نبرد از دستورات اطاعت کند، آیا ممکن است به عنوان استراتژی حفظ خود به باجگیری متوسل شود و آیا نگرانی اصلی پنتاگون باید این باشد که چتبات شخصیت داشته باشد. تقریباً هیچ یک از این موارد هیچ ارتباطی با واقعیت نداشت. هدفگیری در عملیات خشم حماسی بر روی سیستمی به نام مِیون (Maven) اجرا میشد، اما هیچ کس در مورد مِیون بحث نمیکرد.
هشت سال پیش، پروژه «Maven» جنجالیترین پروژه در سیلیکون ولی بود. در سال ۲۰۱۸، بیش از ۴۰۰۰ کارمند گوگل نامهای را امضا کردند که در آن به قرارداد این شرکت برای ساخت هوش مصنوعی برای سیستمهای هدفگیری پنتاگون اعتراض داشتند. کارگران دست به اعتصاب زدند. مهندسان استعفا دادند. و گوگل در نهایت قرارداد را رها کرد. «Palantir Technologies»، شرکت تجزیه و تحلیل دادهها و پیمانکار نظامی که توسط «پیتر تیل» تأسیس شده است، آن را به دست گرفت و شش سال را صرف تبدیل «Maven» به یک زیرساخت هدفگیری کرد که تصاویر ماهوارهای، اطلاعات سیگنالی و دادههای حسگرهای مختلف را برای شناسایی اهداف جمعآوری میکند و آنها را از اولین مرحله شناسایی تا دستور حمله، در هر مرحله هدایت میکند.
ساختمان میناب در پایگاه داده «آژانس اطلاعات دفاعی» به عنوان یک تأسیسات نظامی طبقهبندی شده بود. طبق گزارش سیانان، این پایگاه داده بهروزرسانی نشده بود تا نشان دهد که این ساختمان از مجتمع مجاور سپاه پاسداران انقلاب اسلامی جدا شده و به مدرسه تبدیل شده است، تغییری که تصاویر ماهوارهای نشان میدهد حداقل در سال ۲۰۱۶ رخ داده است. بنابراین یک «چتبات» آن کودکان را نکشت؛ افرادی در بهروزرسانی پایگاه داده کوتاهی کردند و افراد دیگری سیستمی ساختند که آنقدر سریع بود که آن خطا را کشنده کرد. با شروع جنگ ایران، مِیون -سیستمی که آن سرعت را ممکن کرده بود- به بخشی از زیرساختهای نظامی تبدیل شده بود، ولی بحث بر سر کلود بود. این وسواس به کلود نوعی روانپریشی درباره هوش مصنوعی است، هرچند نه از نوعی که معمولاً در مورد آن صحبت میکنیم. استفاده از یک مدل زبانی لزوما به این معنا نیست که به آن اجازه دهید شما را به هر سمتی هدایت کند.
در سال ۲۰۱۹، مورگان ایمز، کتاب «ماشین کاریزما» را منتشر کرد، مطالعهای در مورد اینکه چگونه برخی فناوریها توجه، منابع و مسئولیت را به سمت خود جلب کرده و از هر چیز دیگری دور میکنند. چارچوب معمول برای درک این پویایی «هیاهو» است. یک فناوری کاریزماتیک، کل میدان اطراف خود را شکل میدهد و مدلهای زبانی احتمالا قدرتمندترین نمونه از این نوع در تاریخ باشند. این «هیاهو» بهترین راه گریز از مسئولیت است.
راهبرد افزایش سرعت در «زنجیره کشتار» و جایگاه آن در «توازن قوا»
زمانی که جنگ آغاز شد، «ایمنی هوش مصنوعی» و «همترازی» و «توهم» و «طوطیهای تصادفی» به اصطلاحات هر بحثی در مورد هوش مصنوعی تبدیل شده بودند و هرچه را که میتوانستیم بگوییم، ساختارمند و محدود میکردند. بدتر از آن، خود «هوش مصنوعی» مترادف با مدلهای زبانی شده بود. وقتی مدرسه بمباران شد، مردم به دنبال همین اصطلاحات بودند، اما این واژگان برای مجموعه قدیمیتر و پختهتر فناوریهای مورد استفاده در هدفگیری مناسب نبود. سوال واقعی، سوالی که تقریباً هیچکس نمیپرسید، در مورد کلود یا هیچ مدل زبانی دیگری نیست. این یک سوال بوروکراتیک در مورد اتفاقی است که برای «زنجیره کشتار» افتاده است، و پاسخ «پالانتیر» است.
به عنوان یک اصطلاح نظامی، «زنجیره کشتار» به چارچوب بوروکراتیک مراحل بین شناسایی چیزی و نابودی آن اشاره دارد. قدیمیترین اشارهای که میتوانم به خود این اصطلاح پیدا کنم مربوط به دهه ۱۹۹۰ است، اما ایده آن حداقل به دهه ۱۷۶۰ برمیگردد، زمانی که توپخانه فرانسوی، جداول محاسبات ارتفاع و رویههای استاندارد شلیک را جایگزین چشم توپچیها کردند. ارتش ایالات متحده ۸۰ سال است که این مراحل را نامگذاری و تغییر نام داده است. در جنگ جهانی دوم، این توالی عبارت بود از: یافتن، رفع نقص، درگیری، پایان دادن. در دهه ۱۹۹۰، نیروی هوایی آن را به یافتن، رفع نقص، ردیابی، هدفگیری، درگیری و ارزیابی گسترش داده بود. هر نسل از فناوری نظامی با وعده کوتاهتر کردن همه چیز در زنجیرههای کشتار -به جز کلمات- فروخته شده است.
سیستم هوشمند مِیون پالانتیر آخرین نمونه از این فشردهسازی است و از تغییر در تفکر استراتژیک در دوره دوم ریاست جمهوری اوباما نشأت گرفته است. در سال ۲۰۱۴، چاک هیگل، وزیر دفاع، و رابرت ورک، معاون او، چیزی را که آن را «استراتژی توازن سوم» مینامیدند، اعلام کردند. «توازن» در این خط فکری، این ایده است که یک مزیت فناوری میتواند ضعف استراتژیکی را که کشور نمیتواند مستقیماً آن را برطرف کند، جبران کند. دو توازن اول به یک مشکل مشابه میپرداختند: ایالات متحده نمیتوانست در نیروهای متعارف با اتحاد جماهیر شوروی برابری کند. تصور این بود که ارتش سرخ میتواند همچنان به اعزام پرسنل برای حل مشکل ادامه دهد، همانطور که در استالینگراد انجام داد، یا به عبارت دیگر، همانطور که ارتش معاصر روسیه در باخموت و آودیوکا انجام داد. سلاحهای هستهای، اولین توازن، یعنی مزیت پرسنلی را در دهه ۱۹۵۰ بیاهمیت کرد.
هنگامی که شوروی در دهه ۱۹۷۰ به برابری هستهای رسید، مهمات هدایتشونده دقیق و پنهانکار این نوید را میداد که یک نیروی کوچکتر میتواند یک نیروی بزرگتر را شکست دهد. تا سال ۲۰۱۴، این برتری در حال از بین رفتن بود. چین و روسیه دو دهه را صرف دستیابی به مهمات هدایتشونده دقیق و ساخت سیستمهای دفاعی کرده بودند که برای دور نگه داشتن نیروهای آمریکایی از برد آنها طراحی شده بود. رابرت ورک اصرار داشت که سومین توازن مربوط به هیچ فناوری خاصی نیست، بلکه مربوط به استفاده از فناوری برای سازماندهی مجدد نحوه عملکرد ارتش است و به ایالات متحده اجازه میدهد سریعتر از چین و روسیه تصمیمگیری کند و با عملیاتی سریعتر از آنچه که آنها میتوانند با آن مقابله کنند، دشمن را غافلگیر و سردرگم کند.
در آوریل ۲۰۱۷، در اوایل دولت ترامپ، ورک به ایجاد یک تیم جنگ الگوریتمی به نام «پروژه مِیون» کمک کرد. یکی از ژنرالهای ناظر بر مِیون، ژنرال جک شاناهان، مشکل را به روشنی بیان کرد: هزاران تحلیلگر اطلاعاتی ۸۰ درصد از وقت خود را صرف کارهای روزمره میکردند و غرق در فیلمهایی از پهپادهای نظارتی بودند که هیچکس وقت تماشای آنها را نداشت. یک ماموریت پهپاد پرداتور میتوانست صدها ساعت ویدیو تولید کند و تحلیلگرانی که وظیفه درک این موضوع را داشتند، با مشکل سرریز اطلاعات مواجه بودند. شاناهان گفت: «ما قرار نیست با گماردن افراد بیشتر به این مشکل، آن را حل کنیم. این آخرین کاری است که واقعاً میخواهیم انجام دهیم.» ایده اصلی این پروژه این بود که دستگاه بتواند تماشا کند تا تحلیلگر بتواند فکر کند.
پنتاگون به کسی نیاز داشت که آن را بسازد. گوگل قرارداد را پذیرفت و اعتراضاتی که بعداً اتفاق افتاد، به آشکارترین اعتراض کارگری در تاریخ سیلیکون ولی تبدیل شد. پس از آنکه گوگل قرارداد مِیون را لغو کرد، پالانتیر در سال ۲۰۱۹ آن را به دست گرفت. لشکر هجدهم هوابرد آزمایش این سیستم را در رزمایشی به نام «اسکارلت دراگون» (Scarlet Dragon) آغاز کرد که در سال ۲۰۲۰ به عنوان یک تمرین جنگی در یک زیرزمین بدون پنجره در فورت براگ آغاز شد. فرمانده آن، سپهبد مایکل اریک کوریلا، میخواست چیزی را بسازد که آن را اولین «لشکر مجهز به هوش مصنوعی» در ارتش مینامید. هدف این بود که آزمایش شود آیا این سیستم میتواند ظرفیت هدفگیری را که قبلاً به هزاران نفر نیاز داشت، به یک تیم کوچک بدهد یا خیر.
در طول پنج سال، اسکارلت دراگون به یک رزمایش نظامی با استفاده از مهمات جنگی تبدیل شد که چندین ایالت و شاخه از نیروهای مسلح را در بر میگرفت و «مهندسان مستقر در خط مقدم» از پالانتیر و سایر پیمانکاران در کنار سربازان مستقر بودند. هر بار که این رزمایش اجرا میشد، قرار بود به یک سوال مشابه پاسخ داده شود: سرعت سیستم از تشخیص تا تصمیمگیری چقدر است؟ معیار، حمله به عراق در سال ۲۰۰۳ بود، جایی که تقریباً ۲۰۰۰ نفر در کل جنگ فرآیند هدفگیری را انجام دادند. در طول رزمایش اسکارلت دراگون، ۲۰ سرباز با استفاده از مِیون همین حجم کار را انجام دادند. تا سال ۲۰۲۴، هدف اعلام شده ۱۰۰۰ هدفگیری در یک ساعت بود. این یعنی ۳.۶ ثانیه برای هر تصمیم، یا از دیدگاه «هدفگیرنده»، یک تصمیم در هر ۷۲ ثانیه.
سیستم هوشمند مِیون پلتفرمی است که از دل آن رزمایشها بیرون آمد، و این سیستم است، نه کلود، که برای تولید «بستههای هدف» در ایران استفاده میشود. در مورد آنچه یک غیرنظامی مانند من میتواند در مورد این سیستم بداند محدودیتهایی وجود دارد، اما میتوانیم اطلاعات زیادی کسب کنیم. آنچه در ادامه میآید بر اساس اطلاعات عمومی موجود است که از دموهای محصولات پالانتیر، کنفرانسها و همچنین مطالب آموزشی تولید شده برای کاربران نظامی گردآوری شده است.
آنچه از «مِیون» میدانیم
رابط کاربری «Maven» شبیه یک نسخه نظامی از نرمافزار مدیریت پروژه شرکتی است که با یک برنامه نقشهبرداری ترکیب شده است. آنچه تحلیلگر نظامی که لیست اهداف را ایجاد میکند، میبیند، یا نقشهای لایهبندی شده با دادههای اطلاعاتی است یا صفحهای تقسمشده به ستونهایی است که هر کدام مرحلهای از فرآیند هدفگیری را نشان میدهند. اهداف منفرد با پیشرفت در هر مرحله، از چپ به راست در ستونها حرکت میکنند، فرمتی که از «Kanban»، یک سیستم گردش کار در حوزه تولید که در تویوتا توسعه داده شده است، گرفته شده و اکنون به طور گسترده در توسعه نرمافزار استفاده میشود.
قبل از «Maven»، اپراتورها به طور همزمان در هشت یا نه سیستم جداگانه کار میکردند، دادهها را از یکی میگرفتند، در دیگری به هم ارجاع میدادند و تشخیصها را به صورت دستی بین پلتفرمها جابجا میکردند تا اطلاعات و مجوزهای لازم برای هر حمله را جمعآوری کنند. «Maven» همه اینها را در یک رابط واحد ادغام میکند. کامرون استنلی، مدیر ارشد دیجیتال و هوش مصنوعی پنتاگون، آن را «لایه انتزاعی» نامید، یک اصطلاح رایج در مهندسی نرمافزار، به معنای سیستمی که پیچیدگی پشتصحنه را پنهان میکند. انسانها هدفگیری را اجرا میکنند، اما در پشتصحنه، سیستمهای یادگیری ماشینی تصاویر ماهوارهای و دادههای حسگر را برای شناسایی و طبقهبندی اشیاء تجزیه و تحلیل میکنند و هر شناسایی را بر اساس میزان اطمینان سیستم از درست بودن آن امتیاز میدهند. سه کلیک، یک داده روی نقشه را به یک تشخیص رسمی تبدیل میکند و آن را به یک خط لوله هدفگیری منتقل میکند. سپس این اهداف از طریق ستونهایی که نشاندهنده فرآیندهای تصمیمگیری و قوانین مختلف درگیری هستند، حرکت میکنند. سیستم توصیه میکند که چگونه به هر هدف حمله شود و از کدام هواپیما، پهپاد یا موشک استفاده شود. افسر مسئول از بین گزینههای رتبهبندیشده انتخاب میکند و سیستم، بسته به اینکه چه کسی از آن استفاده میکند، یا بسته هدف را برای تأیید به مسئول مربوطه ارسال میکند یا آن را برای اجرا آماده میکند.
هوش مصنوعی در این فرآیند، یک مدل زبانی نیست، یا حداقل مدل زبانی چیزی نیست که اهمیت دارد. فناوریهای اصلی همان سیستمهای پایهای هستند که چهره شما را در عکس تشخیص میدهند یا به یک ماشین خودران اجازه میدهند دوربین، رادار و سایر سنسورهای خود را در یک تصویر واحد از جاده ترکیب کند. همان فناوری در اینجا برای فیلمبرداری پهپادها، رادارها و تصاویر ماهوارهای از اهداف نظامی اعمال میشود. آنها سالها قبل از مدلهای زبانی بزرگ وجود داشتهاند. نه کلود و نه هیچ مدل زبانی دیگری اهداف را شناسایی، رادار را پردازش، دادههای حسگر را ترکیب یا سلاحها را با اهداف هماهنگ نمیکند. مدلهای زبانی، جدیدترین موارد اضافه شده به سیستم پالانتیر هستند.
در اواخر سال ۲۰۲۴، سالها پس از عملیاتی شدن سیستم اصلی، پالانتیر یک لایه مدل زبانی -همان کلود- را به سیستم خود اضافه کرد که به تحلیلگران اجازه میدهد گزارشهای اطلاعاتی را به زبان انگلیسی ساده جستجو و خلاصه کنند. اما مدل زبانی هرگز چیزی نبود که در مورد این سیستم اهمیت داشته باشد. آنچه مهم بود کاری بود که مِیون با فرآیند هدفگیری انجام داد: سیستمها را تجمیع و زمان را فشرده کرد و نیروی انسانی را کاهش داد. این ایده جدیدی نیست. ارتش آمریکا از زمانی که این شکاف وجود داشته، تلاش کرده است تا شکاف بین دیدن چیزی و نابود کردن آن را از بین ببرد و هر تلاشی به همان شکست منجر شده است. شاید مِیون حتی افراطیترین مورد هم نباشد.
مشکل کجاست؟ نگاهی به سابقه سیستمهای هدفگیری
در اواخر دهه ۱۹۶۰، ایالات متحده با نسخهای از همین مشکل در ویتنام روبرو شد. تدارکات در امتداد مسیر «هوشی مین» از طریق جنگلی که ارتش نمیتوانست آن را ببیند، به سمت جنوب حرکت میکردند. راهحل، عملیات «ایگلو وایت» بود، یک برنامه با هزینه ۱ میلیارد دلار در سال که ۲۰ هزار حسگر صوتی و لرزهای را در امتداد مسیر پراکنده میکرد. این حسگرها دادهها را برای رله کردن به هواپیماهای بالای سرشان منتقل میکردند که سیگنالها را به رایانههای IBM 360 در پایگاه هوایی ناخون فانوم در تایلند منتقل میکردند. رایانهها دادههای حسگر را تجزیه و تحلیل کرده و پیشبینی میکردند که کاروانها کجا خواهند بود و هواپیماهای تهاجمی به آن مختصات هدایت میشدند.
این سیستم میتوانست حس کند اما نمیتوانست ببیند. میتوانست لرزش را تشخیص دهد اما نمیتوانست کامیون را از ارابه تشخیص دهد. ویتنامیهای شمالی این را فهمیدند. آنها صدای ضبط شده موتور کامیونها را پخش میکردند، حیوانات را در نزدیکی حسگرها جمع میکردند تا تشخیص لرزش را فعال کنند و سطلهای ادرار را در درختان آویزان میکردند تا آشکارسازهای شیمیایی را به کار بیندازند. این سیستم میتوانست فریب بخورد زیرا هیچ کس در این فرآیند نمیتوانست به آنچه حس میکرد نگاه کند. نیروی هوایی ادعا کرد که در طول این عملیات ۴۶۰۰۰ کامیون نابود یا آسیب دیدهاند. سازمان سیا گزارش داد که این ادعاها برای یک سال از تعداد کل کامیونهایی که گمان میرود در کل ویتنام شمالی وجود داشته باشد، فراتر رفته است! خروجی خود سیستم تنها معیار عملکرد آن بود و هیچ کس خارج از سیستم نمیتوانست آن را به چالش بکشد. برنارد نالتی، مورخ نیروی هوایی، بعداً محاسبات تلفات این سرویس را «تمرینی در متافیزیک به جای ریاضیات» نامید و همکارش ارل تیلفورد نتیجه گرفت که «نیروی هوایی فقط در فریب دادن خود موفق شد».
الگویی که در ویتنام اجرا شد – یک سیستم هدفگیری که فقط میتوانست عملکرد خود را اندازهگیری کند و در نهایت به خروجی خود باور داشت – در واقع قدیمیتر از محاسبات دیجیتال است. کتاب مایکل شری در سال ۱۹۸۷ با عنوان «ظهور قدرت هوایی آمریکا» آن را به دکترین بنیانگذار بمباران دقیق نسبت میدهد، که اعتماد آن به روشهای خود، بررسی آنچه آن روشها تولید میکردند را غیرضروری میکرد. شری نوشت: «باور به موفقیت، عدم دقت در مورد چگونگی دستیابی به آن را تشویق میکرد.» تا سال ۱۹۴۴، تحلیلگران عملیات در دو سوی اقیانوس اطلس، بمباران را با زبان مشترک بهرهوری صنعتی اندازهگیری میکردند . غیرنظامیانی که خانههای آنها بمباران میشد، به عنوان «خانهزدایی شده» ثبت میشدند. تحلیلگران برای هر تن بمبی که انداخته میشد، محاسبه میکردند که چند ساعت از کار دشمن را نابود کرده است. یک ارزیابی بریتانیایی، خود بمبافکن را به عنوان یک دارایی سرمایهای در نظر میگرفت: یک سورتی پرواز علیه یک شهر آلمانی، هزینه ساخت هواپیما را از بین میبرد و همه چیز پس از آن «سود آشکار» بود. شری این طرز فکر را «تعصب تکنولوژیک» نامید.
نکته شری این نبود که کسی تخریب را انتخاب کرده است، بلکه این بود که افرادی که تکنیک بمباران را اصلاح میکردند، دیگر نمیپرسیدند که بمباران برای چیست. اما حتی پیش از آنکه تحلیلگران عملیات به مسأله هدفگیری بپردازند، این منطق در حال شکلگیری بود. همانطور که ویلیام توماس، مورخ علم، استدلال کرده است، تحلیلگران عملیات این منطق را بر ارتش تحمیل نکردند؛ ارتش از قبل در حال تبدیل تجربه عملیاتی به رویه سیستماتیک بود و دههها این کار را انجام داده بود. قضاوتها دیگر در مورد این نبود که آیا بمباران هدف استراتژیکی را دنبال میکند یا خیر، بلکه در مورد چگونگی اندازهگیری آن و چگونگی بهینهسازی پیرامون آن اندازهگیریها بود.
کارل فون کلاوزویتس، ژنرال پروسی قرن نوزدهم که نوشتههایش همچنان پایه و اساس تفکر نظامی غرب است، برای هر چیزی که بهینهسازی از قلم میاندازد، واژهای داشت. او آن را «اصطکاک» مینامید، انباشت عدم قطعیت، خطا و تناقض که تضمین میکند هیچ عملیاتی طبق برنامه پیش نمیرود. اما اصطکاک همچنین جایی است که قضاوت شکل میگیرد. کلاوزویتس مشاهده کرد که بیشتر اطلاعات نادرست است و گزارشها با یکدیگر متناقض هستند. فرماندهی که این شرایط را پشت سر گذاشته است، یاد میگیرد که چگونه چشم با تاریکی سازگار میشود، نه با دریافت نور بهتر، بلکه با ماندن به اندازه کافی برای استفاده از نوری که وجود دارد. این «ماندن» چیزی است که زمان میبرد. اصطکاک با کوتاه کردن زمان از بین نمیرود، بلکه شما دیگر متوجه آن نمیشوید. کلاوزویتس این نوع برنامهریزی را «جنگ روی کاغذ» مینامید. اینکه طرحی بدون مقاومت پیش میرود، به این دلیل نیست که هیچ مقاومتی وجود ندارد، بلکه به این دلیل است که هر چیزی که طرح را به دنیای واقعی متصل میکند، حذف شده است.
نیروی هوایی به طور منحصر به فردی در برابر این موضوع آسیبپذیر است. خلبان هرگز نمیبیند که بمب به چه چیزی برخورد میکند. تحلیلگر از تصاویر، مختصات و پایگاههای داده استفاده میکند. کل این فرآیند توسط بازنماییهای هدف انجام میشود، نه خود هدف، به این معنی که شکاف بین دادهها و واقعیت میتواند بدون اینکه کسی آن را حس کند، گسترش یابد. حمله به عراق در سال ۲۰۰۳، عملیاتی که بعدها «اسکارلت دراگون» به عنوان معیار آزمایش «مِیون» از آن استفاده کرد، نمونهای از این مورد بود. مارک گارلاسکو، رئیس «واحد هدفگیری با ارزش بالا» در پنتاگون در طول حمله، سریعترین چرخه هدفگیری را که ایالات متحده تا آن زمان انجام داده بود، اجرا کرد. او ۵۰ حمله به رهبران ارشد عراق را توصیه کرد. بمبها دقیق بودند و دقیقاً به جایی که هدف قرار گرفته بودند، اصابت کردند، اما اطلاعات پشت آنها دقیق نبود. هیچ یک از ۵۰ حمله، هدف مورد نظر را نکشت. دو هفته پس از حمله، گارلاسکو به عراق رفت و در یکی از مکانهایی که خودش هدف قرار داده بود، ایستاد. او بعداً گفت: «اینها فقط اهداف بینام و بیچهره نیستند.» «اینجا جایی است که مردم پیامدهای آن را برای مدت طولانی احساس خواهند کرد.» چرخه هدفگیری آنقدر سریع بود که متوجه نشد به ساختمانهای اشتباه حمله کرده است.
راهنمای هدفگیری نیروی هوایی، که در طول جنگ عراق در عمل اجرا میشد، میگفت که این هرگز قرار نبود اتفاق بیفتد. این راهنما که در سال ۱۹۹۸ منتشر شد، شش کارکرد هدفگیری را «درهمتنیده» توصیف میکرد، به این صورت که هدفگیرنده برای اصلاح اهداف «به عقب» و برای ارزیابی امکانپذیری «به جلو» حرکت میکرد. در این راهنما آمده بود: «بهترین تحلیل، تفکر منطقی با حقایق و نتیجهگیری است، نه یک چکلیست.» اما جان لیندسی، که به عنوان افسر اطلاعات نیروی دریایی در کوزوو خدمت میکرد و بعداً هدفگیری عملیات ویژه در عراق را مطالعه کرد، چیز متفاوتی یافت. هنگامی که یک هدف در یک اسلاید پاورپوینت -یا بسته اطلاعاتی هدف- تجسم مییافت، به یک جعبه سیاه تبدیل میشد و با افزایش سرعت حمله، زیر سوال بردن فرضیات پشت آن دشوارتر میشد. ماشینآلات بیشتری برای ساختن اهداف وجود داشت تا برای بررسی کیفیت آنها. پرسنل تمایلی به پرسیدن این سوال نداشتند که آیا برخی از اهداف متحدان بالقوه هستند یا اصلاً افراد بدی نیستند، زیرا صرف «تولید هدف» به معنای مشارکت در حمله بود. راهنمای هدفگیری نیز در مورد این موضوع هشدار داده بود. در آن آمده بود: «اگر هدفگیرندگان خدمات هدفگیری کامل ارائه ندهند، گروههای دیگری که نیت خیر دارند اما آموزش ندیده و بیتجربه هستند، وارد عمل خواهند شد.» در نهایت، میون این کار را کرد.
کتاب «فناوری اطلاعات و قدرت نظامی» نوشته لیندسی، دقیقترین مطالعهای است که من در مورد چگونگی عملکرد هدفگیری پیدا کردهام، حداقل تا حدی به این دلیل که توسط کسی نوشته شده که واقعاً این کار را انجام داده است. در طول جنگ هوایی کوزوو، ژنرال وسلی کلارک ۲۰۰۰ هدف را درخواست کرد که توجیه ارتباط هر هدف با دولت میلوشویچ را آسان میکرد. سیا در کل جنگ فقط یک هدف را معرفی کرد: اداره فدرال تأمین و تدارکات. تحلیلگران آدرس خیابان را داشتند اما مختصات را نداشتند، بنابراین سعی کردند از طریق مهندسی معکوس، مکانی را از سه نقشه قدیمی پیدا کنند. آنها در نهایت به سفارت چین – که اخیراً نقل مکان کرده بود – در ۳۰۰ متری ساختمانی که هدفشان بود حمله کردند. وزارت امور خارجه میدانست که سفارت نقل مکان کرده است ولی پایگاه داده تأسیسات ارتش این را نمیدانست. بررسیهای هدف متوجه نشدند، زیرا هر اعتبارسنجی به آخرین اعتبارسنجی متکی بود. لیندسی این را «گزارشدهی دایرهای» مینامد: انباشتی از اسناد پشتیبان که «توهم اعتبارسنجیهای متعدد» را ایجاد میکرد و در عین حال یک خطای واحد را تقویت میکرد. به نظر میرسید اسلاید پاورپوینت به خوبی صدها اسلاید دیگری که ناتو بدون هیچ حادثهای به آنها حمله کرده بود، بررسی شده است. در شب حمله، یک تحلیلگر اطلاعاتی با ستاد فرماندهی تماس گرفت تا ابراز تردید کند. وقتی از او به طور خاص در مورد خسارات جانبی پرسیده شد، نتوانست نگرانی خود را بیان کند. حمله ادامه یافت. در این حمله سه روزنامهنگار چینی کشته شدند. لیندسی، در آن زمان در دفتر خاطرات خود نوشت که نتیجه، «یک خطای عظیم، کاملاً بررسی شده» بود.
در سال ۲۰۰۵، سرهنگ دوم جان فایف از نیروی هوایی ایالات متحده، مطالعهای در مورد «هدفگیری حساس به زمان» در طول تهاجم ۲۰۰۳ منتشر کرد. فایف روشهای مختلف برخورد نیروهای بریتانیا و ایالات متحده با این چالش را برجسته کرد. در مرکز عملیات هوایی مشترک، افسران نیروی هوایی انگلیس در کنار همتایان آمریکایی خود در سمتهای کلیدی خدمت میکردند. آنها تحت قوانین درگیری محدودتری عمل میکردند. فایف خاطرنشان کرد که «شخصیتهای محتاطتر و محافظهکارتر» انگلیسیها چیزی را ایجاد کرد که او آن را «تأثیر تعدیلکننده بسیار مثبتی بر سرعت گاهاً شتابزده و آشفته عملیات تهاجمی» نامید. تضاد بین شیفتها قابل مشاهده بود: رهبران آمریکایی با تمام قوا به پیش میرفتند، در حالی که افسران بریتانیایی قبل از تأیید اجرا، به طور روشمند، ریسک و موازنه هزینه-فایده را بررسی میکردند. در شیفتهای تحت رهبری بریتانیا، هیچ حادثه خودزنی و خسارت جانبی قابل توجهی وجود نداشت. فایف خاطرنشان میکند که در موارد متعدد، افسران بریتانیایی مانع از پیشروی عملیات میشدند. آنچه نسل بعدی به عنوان «تأخیر» بین شناسایی یک هدف و حمله به آن اندازهگیری میکردند، دریچهای بود که در آن اشتباهات کشف میشد.
در چارچوب کارایی، ویژگیهایی که فایف توصیف میکند، به عنوان نقص شناخته میشود. شیفتهای بریتانیا کندتر بودند. قوانین محدودکننده درگیری، محدودیتها را افزایش میداد. همچنین استدلال میشود که سرعت، جان انسانها را نجات میدهد، اما سریعترین چرخه هدفگیری قبل از «مِیون» چرخه گارلاسکو بود و 50 ساختمان را بدون برخورد به حتی یک هدف مورد نظر، هدف قرار داد. پس از رزمایش اسکارلت دراگون همه اینها از بین رفت: اختلاف نظرها در مورد هدفگیری متوقف شد. همچنین مشورت، تردید و لحظاتی که کسی وقت اعتراض داشت یا متوجه میشد چیزی اشتباه است، دیگر وجود ندارد.
گریز از «تفسیر»، اعتماد به «اعداد» و پنهانشدن در «هیاهوی فناوری»
سازمانهایی که بر اساس رویههای رسمی اداره میشوند، به فردی درون فرآیند نیاز دارند تا قوانین را تفسیر کند، استثنائات را متوجه شود و تشخیص دهد که چه زمانی دستهبندیها با موردی خاص مطابقت ندارند. اگر سازمان بپذیرد که نتایج آن به صلاحدید افرادی که آن را اجرا میکنند بستگی دارد، آنگاه رویه دیگر یک رویه نیست، بلکه یک پیشنهاد است و اقتداری که سازمان از ظاهر قانونمحور خود به دست میآورد، فرو میریزد. بنابراین قضاوت باید اتفاق بیفتد ولی در عین حال باید شبیه چیز دیگری باشد؛ باید شبیه پیروی از رویه به نظر برسد، نه تفسیر آن.
من این موضوع را «محدودیت دوگانه بوروکراتیک» مینامم: سازمان نمیتواند بدون قضاوت عمل کند، و نمیتواند قضاوت را بدون تضعیف خود و «سیاسی» به نظرآمدن بپذیرد. یک راه حل برای این مشکل جایگزینی قضاوت با یک عدد است. تئودور پورتر، مورخ علم، در کتاب خود در سال ۱۹۹۵ با عنوان «اعتماد به اعداد»، استدلال کرد که سازمانها قوانین کمی را نه به این دلیل که اعداد دقیقتر هستند، بلکه به این دلیل که قابل دفاعتر هستند، اتخاذ میکنند. قضاوت از نظر سیاسی آسیبپذیر است. قوانین اینطور نیستند. «رویه» وجود دارد تا اختیار را از بین ببرد، یا به نظر برسد که از بین میبرد. انعطافپذیری واقعی سیستم در این سازکار تفسیری ناشناخته وجود دارد، و هر کسی که آن را با ناکارآمدی اشتباه میگیرد، میتواند آن را حذف کند.
در سال ۱۹۸۴، مورخی به نام دیوید نوبل نشان داد که وقتی ارتش ایالات متحده و تولیدکنندگان آمریکایی کارخانههای خود را خودکار کردند، پیوسته سیستمهایی را انتخاب میکردند که کندتر و گرانتر بودند، اما تصمیمگیری را از کارگران گرفته و به مدیریت منتقل میکردند. مقصود، کارایی نبود، بلکه کنترل بود. کارگری که درک میکند چه کاری انجام میدهد، میتواند قضاوتی را اعمال کند که ساختار بر آن کنترل ندارد. این «درک» را به سیستم منتقل کنید، و کارگر کاری جز پیروی از دستورالعملها ندارد. «الکس کارپ» مدیرعامل پالانتیر، دقیقاً این دستاورد را در کتاب ۲۰۲۵ خود به نام «جمهوری فناوری» توصیف میکند. او مینویسد: «نرمافزار اکنون در رأس امور است و سختافزار به عنوان وسیلهای عمل میکند که توصیههای هوش مصنوعی در جهان از طریق آن اجرا میشود.» مدل او برای اینکه این امر چگونه باید باشد، از طبیعت گرفته شده است: دستههای زنبور عسل و زمزمههای سارها . کارپ مینویسد: «هیچ واسطهای برای اطلاعات جمعآوریشده توسط پیشاهنگان پس از بازگشت به کندو وجود ندارد.» سارها به هیچ اجازهای از بالا نیاز ندارند، آنها «هیچ گزارش هفتگی به مدیریت میانی، هیچ ارائهای به رهبران ارشدتر، هیچ جلسه یا کنفرانس تلفنی برای آماده شدن برای جلسات دیگر» نمیخواهند. این به نظر رهاییبخش و حتی آرمانشهری میآید، اما سیگنالی که بدون واسطه منتقل میشود، سیگنالی است که هیچکس نمیتواند آن را زیر سوال ببرد.
کارپ فکر میکند که دارد بوروکراسی را نابود میکند. او دارد آن را کدگذاری میکند. تحقیر جلسات و گزارشهای هفتگی و ارائهها به رهبران ارشد؛ او با اینها به عنوان خودِ فرآیند بوروکراتیک رفتار میکند، در صورتی که فرآیند بوروکراتیک این چیزها نیست. چیزی که کارپ تحقیرش میکند سازکاری است که انسانها در آن رویه را تفسیر میکردند، جایی که کسی میتوانست متوجه شود چه زمانی دستهبندیها دیگر با پرونده مطابقت ندارند. دکترین هدفگیری هنوز وجود دارد. آنها اکنون ستونهایی روی یک تخته گردش کار هستند، مراحلی که یک هدف در مسیر خود برای هدف قرار گرفتن از آنها عبور میکند. چیزی که کارپ حذف کرد، اختیاری بود که سازمان هرگز نمیتوانست بپذیرد که به آن وابسته است. آنچه باقی میماند، بوروکراسیای است که میتواند قوانین خود را اجرا کند اما کسی برای تفسیر آنها باقی نمانده است. بوروکراسی کدگذاری شده در نرمافزار خم نمیشود، خرد میشود.
«بسته اطلاعات هدف» مدرسه شجره طیبه را به عنوان یک مرکز نظامی معرفی میکرد. «لوسی ساچمن» که کتابش با عنوان «طرحها و اقدامات موقعیتی» در سال ۱۹۸۷ منتشر شد، همچنان تیزبینانهترین روایت از این است که چگونه فرآیندهای صوری، کاری را که در واقع نتایج را تولید میکند پنهان میکنند. طرحها همیشه پس از اجرا کامل به نظر میرسند. آنها با فیلتر کردن هر چیزی که برای دستهبندیهایشان خوانا نیست، به کمال میرسند. این «بسته اطلاعات» مانند هر «بسته اطلاعات» دیگری به نظر میرسید. اما خارج از «بسته اطلاعات»، مدرسه در فهرست مشاغل ایران آشکارا مدرسه بود. حتی در نقشههای گوگل قابل مشاهده بود. یک موتور جستجو میتوانست آن را پیدا کند. هیچ کس جستجو نکرد. با ۱۰۰۰ تصمیم در ساعت، هیچ کس قرار نبود آن را پیدا کند. یک مقام ارشد سابق دولتی این سوال واضح را پرسید: «این ساختمان سالها در فهرست اهداف بود. با این حال، این مورد از قلم افتاد و سوال این است که چگونه.» واقعا چگونه؟
کنگره مجوز این جنگ را نداد. در عرض دو هفته، نیروهای آمریکایی به ۶۰۰۰ هدف حمله کردند. مدرسه یکی از آنها بود. نیروهای آمریکایی تقریباً ۲۰۰ نفر را کشتند و گزارشها به «خطای هوش مصنوعی» رسیدند، که این رویداد را به چیزی تبدیل کرد که یک الگوریتم بهتر میتوانست از آن جلوگیری کند.
در روزهای پس از حمله، کاریزمای هوش مصنوعی کل گفتگوهای سیاسی را پیرامون این فناوری سازماندهی کرد: اینکه آیا کلود توهم زده است، آیا این مدل مناسب بوده است، آیا شرکت آنتروپیک مسئولیت استقرار آن را بر عهده داشته است یا خیر. سوال اساسی مبنی بر اینکه چه کسی مجوز این جنگ را داده و سوال حقوقی مبنی بر اینکه آیا این حمله جنایت جنگی محسوب میشود یا خیر، جای خود را به یک سوال فنی داد که پرسیدن آن آسانتر و پاسخ به آن با شرایطی که این شرکت تعیین کرده غیرممکن است. بحث کلود انرژی را به خود جذب کرد و این همان کاری است که کاریزما انجام میدهد.
این ماجرا همچنین چیزی عمیقتر را پنهان کرده است: تصمیمات انسانی که منجر به کشته شدن بین ۱۷۵ تا ۱۸۰ نفر شد، که بیشتر آنها دخترانی بین هفت تا ۱۲ سال بودند. کسی تصمیم گرفت زنجیره کشتار را فشرده کند. کسی تصمیم گرفت که مشورت، تأخیر است. کسی تصمیم گرفت سیستمی بسازد که ۱۰۰۰ هدفگیری در ساعت تولید کند و آنها را با کیفیت بنامد. کسی تصمیم گرفت این جنگ را آغاز کند. چند صد نفر در کنگره نشسته اند و از متوقف کردن آن امتناع میکنند. نامیدن آن به عنوان «مشکل هوش مصنوعی»، به آن تصمیمات و آن افراد، جایی برای پنهان شدن میدهد.
