Наше выживание как цивилизации будет зависеть не от мощи нашего оружия. Оно будет зависеть от того, сумеем ли мы отстоять два сугубо человеческих слова: «нет», останавливающее войну, и «да», которое её завершает, пишет главный редактор алжирского портала Menadefense Акрам Хариф специально для XXIII Ежегодного заседания Международного дискуссионного клуба «Валдай».
В ночь на 26 сентября 1983 года в бункере к югу от Москвы сработал сигнал тревоги. На экранах отобразились американские межконтинентальные ракеты, летящие в сторону Советского Союза. У дежурного офицера, подполковника Станислава Петрова, были считаные минуты, чтобы доложить о нападении вышестоящему командованию. Этот доклад мог спровоцировать ответный ядерный удар. Он доложил о ложном срабатывании системы. У него не было доказательств того, что система ошибается. У него было сомнение. Что-то внутри подсказывало ему: война начинается не так. Он оказался прав. Спутники приняли солнечный свет, отражённый от облаков, за пуски ракет. Я хочу, чтобы вы запомнили этого человека. Вопрос, который я задам вам сегодня, прост: кто будет сомневаться во время грядущих войн?
Обычно, когда мы говорим о «бесчеловечности» войны, мы имеем в виду попрание гуманитарных норм: бомбардировки больниц, осады, голод. Эта бесчеловечность так же стара, как сама война. Но сейчас возникает иная бесчеловечность – в буквальном смысле этого слова. Это способность причинять колоссальные разрушения практически без участия человека, с помощью машин, которые сами выбирают цели и наносят удары. И всё же, мне кажется, бояться надо не этого. Десятилетиями мы опасались, что машины станут подобны людям. А следовало бы опасаться того, что люди станут подобны машинам.
История войны – это история дистанции: от меча к стреле, затем к пушке, бомбардировщику и, наконец, к беспилотнику. Каждый шаг увеличивал расстояние между тем, кто убивает, и тем, кто умирает.
Каждый шаг делал убийство проще. Люди, не способные нажать на спусковой крючок и выстрелить с десяти метров, легко сбрасывали бомбы с высоты десяти тысяч.
Искусственный интеллект завершает этот путь. За физической дистанцией следует когнитивная. Поле боя покидает уже не только тело – его покидает само решение. В расследованиях, опубликованных в 2024 году, описывались системы наведения целей в секторе Газа: операторы порой тратили около двадцати секунд на подтверждение цели, предложенной алгоритмом. Человек по-прежнему остаётся «в контуре» управления, но этот контур превратился в формальность, в штемпель. Контроль со стороны человека не исчез, но утратил своё содержание. Я бы сказал, что это даже хуже, поскольку решение машины получает моральное прикрытие в виде имени реального человека.
Вторая опасность – экономическая. На протяжении целого столетия демократические страны сдерживала цена войны – гробы, накрытые государственными флагами. Война, не стоящая нападающей стороне человеческих жизней, устраняет этот сдерживающий фактор. Война также стала дешёвой. Беспилотник стоимостью в несколько десятков тысяч долларов может вынудить государство использовать перехватчики ценой в миллионы. Высокоточные удары когда-то были прерогативой сверхдержав. Теперь они доступны государствам среднего уровня, ополченцам и вооружённым группировкам.
Я родом из Северной Африки и хочу сказать прямо: полигоном для этого будущего служит наша земля. В 2021 году комиссия ООН сообщила, что в Ливии барражирующий боеприпас, возможно, атаковал бойцов без прямой команды человека. Этот список можно продолжать: Йемен, Судан, Сахель, сектор Газа. Технологии разрабатываются в немногих столицах, а испытываются на телах совсем других людей. Войны богатых ведутся с помощью машин. Войны бедных по-прежнему ведутся живыми людьми – и зачастую там же, где раньше.
Кто-то из вас может подумать: машины не поддаются панике и не ищут мести. Они не занимаются мародёрством и не устраивают резню из ненависти. Все зверства в истории были совершены людьми. Возможно, машина способна вести себя этичнее, чем солдат. Это серьёзный довод. Но этика – это не просто следование правилам. Этика требует наличия того, кого можно призвать к ответу: того, кого можно судить, кто способен испытывать стыд и кто может сказать «нет».
Когда машина совершает убийство неправомерно, кто предстанет перед судом? Программист, оператор, производитель? Алгоритм? Чем выше автономность оружия, тем шире разрыв в ответственности. И именно в этом разрыве и кроется безнаказанность.
Позвольте мне зайти ещё на шаг дальше. Представьте, что война начинает вестись на скоростях, доступных машинам: с использованием роёв беспилотников, кибератак и автоматизированных ответных ударов. В такой ситуации человеческая дипломатия с её «прямыми линиями» и саммитами неизбежно будет опаздывать. Финансовые рынки уже знают, что такое «мгновенные обвалы» (flash crashes). Возможно, скоро мы узнаем и о «мгновенных войнах». Тогда возникнет соблазн автоматизировать и процесс установления мира, поручив машинам деэскалацию конфликтов, которые они же сами и начали.
Но тут нужна осторожность. Исследователи помещали модели ИИ в условия смоделированных дипломатических и военных кризисов, и эти модели, как правило, вели дело к эскалации. Они провоцировали гонку вооружений, а в ходе некоторых экспериментов применяли ядерное оружие, руководствуясь при этом вполне логичными доводами. Машина оптимизирует процессы; она не знает страха. А ведь именно страх перед непоправимым, возможно, был лучшим дипломатом времён холодной войны.
Дипломатия держится на том, что чуждо машинам.
Во-первых, это двусмысленность. Резолюция СБ ООН № 242 была принята всеми сторонами, поскольку её тексты на английском и французском языках допускали различные толкования: в одном случае говорилось from territories, а в другом – des territoires i.
Во-вторых, это медлительность – чтобы утих гнев, необходимо время.
В-третьих, это риск. Когда в 1977 году Анвар Садат летел в Иерусалим, он рисковал собственной жизнью – и в итоге отдал её.
В-четвёртых, это прощение, которое требует умения забывать. Машина же не забывает ничего.
Мир, достигнутый путём расчётов, – это не мир, основанный на согласии. Машина может решить задачу. Но она не способна примирить народы.
В 1899 году дипломаты в Гааге закрепили в международном праве важный принцип – так называемую оговорку Мартенса. Там, где молчат международные договоры, люди остаются под защитой законов гуманности и требований общественной совести. Гуманность и совесть. Не программный код и не эффективность.
Генеральный секретарь ООН и Международный комитет Красного Креста призвали государства принять юридически обязывающий документ, регулирующий использование автономных систем вооружения, к 2026 году. На дворе 2026 год. Этот срок – не просто дата в календаре. Это проверка того, управляем ли мы по-прежнему своими инструментами или же они начали управлять нами.
Позвольте мне вернуться в тот бункер 1983 года. Станислав Петров спас миллионы жизней, сделав то, на что не способна машина: он отказался подчиниться приказу. За 21 год до этого, во время Карибского кризиса, Василий Архипов отказался санкционировать пуск ядерной ракеты с борта своей подводной лодки. По меньшей мере дважды человечество выживало благодаря тому, что человек говорил «нет». Машины это не умеют.
Впервые война может обходиться без мужества. А завтра, возможно, она обойдётся и без совести. Вопрос уже не в том, кто нажимает на спусковой крючок. Вопрос в том, останется ли кто-то, способный сказать «нет». Наше выживание как цивилизации будет зависеть не от мощи нашего оружия. Оно будет зависеть от того, сумеем ли мы отстоять два сугубо человеческих слова: «нет», останавливающее войну, и «да», которое её завершает.
Иллюстрация: «Евразия сегодня», Leonardo.ai