Москва: +7 495 234 4959 Санкт-Петербург: +7 812 740 5823 Лондон: +44 (0)20 7337 2600

Алексей Добрынин о том, кто будет нести ответственность за нападение робота на человека

Недавно спецкомиссия Совбеза ООН установила, вероятно, первый случай самовольного нападения боевого робота на человека. Это произошло в марте 2020 года в Ливии. Тогда дроны ливийской армии Kargu-2, начиненные взрывчаткой, атаковали группу повстанцев, подконтрольных Халифе Хафтару. Машины, возможно, сами выбрали цель и решили пойти на контакт. И хотя в докладе не раскрывают всех деталей, а эксперты говорят, что эти дроны вряд ли обладали достаточным уровнем свободы для принятия решений, очевидно, что автономные системы будут развиваться. «Вот Так» выяснил, какие законы регулируют ИИ на поле боя сейчас, кто будет виноват в смерти от робота и как человечеству свыкнуться с мыслью о борьбе с железными противниками.

ПРАВОВОГО КОНСЕНСУСА НЕТ

В мире пока не существует законодательства, которое бы регулировало независимых от человека роботов-убийц. Их действия будут оценивать на уровне международного гуманитарного права, рассказал «Вот Так» управляющий партнер санкт-петербургского офиса коллегии адвокатов Pen & Paper Алексей Добрынин.

По его словам, международное право определяет, можно ли использовать такие машины в принципе. Конкретных законов или договоров, которые разрешают или запрещают использовать машины с искусственным интеллектом, не существует.

«Так, к примеру, если боевые дроны не могут отличить военного от гражданского либо их поражающие свойства направлены на причинение излишних страданий, то использование таких устройств прямо запрещено положениями Гаагской конвенции 1907 года», — рассказал юрист.

Исправить ситуацию пытаются многие международные организации, продолжил Добрынин. Среди тех, кто активно поднимал эту тему, — Международный комитет Красного Креста, организация Amnesty International, Human Rights Watch, сооснователь Tesla и Space X Илон Маск и разработчик систем ИИ (искусственного интеллекта. — Примеч. ред.) в Google Мустафа Сулейман. В 2017 году Маск и Сулейман были среди тех, кто подписал открытое письмо к ООН. Эксперты и разработчики выступили против автономных роботов-убийц.

«Если такое оружие появится, военные конфликты достигнут невиданных прежде масштабов. Это может быть самая сокрушительная и быстрая война. Технологии могут стать оружием террора, оружием, которое деспоты и террористы могут использовать против населения. Такое оружие, кроме того, могут взломать. Нам нельзя медлить. Как только ящик Пандоры откроется, закрыть его будет практически невозможно», — заявили составители письма.

В 2018 году ООН начал рассматривать этот вопрос. В организации звучали призывы ввести полный мораторий на использование автономного оружия в войнах. «Однако к консенсусу страны так и не пришли», — сказал Добрынин.

По словам экспертов, за каждым дроном все равно стоит человек. На снимке – оператор беспилотника ВВС США управляет летательным аппаратом MQ-9 Reaper на базе ВВС Крич в Индиан-Спрингс, штат Невада. 6 мая 2015 года. Фото: Vernon Young Jr / Zuma Press / Forum

Позднее эксперты опубликовали призыв к правительствам отдельных стран. В нем говорится, что человечество не должно позволить роботам решать вопросы жизни и смерти. На сегодня обращение подписали 247 организаций, включая Google, и 3,2 тыс. разработчиков и ученых. Ожидается, что какие-либо итоги могут подвести в 2021 году при пересмотре Конвенции ООН по запрещению отдельных видов обычного оружия.

По данным движения Future of Life, против бана роботов-убийц выступают государства с ведущими армиями мира — США, Россия, Великобритания и Франция. Китай же поддерживает запрет.

 «УБИЙСТВО ПУТЕМ ИСПОЛЬЗОВАНИЯ РОБОТА»

В российских правовых реалиях действия автономной боевой машины следователи могут квалифицировать как убийство (по статье 105 УК РФ), уверен адвокат Добрынин. При этом исполнителем преступления будет человек, который непосредственно применил оружие, то есть тот, кто выпустил аппарат на боевое патрулирование и задал цели.

«Даже несмотря на то что робот якобы “самостоятельно” принял решение об уничтожении конкретной цели, лицо, выпустившее его на местность, будет нести уголовную ответственность за убийство или причинение вреда здоровью всем пораженным объектам. В обвинительном заключении в таком случае будет написано: “Спланировал и совершил убийство (причинение вреда здоровью) путем использования робота (дрона)…”», — рассказал управляющий партнер санкт-петербургского офиса коллегии адвокатов Pen & Paper.

К ответственности могут привлечь и разработчика такой машины — если он участвовал в операции наравне с другими военными или если дрон «сошел с ума» и вышел из-под контроля.

«Если он в военных действиях не участвовал, однако был осведомлен, для каких целей создавал конкретный алгоритм, его действия могут быть квалифицированы как пособничество в преступлении», — добавил Добрынин.

Действия техработника также могут квалифицировать как незаконное изготовление оружия или взрывных устройств (статьи 223, 223.1 УК РФ).

ОТЛИЧИТЬ ТЕРРОРИСТА ОТ ЖУРНАЛИСТА

Кандидат социологических наук Виктор Вахштайн отметил, что угрозу от автономных боевых роботов можно условно разделить на четыре подгруппы. Первые две — технические: расстояние, которое может преодолеть, например, беспилотник, и ущерб, который он может нанести. Если говорить о Kargu-2 турецкого производства, то они проигрывают по мощи и разрушительности даже аппаратам-предшественникам XIX века.

К ответственности за возможное убийство роботом человека могут привлечь как оператора, так и разработчика машины. На снимке – сержант американской армии с роботом-собакой Ghost Q-UGV на военной базе ВВС в Лас-Вегасе. 3 сентября 2020 года. Фото: David W. Carbajal / Planetpi / Zuma Press / Forum

Третий слой угрозы — выбор цели. Удар может быть тактическим (если машина, например, прикрывает отряд), персональным (по конкретным лицам) и сигнатурным (по неизвестным людям, оставляющим след, подобный террористам). Четвертая составляющая — авторизация. То есть определение того, кто принимает решение об ударе.

«Прецедент, описанный в докладе ООН, обращает на себя внимание именно из-за четвертого параметра — нанесение “неавторизованного” удара. Но кажется куда важнее сочетание отсутствия авторизации с механизмом выбора цели. Удар по HAF был все же тактическим ударом. Однако, что мешает использовать такую атаку “без авторизации” для нанесения персональных или сигнатурных ударов? Ничего, кроме легко преодолимых технических ограничений», — сказал Вахштайн «Вот Так».

Социолог отметил, что можно вполне представить будущее, где «авторизирующая санкция» со стороны людского командования либо исчезнет, либо превратится в фикцию. В этом будущем алгоритм, который выносит смертный приговор, будет напрямую соединен с дроном.

«В книге по социологии техники, которая должна выйти осенью, я оптимистично написал: “Алгоритм, которому делегирована функция поиска “плохих парней”, еще далек от идеала. Он с трудом отличает террористов от журналистов и политиков, чьи сигнатуры пугающе схожи… Смертный приговор, вынесенный машиной, приводится в исполнение другой машиной. Такой переход (смещение по оси делегирования реализации решения) будет означать конец эпохи больших данных и начало эры “действующих данных“”. Кажется, этот переход произошел даже раньше, чем я думал», — сказал он.

При этом Вахштайн уверен, что у человечества не будет проблем с тем, чтобы отдать вопросы жизни и смерти в руки роботов.

Технологии искусственного интеллекта призваны разгрузить военнослужащего от рутины, но не могут заменить человека на войне. На снимке – двуногий робот, разработанный в Лаборатории реактивного движения НАСА. Фото: John F. Williams / ВМС США / Zuma Press / Forum

«Человечество уже делегировало машинам вопрос о назначении наказания в судах (система COMPAS), о нарушении правил дорожного движения (знаменитые штрафы за пересечение двойной сплошной тенью от автомобиля), о том, кого следует задавить в случае аварийной ситуации на дороге (инцидент с автопилотом машины в Тампе, Аризона). В России, как показывают данные нашего исследования, уровень поддержки робота-судьи растет по мере того, как падает доверие к судам. Так что вряд ли именно этот барьер делегирования” окажется самым высоким», — резюмировал он.

ЖДАТЬ ЛИ ВОССТАНИЯ МАШИН?

Несмотря на общую настороженность относительно автономных боевых систем, в реальности за их решениями всегда будут стоять люди. В этом уверен военный эксперт Павел Лузин.

«Технологии ИИ лишь призваны разгрузить человека (солдата, офицера) от рутинной обработки обилия поступающей информации. Но они не смогут человека на войне ни заменить, ни отменить. Проще говоря, в реальной жизни, а на войне тем более, всегда существует неопределенность, с которой справится только человеческий мозг. Да и принимать решения всерьез способен только человек», — объяснил он.

Армии начали внедрять системы определенной степени автономности еще с 1990-х годов. Россия активно работает над этим со времени войны с Грузией 2008 года. «Реформа Сердюкова была в том числе об этом. Под руководством Шойгу российское Министерство обороны продолжает двигаться в этом направлении», — отметил эксперт.

Лузин подчеркнул, что использование автономных и полуавтономных систем не меняет законов войны: «Тот, кто применяет такие роботизированные и частично автономные системы, тот и несет ответственность — от государства до конкретного командира и оператора».

Эксперт призвал не паниковать и из-за события в Ливии. По его мнению, ничего нового там не произошло. За дроном, считает эксперт, все равно стоит оператор. А саму машину можно сравнить с ракетой, оснащенной системой самонаведения.

«Так или иначе Kargu-2 — это оружие, управляемое оператором. Оно запускается людьми для уничтожения целей в радиусе 5 километров. Да, этот дрон может действовать без связи с оператором: он имеет камеру и систему распознавания целей на основе заложенных в него изображений. То есть, прилетев в район выполнения боевой задачи и, например, получив от оператора команду на самостоятельное определение и уничтожение цели в этом районе в течение определенного промежутка времени, он может выполнить эту задачу уже без участия оператора. Но это все равно не тот робот, который, как в фантастических фильмах, ведет боевые действия самостоятельно», — объяснил аналитик.

При этом дроны дешевле и миниатюрнее тех же самонаводящихся ракет. Их выгодно использовать против автомобилей, легкой бронетехники и небольших групп живой силы.

Иван Маслов / «Вот Так»

Источник