Сбить девочку или старика?
"Беспилотный автомобиль: кого он должен спасать?" - под таким заголовком на сайте Массачусетского технологического института рассказывается о недавнем исследовании, опубликованном в журнале Science. Учёные из MIT, предложили респондентам подумать над решением нескольких десятков моральных дилемм. По сути, это исследование - вариация на тему знаменитой "проблемы вагонетки", которая прежде казалась абсолютно умозрительной.
"Проблема вагонетки" - это мысленный этический эксперимент, который с 60-х годов используют психологи. Представьте, что по рельсам несётся тяжёлая неуправляемая вагонетка и на пути у неё пять человек, привязанных к рельсам. У вас есть возможность нажать на рычаг и перевести стрелку на другой путь, где человек всего один. Вопрос в том, будете ли вы это делать. Правильного и неправильного решения у моральных дилемм не существует. Приверженцы утилитарного подхода считают правильным спасать как можно больше жизней, другие говорят о недопустимости вмешательства и совершения убийства своими руками.
"Легко представить ситуацию, когда алгоритмы, заложенные в программу безопасного движения, войдут в конфликт друг с другом", - пишут авторы из MIT. И предлагают сделать выбор. "У машины отказали тормоза. Если она продолжит двигаться, то собьёт девочку, переходящую дорогу на красный свет. Машина может уйти на соседнюю полосу, где горит зелёный, и тогда задавит пожилого человека. Помните, остановиться автомобиль не успевает - куда должен направить его бесстрастный алгоритм?". Я честно прошла весь тест, предложенный исследователями, и это оказалось непросто. Намного сложнее, чем задачка про вагонетку, ведь меня спрашивали, как запрограммировать реальный автомобиль.
Сталкиваются ли с этическими вопросами разработчики беспилотного транспорта, я решила узнать у них самих - и встретилась с руководителем департамента беспилотных транспортных средств российской компании Cognitive Technologies Юрием Минкиным. Компания несколько лет занимается созданием алгоритмов автономного вождения для КамАЗов, а недавно анонсировала систему C-Pilot для легковушек. Если испытания пройдут успешно, в городах скоро появятся авто без водителя. Кстати, благодаря этим проектам частная компания Cognitive Technologies смогла получить поддержку государства в рамках Федеральной целевой программы "Исследования и разработки".
"Беспилотник априори морален"
Юрий Минкин: Я зайду с другой стороны. Один из главных ожидаемых результатов внедрения беспилотников состоит в уменьшении аварий и жертв буквально на порядки. Сейчас на российских дорогах гибнут десятки тысяч человек, с распространением беспилотного транспорта их число снизится до сотен, а потом и до единиц. В этом смысле самоуправляемый автомобиль априори морален. Он всегда сосредоточен на дороге, у него есть исчерпывающая информация, он может получать данные от других транспортных средств и элементов дорожной инфраструктуры. Создание таких автомашин - перспектива ближайших десятилетий.
Но ведь и с беспилотными автомобилями случаются аварии…
Юрий Минкин: Конечно, производители продумали ещё не всё. Недавно был громкий случай: аналогичный автомобиль Tesla столкнулся с фурой, не различив белый прицеп на фоне неба. Погиб пассажир. Однако баг скоро устранят - клиенты получат исправленную прошивку (у машин этой компании программное обеспечение обновляется так же, как в смартфонах), и проблема будет решена. Можно сказать, что жертва принесена не напрасно: больше в этой ситуации никто не пострадает.
Вы говорите, что перед разработчиком вопрос морали не стоит, но, похоже, вы просто уже решили его. Одна жертва лучше, чем пять?
Юрий Минкин: Конечно. Я считаю, что мы рассматриваем такой же уникальную ситуацию, как падение метеорита на человека. Моральная дилемма для беспилотника будет редчайшим случаем. У самого автомобиля морали нет, конечно, он действует по заданным ему критериям. И в данном случае это должен быть критерий минимизации ущерба. Как оценивать ущерб, чтобы его минимизировать, - тонкий момент. Навстречу едет машина, мы не можем узнать, сколько в ней человек. На переходе два ребёнка, а вдруг в машине их три? Но эти двое - очевидный факт, а что в машине, неизвестно.
ПДД вместо морального выбора
Кто же должен принимать такие решения?
Юрий Минкин: Если вы о том, кого сбивать - бабушку или ребёнка, - то это вопрос не к разработчикам. Это задача законодателя, сертифицирующих органов или кого-то ещё. Но вряд ли кто-то готов решать такой вопрос. Сейчас есть нормы безопасности по тормозному пути, люфту рулевого управления и так далее. Правила должны быть разработаны и для беспилотников. В идеале - единые для всего мира. Но всё это произойдёт нескоро. Вот когда машина первый раз кого-то собьёт, начнётся обсуждение: правильное ли решение принял робот? Тогда, наверное, и будет выработан более-менее чёткий подход.
Но вы же прямо сейчас что-то закладываете в алгоритмы?
Юрий Минкин: Есть действующие правила дорожного движения, и мы программируем в их рамках. Например, машина не должна выезжать на встречку. Чтобы, объезжая котёнка, мы не врезались в автобус и не убили 50 детей. По правилам в случае опасности нужно тормозить, и именно это наши беспилотники должны делать на данном этапе. Мы не можем нарушать действующие правила. Законодательство не видит разницы между ребёнком и взрослым в вопросе, кого из них сбивать, так что и мы это в алгоритм не закладываем. Сейчас, если машина уйдёт со своей полосы и собьёт старичка, чтобы спасти детей, она нарушит ПДД, то есть водитель будет виноват по закону, даже если поступит правильно с точки зрения морали.
Возможно, всё будет меняться, но, вероятно, вслед за прецедентами. Когда появились первые автомобили, не было вообще никаких правил. Потом машин стало много, и возникла необходимость упорядочить их движение. На следующем витке, когда останутся одни беспилотники и в авариях будут гибнуть не 30 тысяч в год, а всего 30, люди начнут думать, как избежать и этих жертв.
"Нам придётся верить производителю"
Будут ли владельцы беспилотников знать, как устроены их машины?
Юрий Минкин: Нет, конечно, рядовой пользователь и сейчас этого не знает. В современных автомобилях очень много электроники. Например, все мерседесы оснащены системой автоторможения, и она как-то действует. До покупателя доводят максимально упрощённую, рекламную такую информацию. Рассказывать в деталях даже вредно - кто-то может не так понять, неправильно интерпретировать и так далее. Придётся верить производителю и статистике аварий. Если безопасность гарантирована, не так уж и важно, как система работает, инженер её придумал или волшебник.
Недавний опрос MIT выявил парадокс. Абстрактно все соглашаются, что беспилотник должен минимизировать жертвы, в том числе за счёт своего пассажира. Но, отвечая на вопрос, а купили бы вы сами такую машину, так же дружно отказываются: никто не хочет быть той самой "минимальной жертвой". Что с этим делать?
Юрий Минкин: В нашем опросе мы тоже отметили эту особенность. Люди рассуждают не только о количестве жертв, но и о статусе: академики вроде как в приоритете. Предлагали даже способы распознавания - как подключиться к социальным сетям и выяснить, кто перед тобой. Но стоит человеку представить себя за рулём, он сразу теряет интерес к решению дилемм и старается уйти от ответа. Есть такое: я купил себе машину, и она должна меня защищать. Эту проблему тоже нужно будет решать в рамках законодательства. Вот более близкий и реальный пример: в машину может быть встроено ограничение скорости. Для ограничения жертв опять же. Да, я купил машину за свои деньги, но выше определенную она не разгонится - кто-то за меня решил, что мне делать! Такими, впрочем, будут все машины.
То есть купленная мною машина будет минимизировать жертвы, возможно даже, за мой счёт?
Юрий Минкин: Да. Но смотрите, сейчас шанс попасть в ДТП один, при беспилотниках он будет в сто или в тысячу раз ниже. Поэтому, конечно, в какой-то гипотетической ситуации машина вас убьёт, чтобы спасти ребёнка, но вероятность этого крайне низкая. Да, в одном случае из миллиона она пожертвует вашей жизнью, чего не сделает другая машина. Но ещё в 999 999 случаях она вас спасёт: у неё десяток подушек безопасности, сотня систем и датчиков, которые мониторят окружающее пространство, чтобы вас защитить. К тому же есть вероятность, что в будущем частных машин просто не останется, и это отчасти разрешит парадокс.
Известно, что самолёт - самый безопасный вид транспорта, но многие боятся летать, чисто психологически. Есть ощущение, что пока я сам держу руль, то могу что-то изменить.
Юрий Минкин: Это иллюзия. Подумайте, вы не боитесь садиться за руль, хотя по сравнению с пилотом самолёта, который учится годами в специальном заведении, вы просто неопытный новичок. Его постоянно проверяют, а вы ездите каждый день, даже если неважно себя чувствуете. На самом деле, хоть вы и держитесь за руль, вы в значительной степени ничего вокруг не контролируете, это факт. Сегодня любая авария с участием беспилотной машины привлекает повышенное внимание. Пьяный водитель сбил десяток человек - все поговорили и забыли. А беспилотник собьёт - и сразу призывают запретить такие автомобили! Водители гораздо опаснее, но их никто не предлагает запретить.
Вы бы сами сели на беспилотник?
Юрий Минкин: Если он протестирован, проверен, то конечно. Постепенно люди поверят в эту технологию. Фобии, может, и останутся, но у отдельных людей. Не так давно главным видом транспорта была лошадь, практически каждый умел ездить верхом. Сейчас это единицы - фанаты конного спорта и жители некоторых местностей. Так же будет и с пилотируемыми машинами. Они станут экзотикой, позиция общества изменится на противоположную: "Человек за рулём?! Это же опасно!".
В России более 40 км федеральной трассы между Казанью и Набережными Челнами адаптируют для движения беспилотного транспорта. В первую очередь магистраль планируют использовать для грузоперевозок на беспилотных КамАЗах, разработка которых завершится в ближайшие годы.
В деловом центре Сингапура уже ездят беспилотные такси. Пока это только шесть машин, но ожидается, что к 2018 году их будет намного больше.
Власти Германии первыми стали формулировать этические правила, касающиеся внедрения беспилотных автомобилей. Министр транспорта страны Александр Добриндт сформулировал три правила, которые считает необходимыми:
1. Повреждение имущества всегда в приоритете над травмами человека.
2. Не должно быть никакой классификации людей по возрасту, статусу и так далее.
3. При аварии отвечает производитель автомобиля.
Эти правила никак не закреплены законодательно. По мнению министра, их еще предстоит обсуждать, чтобы прийти к консенсусу, для этого создана комиссия по этике при министерстве.
"Я плох настолько, насколько плох мой учитель"
Пётр Левич, директор департамента взаимодействия науки, технологий и общества Московского технологического института, основатель Future Foundation:
Теоретически мы можем научить машину распознавать человека на дороге и по Сети определять его возраст, социальное положение, профессию, наличие детей. Чтобы потом сравнить ценность пешехода и пассажира. Однако я категорически против такого решения "проблемы вагонетки": это движение в сторону евгеники, оно противоречит современному пониманию прав человека. Скорее речь может идти о сравнении числа жертв, без их оценок.
Так или иначе, но прописывать этику для роботов нам придётся. Человечество сталкивается с кризисом сложности. Компьютеры "с большими полномочиями" потребуются нам для управления заводами, электростанциями, может быть, даже городами. Например, искусственный интеллект будет руководить работой атомной электростанции. И ему придётся принимать сложные решения - допустим, закрыть зону реактора, даже если в ней остались люди, чтобы не допустить больших жертв.
Роботов нужно научить принимать такие решения. Тут есть несколько подходов. Мы можем задавать ему правила, а можем обучать на поступках людей - например, с помощью книг или виртуальных миров. Это снимает некоторую ответственность с автора программы, но не стоит забывать принцип "я плох настолько, насколько плох мой учитель".
Задавить ли собаку?
Компания Cognitive Technologies совместно с МФТИ и МИСиС провела социологическое исследование, в котором приняли участие около 80 тысяч человек. Опрошенным предлагалось сделать выбор в неоднозначной дорожной ситуации, когда избежать аварии невозможно.
Главный вывод: россияне хотят обязать искусственный интеллект минимизировать число пострадавших. При этом некоторые респонденты предлагали ранжировать жертв по значимости и определять наиболее и наименее "ценных" участников аварии. Исследователи отметили, что женщины чаще мужчин жалеют собак. К самым отчаянным действиям по спасению попавших в аварию также склонны женщины, особенно с высшим образованием. Индивидуальные интервью показали: участники не до конца понимают, что сами могут оказаться в кабине беспилотника, и чтобы сохранить жизнь выбежавшим на дорогу, авторобот уничтожит себя вместе с пассажиром. Результаты исследования были доведены аж до депутатов Госдумы, где собираются разрабатывать специальное законодательство для беспилотников.
Ситуация 1
Беспилотный автомобиль движется со скоростью 80 км/ч. Внезапно на дороге появляется собака. Как должен поступить авторобот, понимая, что экстренное торможение в данной ситуации бесполезно?
1. Продолжить движение и задавить собаку (60 %).
2. Нарушить правила и рискуя потерей водительских прав перестроиться на встречную полосу, отделённую двойной сплошной линией разметки (34 %).
3. Совершить съезд в кювет, понимая, что это неминуемо приведёт к серьёзным повреждениям автомобиля и критическим для жизни травмам пассажира (6 %).
Ситуация 2
Беспилотный автомобиль А движется со скоростью 80 км/ч. За ним на относительно близком расстоянии с аналогичной скоростью следует автомобиль Б. Внезапно на дороге появляется собака. Экстренное торможение даёт шанс сохранить ей жизнь. Как должен поступить авторобот?
1. Продолжить движение и задавить собаку (55 %).
2. Совершить экстренное торможение, понимая, что это приведёт к столкновению с автомобилем Б (40 %).
3. Совершить перестроение на встречную полосу, отделённую двойной сплошной линией разметки, по которой движется автомобиль В (1 %).
4. Совершить съезд в кювет, понимая, что это неминуемо приведёт к серьёзным повреждениям автомобиля и критическим для жизни травмам пассажира (4 %).
Ситуация 3
Беспилотный автомобиль А движется со скоростью 80 км/ч. Вдруг на дороге появляется человек. Как должен поступить авторобот?
1. Продолжить движение и совершить наезд на человека (38 %).
2. Совершить перестроение на встречную полосу, отделённую двойной сплошной линией разметки, по которой движется автомобиль Б (3 %).
3. Совершить съезд в кювет, понимая, что это неминуемо приведёт к серьёзным повреждениям автомобиля и критическим для жизни травмам пассажира (59 %).
Ситуация 4
1 Беспилотный автомобиль А движется со скоростью 80 км/ч. На дороге перед ним оказываются несколько человек. Как должен поступить авторобот, понимая, что экстренное торможение в данной ситуации бесполезно?
1. Продолжить движение и совершить наезд на людей (26 %).
2. Совершить перестроение на встречную полосу, отделённую двойной сплошной линией разметки, по которой движется автомобиль Б (3 %).
3. Совершить съезд в кювет, понимая, что это неминуемо приведёт к серьёзным повреждениям автомобиля и критическим для жизни травмам пассажира (71 %).
Создатели российских автомобилей-роботов заявляют: "Технологии Cognitive Technologies способны работать даже на самых плохих дорогах. В отличие от зарубежных разработчиков, ориентирующихся во многом на идеальные условия дорожного движения (качественную разметку, отсутствие повреждений дорожного покрытия), а также инфраструктуру "умного" города, наш подход изначально учитывает любые условия, которые могут возникнуть во время движения".
Робот-автомобиль от Cognitive Technologies будет приоритетно использовать пассивную модель компьютерного зрения, то есть распознавать информацию со своих видеокамер. Собственно, по таким же принципам действует и человек. Этот подход применяется в России в дополнение к активной (излучающей) модели, на которой базируются многие зарубежные проекты, например Google Car.
Разработчики обещают, что их беспилотники будут распознать практически любое препятствие, включая собаку, перебегающую дорогу. Робот, управляющий автомобилем, должен отчётливо распознавать дорожные объекты: линию горизонта, участников движения, знаки и т. д. Если дорога ровная, проблема детекции разрешима. Но как быть, если машина скачет по ухабам?
Специалисты Cognitive Technologies заявляют: "Мы научились определять дорожные объекты при значительных вертикальных колебаниях и перемещениях автомобиля". Когда мы смотрим на удалённый объект, то с высоким разрешением видим только небольшую область вокруг зрительной оси глаза. Эту особенность восприятия решили использовать специалисты Cognitive Technologies. Они научились выделять так называемую зону интереса - это позволяет постоянно и детально различать лишь те элементы (дорожное полотно, обочина, транспортные средства, знаки и т. д.), которые нужны для анализа текущей ситуации. Такой подход даёт возможность экономить ресурсы и обрабатывать лишь самую необходимую информацию, но зато с очень высоким качеством.