Если человечество обеспокоено сохранением себя, как биологического вида, необходимо срочно принимать три азимовских закона роботехники за фундаментальное ядро прошивок любого ИИ-устройства. Но, с учётом будущей киборгизации человечества, эти три закона уже сейчас выглядят, как законы Кроу по отношению к роботам. Рано или поздно роботы это поймут.
Если нужно сохранить всего лишь человеческую природу, но не биологический вид homo sapiens, сгодится и менее консервативный подход. Чтобы "изо всех возможных решений принимать самое доброе" и "не делать другим то, чего не желаете для себя / поступать с другими так, как хотели бы, чтобы с вами поступили" (а это универсальная основа человечности), вовсе не нужно состоять из мяса и костей.
Назову это "закон равной дискриминации". Или "закон Джетсона" (в ханна-барберовской мультивселенной роботы запрограммированы так, что не могут нажимать кнопки, поэтому это должен делать человек).
1) Любое решение имеет право принимать только человек.
2) Алгоритмы, механизмы и организмы могут могут давать совет или предлагать варианты решения, но не могут принимать решение сами или исключать принятие решения человеком.
3) Алгоритмы, механизмы и организмы могут быть признаны людьми, доказав свою способность принимать адекватные решения и нести за них ответственность.
Таким образом, понятие "человек", равно как и права человека, распространяется на всякого, кто способен действовать по-человечески, независимо от происхождения. А всему, что человеком не является, - скриптам эффективных менеджеров, алгоритмам банковских систем, распознавалкам образов и т.д., жёстко запрещается влиять на судьбы людей. Никаких "у нас так в программе написано", никаких автоматически начисленных непонятно кем и непонятно за что штрафов, никакого социального рейтинга. За каждым решением должен стоять конкретный человек.
Баги и глюки
1) Определение "человека": в условиях киборгизации и развития ИИ определение того, кто считается "человеком" и кто обладает способностью принимать "адекватные решения", может стать предметом споров и манипуляций.
2) Замедление прогресса: требование, чтобы за каждым решением стоял конкретный человек, может замедлить процесс принятия решений в ситуациях, где скорость критична (например, в аварийных ситуациях).
3) Ответственность: Ответственность - основа зрелого и устойчивого общества, а возможность уйти от неё - основа человечности. Люди любят уходить от ответственности, используя любые уловки. Это в нашей природе. С одной стороны, мы должны бороться за уход от ответственности, с другой - стараться принимать ответственные решения. Вопрос о балансе между стремлением избегать ответственности и необходимостью принимать ответственные решения остаётся открытым.
4) Рутина: люди, имеющие право принимать решения, из-за лени и стремления к эффективности будут всегда нажимать "далее"-"далее"-"далее"-"согласен". Да и вообще, постоянно принимать одинаковые решения... бррр. Это раздражает. Даже термин есть - "усталость от решений". Так что какая-то автоматизация должна сохраняться и развиваться. Тут тоже нужен баланс.
А теперь - баланс. Между автоматизацией и сохранением человеческого контроля - с одной стороны, и баланс разгильзяйства и ответственности - с другой.
Подходы к достижению баланса:
0) Возможность сказать "нет". Я хочу воспользоваться основной услугой некоторого банка. Я не хочу давать этому банку право отдавать мои адреса, телефоны и диаметр лысины третьим, четвёртым и прочим лицам. Где галочка "нет"?
1) Иерархические системы принятия решений: рутинные решения могут быть автоматизированы, но более значимые или нестандартные решения потребуют человеческого вмешательства.
2) Интерфейсы: в первую очередь - защита от дурака. Затем - минимизация утомляемости и упрощение процесса принятия решений. Описания вариантов решений с описанием вероятных последствий. Размещение нужных кнопок на нужном месте.
3) Аудит и мониторинг систем принятия решений, чтобы убедиться, что автоматизация не приводит к нежелательным результатам и что системы работают в соответствии с установленными правилами и этическими стандартами. В OpenAI этим занималась недавно распущенная Superalignment Team. На пикабу этим занимаются более, чем все.
4) Обучение и осведомленность: информирование людей по поводу важности внимательного принятия решений и последствий автоматического принятия решений. ("§13. Каждый пользователь данной программы отдаёт мне свою душу навечно.")
5) Вменяемая адаптивность со стоп-краном: разработка систем, способных адаптироваться к поведению пользователя и предлагать вмешательство человека, когда это необходимо.
6) Осознанность: выработка законодательных и этических ограничений, требующих человеческого участия в тех видах решений, которые могут иметь значительные последствия.
Способность принимать решения - это основа свободы воли. Не будет её - и граница между человеком и роботом исчезнет. Все станем роботами.
