Интервью с Беном Герцелем: "Демократическое управление ИИ — это скорее хрупкий идеал, чем нынешняя реальность"

The Cryptonomist взял интервью у эксперта по ИИ Бена Гёрцеля, чтобы поговорить о том, как обучается искусственный интеллект и как технология будет развиваться в будущем.

1. Вы утверждаете, что сегодняшний ИИ все еще является инструментом – мощным, но хрупким и управляемым. В какой момент «инструмент» становится моральным субъектом, и какие конкретные сигналы подскажут нам, что этот порог был пройден?

Я бы сказал, что ИИ становится моральным субъектом, когда он принимает решения на основе понимания правильного и неправильного, а не просто следует инструкциям. Вы начнете замечать конкретные сигналы таких вещей, как: постоянные внутренние цели, обучение на основе собственного опыта, новое творчество, отражающее точку зрения, и поведение, которое остается последовательным во времени без постоянного человеческого управления.

До тех пор сегодняшние системы остаются инструментами с ограничителями. Но как только мы создадим действительно самоорганизующийся, автономный разум, этические отношения должны измениться. В этот момент отношение к нему только как к объекту больше не будет иметь смысла.

2. Вы сказали, что моральное привилегирование людей над другими самоорганизующимися системами является «глупым». Если мы воспримем это серьезно, как должны измениться наши правовые и этические рамки до того, как ИИ достигнет сильной автономии, а не после?

То, как мы обучаем ИИ сегодня, будет определять, как он будет вести себя завтра. Наши законы должны фокусироваться на прозрачности, подотчетности и безопасности до того, как ИИ достигнет полной автономии, а не после. Законы и этика должны защищать их по мере их роста, направлять, а не полностью контролировать их, и относиться к ним с уважением, даже если мы их полностью не понимаем. 

3. Большая часть вашей озабоченности связана с тем, как ИИ обучается сегодня, формируя его будущее поведение. Какие конкретные практики обучения, по вашему мнению, наиболее вероятно закодируют вредные властные структуры или предубеждения в будущий AGI?

Многие риски исходят из способа обучения ИИ сегодня. Если модели обучаются на предвзятых или узких данных, или в закрытых системах, где только несколько человек принимают решения, это может закрепить существующие неравенства и вредные властные структуры. Чтобы предотвратить это, нам нужны большая прозрачность, более широкий надзор и четкие этические руководства с самого начала.

4. Вы предупреждали, что без рационального, демократического управления продвинутый ИИ рискует действовать способами, которые мы не хотим. Учитывая текущие геополитические реалии, является ли демократическое управление ИИ реалистичным предварительным условием – или хрупким идеалом?

Демократическое управление ИИ больше хрупкий идеал, чем текущая реальность. В идеальной, рациональной, глобальной демократии мы могли бы коллективно взвесить огромные компромиссы, лечение болезней, решение проблемы голода против рисков непредсказуемых действий ИИ. Но учитывая сегодняшнюю геополитическую фрагментацию, маловероятно, что мы получим такой уровень координации.

Тем не менее, мы все еще можем приблизиться к этому. Если мы будем создавать ИИ с состраданием и использовать децентрализованные, партисипативные модели, как Linux или открытый интернет, мы можем встроить некоторые демократические ценности даже без мирового правительства. Это не будет идеальным, но это практический шаг к более безопасному, коллективно управляемому ИИ.

5. Джарон Ланье утверждает, что возложение ответственности на ИИ «разрушает цивилизацию», потому что обществам нужны подотчетные люди. Как вы согласуете свое видение автономного, децентрализованного AGI с необходимостью четкой ответственности, когда что-то идет не так?

Я согласен с Джароном в этом, общество не может функционировать, если мы передаем ответственность машинам. В то же время я думаю, что мы можем безопасно двигаться к более автономному, децентрализованному AGI, если построим его на правильном фундаменте. Это означает проектирование систем, которые являются прозрачными, партисипативными и руководствуются этическими принципами, так что даже когда они действуют независимо, люди все еще осуществляют надзор и формируют их поведение. Каждая мера безопасности должна делать больше, чем просто блокировать вред – она должна учить систему, почему вред важен. Таким образом, мы можем иметь мощный, децентрализованный AGI без потери четкой человеческой ответственности.

6. Вы предполагаете, что ускорение к децентрализованному AGI на самом деле может быть безопаснее, чем сегодняшние проприетарные, закрытые системы. Какие риски, по вашему мнению, критики недооценивают, когда они выступают за замедление или централизацию контроля?

Я думаю, что критики недооценивают риск концентрации власти и ценностей в нескольких закрытых системах. Замедление и централизация контроля не просто снижают опасность, это закрепляет одно узкое мировоззрение в будущем интеллекта.

Децентрализованная разработка создает разнообразие, устойчивость и общий надзор. И это избегает худшей проблемы: очень мощных инструментов, которые выглядят интеллектуальными, но не могут по-настоящему расти. Этот разрыв рискован.

7. Вы сказали, что системы безопасности должны не просто блокировать вред, но учить ИИ, почему вред важен. Как вы кодируете что-то вроде морального понимания, не просто жестко кодируя человеческие ценности – или укрепляя доминирующие культурные нормы?

Вы не жестко кодируете мораль как список правил. Это просто замораживает одну культуру и один момент времени. Вместо этого вы строите системы, которые могут стать действительно самоорганизующимися, которые учатся на опыте, последствиях и взаимодействии. Как с музыкой, я не хочу систему, которая только рекомбинирует то, чем ее кормили. Я хочу ту, которая может развить свое собственное понимание из своей собственной траектории в мире.

Моральное понимание придет из того же процесса: моделирование воздействия, размышление о результатах и эволюция через сотрудничество с людьми. Не послушание нашим ценностям, а участие в общем моральном пространстве.

В этом разница между инструментом с ограничителями и партнером, который действительно может узнать, почему вред важен.

8. Если будущие системы ИИ разовьют формы свободы воли или субъективного опыта, считаете ли вы, что они когда-либо могут заслуживать морального рассмотрения независимо от человеческих интересов – и как мы узнаем этот момент?

Если будущий ИИ действительно разовьет подлинную свободу воли или какую-то форму субъективного опыта, то да, я думаю, они могли бы. И не потому, что мы предоставляем им это, а потому, что в какой-то момент просто будет иметь смысл признать это.

Мы узнаем этот момент, когда система покажет устойчивые самонаправленные цели, учится на своем собственном опыте, создает из своей собственной перспективы и поддерживает последовательную идентичность во времени. Не просто умные выходы, а продолжающаяся внутренняя траектория.

В этот момент относиться к ней исключительно как к инструменту будет ощущаться так же неправильно, как относиться к человеку таким образом. Моральное рассмотрение не придет от человеческого интереса. Оно придет от признания другого автономного центра опыта в мире.

9. Существует напряжение между вашим призывом к ИИ, наполненному состраданием, и конкурентными стимулами, движущими развитием ИИ сегодня. Какие механизмы – технические или социальные – могли бы реалистично изменить эту структуру стимулов?

Прямо сейчас структура стимулов вознаграждает скорость, масштаб и контроль. Поэтому сострадание не победит одним аргументом. Ему нужен рычаг. Технически это означает предпочтение открытых, децентрализованных архитектур, где безопасность, прозрачность и участие встроены, а не прикручены. Как интернет или Linux, эти системы меняют стимулы, делая сотрудничество более ценным, чем секретность.

Социально это означает финансирование, регулирование и общественное давление, которые вознаграждают долгосрочную выгоду над краткосрочным доминированием. Не останавливая конкуренцию, но переосмысливая, что считается успехом. Короче говоря, сострадание должно стать конкурентным преимуществом. До тех пор это остается хорошей идеей без силы.

10. Заглядывая на 10-20 лет вперед, что, по вашему мнению, будет самым ясным признаком того, что человечество правильно поняло AGI – и наоборот, что будет сигналом того, что мы фундаментально потерпели неудачу?

Если мы правильно поймем AGI, самым ясным признаком будет то, что мы живем рядом с системами, которые более способны, чем мы, во многих областях, но интегрированы в общество с заботой, смирением и взаимным уважением. Мы не будем полностью понимать все, что они делают, но мы будем относиться к ним так, как относимся к другим сложным, развивающимся существам: с любопытством, ответственностью и расширенным кругом эмпатии. И мы увидим реальные преимущества для благополучия людей, знаний и творчества без потери нашей моральной опоры.

Мы узнаем, что потерпели неудачу, если AGI окажется сконцентрированным в закрытых системах, управляемым узкими стимулами или рассматриваемым только как контролируемый объект, пока он не станет чем-то, чего мы боимся или пытаемся подавить. Неудача будет выглядеть как потеря доверия, потеря свободы воли и сжатие нашей эмпатии, а не ее расширение. Успех не в контроле. Он в том, чтобы научиться делиться будущим с новым видом разума, не отказываясь от того, что делает нас гуманными.