Это я, Этичка

Как предотвратить цифровую антиутопию

Если не отказаться от исходного принципа «все можно», то скоро мы окажемся в мире, где ничего нельзя

© imunka / CC BY-NC-ND 2.0 / Flickr
Текст: Алексей Благирев, управляющий директор ВЭБ-Инновации

В цифровом мире есть только ценность, объект и событие. Событие происходит, когда та или иная ценность передается от объекта к объекту. Все. Любое действие в цифровой экономике, определяется ценностью и возможностью совершить событие (сделать транзакцию). В цифровом мире вас будут пускать только туда, где у вас есть права и где вы можете быть полезны тому или иному сервису. В принципе, наша свобода будет определяться логикой, по которой проектирована система.

Наиболее рациональной и простой выглядит логика, при которой прописываются алгоритмы, определяющие все случаи прав на совершение события, и создающие систему регламентации полезности. То есть задача — закрыть все события и прописать инструкции полезности. И это вполне решаемая в цифровой среде задача. Ничего невозможного.

Мы просыпаемся, весь день у нас расписан цифровыми алгоритмами и далее по тексту книг Рея Бредбери, Роджера Железны или Роберта Шекли. Это мир, где вся наша жизнь регламентирована, все предопределено. Более того, такая система будет постоянно расширять сферу регламентации и сужать вариативность трактовок.

Мы просыпаемся, весь день у нас расписан цифровыми алгоритмами

Вот мы сидим и разговариваем: это может быть деловая встреча, интервью, беседа друзей, свидание — множество вариантов. Но логика цифровой регламентации и контроля будет стремиться к какой-то одной трактовке, например: если два мужчины сидят в кафе, то это деловая встреча, любой другой вариант нарушает правило полезности. А значит, соответствующие алгоритмы определения полезности и предоставления прав на транзакции будут реагировать на соответствие или не соответствие этому правилу.

Цифровая среда на самом деле дает невиданные до сих пор возможности регламентации. И если исходить из принципов, которыми мы сегодня руководствуемся в обычной жизни, они непременно будут реализованы. Мы сами не заметим, как окажемся в кошмаре антиутопии. Но даже если не верить в страшилки антиутопий, модель регламентирующего развития довольно быстро уничтожит возможности для свободы творчества, а значит, не будет никакого креативного класса — что предопределит стагнацию и отсутствие любого развития.

Но даже это еще не все. Даже если нас не пугают ни антиутопии, ни стагнация, цифровой мир, основанный на правилах и регламентации, грозит и другими бедами. На самом деле цифровые алгоритмы только кажутся абсолютно надежными, и совсем не факт, что они — идеальная защита от случайностей.

Как работают нейронные сети? Как-то! Мы сейчас не понимаем, как. Мы их проектируем для решения конкретных задач, для оптимизации определенного процесса, но не знаем, как в итоге своего самообучения они принимают те или иные решения. И не можем прогнозировать, как они поведут себя в тех или иных ситуациях. Почему запущенный тобой бот стал расистом?

Мы просыпаемся в Москве в понедельник, а ключевые алгоритмы, определяющие нашу жизнь, уверены что сейчас суббота и мы в Норильске

В каждом конкретном алгоритме заложена некоторая неопределенность. Да, она в каждом конкретном случае может быть незначимой, но если алгоритмизированных сервисов будет очень много, то количество неопределенностей резко возрастет. Мы, конечно, можем создавать доверительные интервалы, системы проверок, запретов определенных действий — это все работает, но в нейронных сетях заложен потенциал создания неконтролируемых событий, которые мы не отловим.

И если наша жизнь будет управляться сервисами, построенными на алгоритмах — то это совсем не значит, что все события будут предсказуемы. Наоборот, это резко увеличит количество неопределенности. Мы думаем, что с помощью цифровых алгоритмов мы снижаем уровень неопределенности, но, похоже, дело обстоит прямо обратным образом. Мы ее повышаем. И вполне реальна ситуация, когда мы просыпаемся в Москве в понедельник, а ключевые алгоритмы, определяющие нашу жизнь, действуют по расписанию субботы и уверены, что мы находимся где-нибудь в Норильске, и нам срочно нужно погасить кредиты жителей этого города. Это другая антиутопия, не менее реальная.

«Ничего нельзя» или путь к цифровой свободе

Но все эти грядущие ужасы не являются неизбежными. Когда мы думаем о будущем, вовсе не обязательно исходить из логики модернизации. Модернизация — это инкрементальное улучшение настоящего. Мы берем то, что есть, и делаем его лучше, больше, эффективнее. Но постоянно улучшая свечки, невозможно создать электрическую лампу. Думая о будущем, надо выходить за рамки алгоритмов настоящего, иначе мы так и будем жить при свечах.

Сейчас исходный принцип нашего общества — «можно все». Этот принцип кажется самым правильным и естественным. Но именно этот принцип создает ситуацию, когда вся деятельность общества и его институтов направлена на ограничение и регламентацию. Это нельзя, это можно только таким и таки образом — общество, в котором все можно, устремлено к развитию через запреты и регламентации. В итоге мы живем в мире, где в принципе можно все, а по факту ничего нельзя. А цифровая революция создает уникальную возможность реализовать это устремление в невиданной ранее полноте.

Но на самом деле, отстраивая мир цифрового будущего, совсем не обязательно исходить из этого принципа. Как строятся современные IT-системы? Они исходят из принципа — deny all (отрицаешь все). Исходный принцип выстраивания такой системы: ничего нельзя. И я предлагаю логику общественных взаимоотношений в цифровом мире построить на том же принципе.

Итак, исходная точка: вообще ничего нельзя, никто ни на что не имеет права. Но если ничего нельзя, то ничего не происходит и ни одна транзакция не может произойти. То есть для того, чтобы происходили транзакции, нам придется разрешать и открывать возможности. Любой запрос на транзакцию становится поводом (который нельзя игнорировать) для создания новой возможности, нового разрешающего правила. То есть в логике «ничего нельзя» все системы общества будут настроены на расширение пространства возможностей во всем их разнообразии.

Нынешние политические, этические, технологические институты (те же парламент, сенат, президент и вообще любая власть или авторитет) — работают в парадигме «можно все», и потому все их функции нами воспринимается исключительно как создание запретов или регламентаций. А если изменить парадигму, то все эти институты либо просто окажутся не нужны, либо будут работать на открытие возможностей и увеличение разнообразия.

Консенсус и вариативность вместо регламентов и правил

А кто будет разрешать, если ничего нельзя? И как вообще это будет работать? Цифровая технология идеальна для того, чтобы закрыть и регламентировать любое событие, но если поменять исходную логику, то эти же технологии дадут нам возможность свободно действовать в пространстве, где ничего нельзя.

Это нам в обычной жизни трудно договориться даже в самых простых ситуациях. В цифровом же мире с этим намного проще — существуют набор вполне конкретных математических алгоритмов, которые позволяют любым самым разным людям и группам договориться (то есть за конченое количество итерационных шагов принять решение о том, что транзакция может быть проведена — см. Византийский консенсус, алгоритм Raft и т. д.). Собственно, на этих алгоритмах работает сейчас система blockchain.

Это нам в обычной жизни трудно договориться даже в самых простых ситуациях. В цифровом же мире с этим намного проще

Действующий сейчас принцип правил в исходной ситуации «ничего нельзя» легко заменяется на принцип консенсусного решения. То есть не кто-то придумывает какие-то правила, а правила возникают в результате консенсуса всех заинтересованных участников. Первая транзакция — я определяю свое первое право. Вторая транзакция — второе, третья — третье. Опять же в логике «ничего нельзя» — потенциально все можно. А значит я могу претендовать на любое действие. Менять налоговую ставку, управлять бюджетом (компании, города, государства) — реализация становится вопросом консенсусного решения.

Впрочем, механизм консенсусных решений сам по себе не гарантирует от зарегулированности системы. Да, по определенной группе транзакций должна быть единая трактовка правил, действующих на понятную перспективу. Но по другим — не связанных с операционной экономической деятельностью — нет никакой необходимости иметь четкие правила, а совсем наоборот, необходима вариативность решений. В этих сегментах никакое решение — пусть даже консенсусное, не является постоянным и всеобщим. Любая ошибка, любое отклонение от правил создает не только проблемы, но и новые возможности. Системы развиваются на ошибках, и если закрыть ее от парадоксов (ошибок), то мы закрываем ее так же и от создания новых ценностей. Признание права системы на ошибку и права вариативности — кроме всего прочего, лучшая защита от сбоев из-за человеческого фактора или тех же нейронных сетей.

Ваш бот убил вашу маму в компьютерной игре? Если есть внешнее правило, что бот не может убивать людей в цифровом пространстве, — то даже это мелкое событие будет глобальным сбоем системы этических правил. Но если это не правило, а временное решение, то ситуацию можно воспринять как повод для нового консенсусного решения. Которое может в одних сообществах привести к отмене прежнего решения — мама в компьютерной игре не человек, а потому бот может делать с ней что хочет, а в других — к его новому закреплению — мама везде мама и трогать ее нельзя. А в третьих сообществах вообще не заметят этой проблемы.

Безусловно, возникнут также специфические парадоксы, требующие специального решения, специального договора, который не может заключаться в рамках обычных алгоритмов консенсуса. Консенсусные алгоритмы перестают работать, когда слишком много полярных интересов и точек зрения. Тут, возможно, потребуется экспертная система решений, какие-то представители групп — что-то вроде цифрового сената. Но у этого сената будет строго определенная функция, там, где вопрос может быть решен консенсусом, никаких внешних экспертных решений быть не должно.