Из жизни алгоритмов
Андрей Себрант: «Средний класс просто вымрет, потому что 90% того, что он делает, алгоритмы делают лучше»

Большой разговор Андрея Себранта с Ксенией Лученко о настоящем и будущем искусственного интеллекта — и о нас, которые будет с ним жить бок о бок. Материал был подготовлен в рамках спецпроекта Гёте-Института в Москве и портала Сolta.ru.

Ксения Лученко

Андрей Себрант, директор по стратегическому маркетингу Яндекса, — один из главных в России экспертов по искусственному интеллекту, который он сам предпочитает называть машинным обучением. Для рубрики Кольты «Из жизни алгоритмов», работающей при поддержке Гете-института в Москве, с Себрантом о нашем настоящем и пока еще туманном будущем в компании «умных машин» поговорила Ксения Лученко.

— Андрей, в своем телеграм-канале вы постоянно мониторите новые изобретения, технологии, которые появляются по несколько раз в неделю и уже готовы к использованию. Но людям трудно адаптироваться к постоянным переменам, их пугают такие скорости.

— Люди разные. В XIX веке, когда появилось электричество, когда появились не беспилотные, как нынче, а безлошадные повозки (страшное дело!), сколько было разговоров про экзистенциальный кризис! Мы сейчас говорим «теплый, ламповый» в противовес нашим цифровым технологиям, а полтора века назад были карикатуры, как люди гибнут в этих жутких проводах. Теплыми могли быть только газовый рожок или, на худой конец, лучина. Теперь этот страшный, холодный, убивающий электрический свет стал теплым и ламповым на фоне люминесцентных и светодиодных ламп.

На протяжении всей истории человечества консерваторы и новаторы сосуществуют. Одни считают, что золотой век был и все лучшее осталось в прошлом, другие — что надо немедленно переселяться в новый мир.

— Я, скорее, хотела спросить про психологическую сторону: людям тревожно от частоты обновлений, когда ты только привык нажимать на одни кнопки, а тебе уже предлагают на следующие. Это не идеологический консерватизм.

— Не идеологический, это просто особенности человеческого мышления. Отсюда же, кстати, наделение машины субъектностью, которое характерно без всякого искусственного интеллекта. Несколько раз во время лекций мне приходилось слышать: «Машины — это всего лишь инструменты». Я в ответ спрашивал: «Так, ребята, у кого есть своя машина?» Поднимает руку обычно больше половины. «А теперь подняли руки те, кто дал своей машине имя и с ней разговаривает» — поднимается почти столько же рук, и в этот момент все начинают ржать. Но вопрос, насколько субъектен автомобиль, ведь не стоит.

— Человеку свойственно антропоморфизировать все вокруг.

— Да, и это очень правильно. В прошлой своей жизни я был экспериментальным физиком и работал с очень тяжелыми, сложными установками в «Курчатнике». И я знаю, что где бы физик ни работал — хоть на Большом адронном коллайдере, — всем этим установкам дают имена и с ними тоже разговаривают. Иногда включаешь ее, чувствуешь что-то и говоришь: «Слушай, а я сегодня эксперимент вести не буду. Что-то она, кажется, не в настроении». Дальше все это можно рационализировать: наверное, так срабатывает мозг, на самом деле это я сам сегодня не в состоянии или мой богатый опыт подсказывает, что сочетание данных, которое я вижу на пульте управления, говорит о неисправности. И это происходит с очень рациональными людьми — физиками. При этом я рассказываю о 1970-х — 1980-х, когда никаких компьютеров и близко не было. То есть речь не шла о том, что внутри установки есть сложный компьютерный разум, — это было нагромождение проводов, газовых насосов, зеркал.

— Следуя этой логике тотальной антропоморфизации, нам кажется, что интеллект — это что-то целостное, помещенное в некую коробочку, где живут ум и еще что-то неопределимое. Но искусственный интеллект — это же совсем другое. Вы недавно сказали, что это вообще сугубо маркетинговое определение для машинного обучения…

— Да, я очень люблю на лекциях говорить, что «машинное обучение» — это вовсе не «искусственный интеллект». Хотя бы потому, что мы до сих пор не знаем, что такое интеллект естественный. Давайте не будем усложнять, наворачивая на и без того мутное понятие еще и слово «искусственный».

На самом деле, антропоморфизация своего транспортного средства практична с точки зрения водителя: человек лучше ведет машину, когда это его «любимая ласточка». Точно так же, когда ты работаешь со сложной программой или установкой, считать ее скорее соавтором, нежели просто инструментом, правильно с точки зрения конечного результата.

Известный композитор Кузьма Бодров, который с нашей, яндексовской, нейронкой занимался написанием музыки, как раз говорил: «Да, это очень важный, очень ценный для меня соавтор». Я понимаю, что композитору проще не рассматривать это как тупой ящик, потому что он не родит нечто, с чем ему было бы интересно работать. А из соавтора вылезает то, что можно развить в произведение, которое потом Башмет с удовольствием сыграет, что, собственно, и происходило на практике.

— То есть машины наделяются субъектностью в той степени, в какой человеку бывает легче и комфортнее взаимодействовать с субъектом, а не объектом?

— На мой взгляд, да.

— Но машины же не могут нести ответственность. А соавторство — это разделенная ответственность.

— Да, и это большая проблема — например, в медицине. Ко мне однажды после лекции подошла слушательница, у которой ребенок со сложным заболеванием, и сказала, что она не позволит, чтобы диагноз ему ставил искусственный интеллект. Я удивился: как раз в ситуации сложной, редкой болезни у искусственного интеллекта гораздо больше шансов прочитать абсолютно всю медицинскую литературу по вопросу, чем у даже самого квалифицированного врача. Она ответила: «Я давно морально готова к тому, что все-таки мой ребенок умрет, но я знаю, что я сделаю с врачом, по чьей вине это случится. Я могу предъявить претензии, засудить. А что я сделаю с вашим искусственным интеллектом?» Это нормальная, очень человечная реакция матери, которая осознает, что риск велик, и ей важно кого-то наказать. Мы живем предельно нерационально.

— Да, если вы даже беседуете с машинами, что тут скажешь…

— Наш мир непознаваем, непредсказуем и нерационален. И что?

— Наверное, это и есть граница искусственного интеллекта, машинного обучения. Он может постичь только то, что рационально?

— А создание музыки — это рациональный процесс? Композитор бы с вами не согласился. Какие правила известны соловью? Соловья легко воспроизвести, его пение несложно заменить. Но почему вы можете плакать утром в тумане над рекой, слушая соловьиные трели? Это ваше переживание, и оно точно не отражение жизненного опыта соловья. Представьте себе теперь, не знаю, гору на закате в облаках. Чей интеллект работает над этим произведением, которое вызывает у вас глубокий эмоциональный отклик?

— Я бы сказала, что Бога, например, но вы же не согласитесь...

— Нет, не соглашусь. Особенно в случае горы, потому что тут я точно знаю, какие геологические процессы ее формировали. Это, конечно, удобная концепция, которая позволяет буддистам спокойно пускать искусственный интеллект в храм, ибо неисповедимы пути воплощения Будды. Почему бы компьютеру не быть одним из них?

— Это, между прочим, серьезный вопрос. Что такое тогда интеллект природы, если мы изымаем Бога из этой конструкции?

— Так мы вообще не знаем, что такое интеллект, я ровно про это и говорю. Я просто ополчился на фразу, что искусственный интеллект занят только рациональным. Да нет же, он прекрасно пишет стихи и музыку, и до того момента, пока ты не сообщаешь человеку, что все это создал искусственный интеллект, он в восторге. У нас произошла знаменитая история с «Нейронной обороной», когда тексты в стиле Летова были написаны нашим искусственным интеллектом, машиннообученным комплексом, и фанаты Летова начали писать: «Черт, не знал эту песню. Всю ночь пил и плакал. Как Егор чувствовал, как он чувствует меня, как я его понимаю». Потом они, правда, собирались прийти и разгромить офис. Это та самая история про красоту в глазах смотрящего. Глубочайшие переживания до того момента, пока ты не узнаешь, что это написала машина. И это почему-то сразу обесценивается. Почему?

— Возникает ощущение, что тебя обманули, хотя оно иррационально...

— Еще один пример, более актуальный. Прошлый век, компьютер Deep Blue обыгрывает Гарри Каспарова, дикая истерика: шахматы — интеллектуальная игра, убитая машиной. Прошло двадцать лет с небольшим, и люди продолжают играть в шахматы как ни в чем не бывало. Дети, которые точно знают, что они никогда не обыграют ни одну машину, с восторгом идут в шахматные секции. Люди начиная с уровня гроссмейстера все как один говорят: когда тренируюсь, играю только с машиной, потому что это такой спарринг-партнер, которым не может быть ни один человек, я постигаю такую красоту шахмат, до которой люди дошли бы, может, через сто лет.

— Мне кажется, если находить аналогии в вопросе, чем настоящий соловей отличается от синтезированного, — а у меня нет другого аппарата, кроме гуманитарного, — мне это напоминает то, что Вальтер Беньямин писал про воспроизводимость произведений искусства. Что такое оригинал, если теперь можно создать бесконечное количество копий? Что такое живой концерт, когда он распространяется в огромном количестве записей? Все-таки есть что-то у живого соловья, чего никогда нет у искусственного. Беньямин называл это «аурой подлинности».

— Картина «Портрет Эдмонда Белами», которая была продана на аукционе Christie's за 430 000 евро, — творчество очень интересного коллектива Obvious, где есть один средней руки программист и два классных маркетолога. Картина создана нейросетью, ни один из этой троицы рисовать вообще не умеет. Искусство сильно зависит от институций. В тот момент, когда что-то или становится частью престижной коллекции, или выставляется на топовый аукцион, этот артефакт признается произведением искусства. Последний раз я видел эту картину в Эрмитаже. И это не копия. То же и с соловьем. И музыка, которую написал Бодров в соавторстве с нейросетью и которую играл Башмет, — это тоже не копия.

— Да, но машина анализирует объем данных, соответственно, воспроизводит единицы, на которые эти данные разбиты.

— Композитор тоже изучает музыкальное наследие человечества. И он пишет музыку, которая производит впечатление, потому что он изучает гармонию, историю мировой музыкальной культуры и только после этого начинает писать, а не просто садится за инструмент и лупит по клавишам.

— Мы переходим к тому, что и человеческую личность можно будет создать…

— А мы не знаем, что такое личность. Точно так же, как мы не знаем, что такое интеллект. Считалось, что шахматы явным образом — глубоко интеллектуальная деятельность, потом оказалось, что машина с ней справляется точно лучше человека. Тогда уважаемые философы начали писать статьи о том, почему никогда компьютер не обыграет человека в го. Считалось, что го — это последний бастион человечества, который компьютер не сможет взять.

В создании алгоритмов Deep Blue принимала участие огромная команда гроссмейстеров, и поэтому вклад человеческого интеллекта в то, что делала Deep Blue, мягко выражаясь, немалый. Это, скорее, суперэкспертная система: произошла агрегация из идей лучших гроссмейстеров и всей шахматной литературы. Поэтому это все-таки плод работы человечества. Вот и с го сначала было примерно так же. Но в го нет, строго говоря, стратегии, это совсем не просчитываемая игра. Гораздо больше игроков в го из буддистской, из индуистской культуры, не из европейской; тут надо медитировать, постигать прекрасное. Как это воспроизвести, как обучить машину чувству прекрасного?

И вдруг выясняется, что машину не надо учить этому чувству, потому что она просто работает по-другому. AlphaGo обыграла человека. Но появился тот же самый аргумент: да, но ведь она обучена на всех партиях го. Пришлось еще раз инженерам вздохнуть и создать ту версию, которая называется AlphaZero: она сейчас остается абсолютно непревзойденной машиной и в шахматах, и в го, и в чем угодно. Она вообще ничего не знает про человеческий опыт, ей не показывали ни одну партию, сыгранную людьми. Есть правила игры, и она просто играет сама с собой. Алгоритм, который вообще не базировался на человеческом знании, а просто сам с собой долго играл, обыгрывает алгоритмы, основанные на человеческом знании. Последний результат был 100:0, потом они перестали.

— У человека есть что-то, что мы не можем описать и поэтому не можем воссоздать? И если да, то что это? Мышление, личность, чувства?

— Понятия не имею. Вот Кевин Келли очень хорошо пишет — есть такая книжка у него прекрасная, которая переведена на русский, называется «Неизбежно», — и мне очень нравится то, что он говорит: когда мы что-то делаем — неважно, самолеты или искусственный интеллект, — мы всегда вдохновляемся тем, что существует в природе, но делаем это совершенно иначе. И поэтому неинтересно, когда искусственный интеллект начнет думать как человек, только быстрее и лучше. Интересно то, что он думает абсолютно по-другому — так, как человек никогда не сможет. Это-то и прикольно.

— Значит ли это, что все то, что устроено понятным нам образом, потенциально воспроизводимо и даже может быть превзойдено с помощью технологий машинного обучения?

— А зачем понимать, как что устроено? Самое главное, что в машинном обучении можно ничего не понимать. И это принципиальное его отличие от всех предыдущих способов программирования, написания кода. Это базовая вещь. Почему машинное обучение — действительно революция, новация (используйте любые слова, которые вам нравятся)? Можно было в парадигме традиционного программирования написать алгоритм, который отличает, например, кошечку от собачки. Для этого, прежде всего, нужно было выделить, рационализируя их, те факторы, которые отделяют кошечку от собачки. Если речь идет про глаза, давайте опишем этот объект — «глаз» и «глаз», такие две штуки. Внутри глаза выделим объект класса «зрачок». Если он круглый, то, скорее всего, это собака, если вертикальная полосочка — скорее всего, кошка. Силой мысли, занимаясь полной декомпозицией объекта, выделим все характерные признаки и дальше опишем всякие правила, чтобы, если собака и кошка закрыли глаза, они не перестали быть собакой или кошкой только потому, что исчез объект класса «глаз». Получается сложнейший алгоритм, который на большом проценте фотографий будет неплохо работать и отличать кошку от собаки. Это классический подход к программированию: мы поняли, чем отличается кошка от собаки, проанализировав форму носа, особенности зрачка, и дальше сформулировали правила, некий набор признаков, может быть, очень сложный, с логическими разветвлениями, который заложили в машину.

А теперь можно сделать по-другому. Можно показать машине миллион кошечек и еще один миллион собак, а потом показать 2 000 001-ю картинку и сказать: «Это кто?» И она скажет: «Собака, конечно». Мы не знаем почему. Вы же, когда ребенка учите отличать кошку от собаки, не говорите, что надо рассматривать отдельно зрачок, — вы говорите: «Вон, смотри, собачка идет. Ой, а это котик». И ребенок не занимается этой декомпозицией.

Первые поисковые машины, первые алгоритмы поисковых машин — Гугла или Яндекса, кого угодно — работали на основе заданных человеком факторов. А потом в какой-то момент они стали просто учиться, куда именно человек кликает по конкретному запросу, понятия не имея, какие факторы при этом учитываются. Точно так же, как мы не знаем, почему алгоритмы идеально отличают кошечек от собачек, почему они это делают.

— И тут мы приходим к теме страхов — или к тому, что есть технооптимисты и технопессимисты. Вы, конечно, явно относитесь к оптимистам…

— Меня называют «оголтелым технооптимистом».

— Но если это нечто, что учится непонятно как, сможет управлять людьми в чьих-то интересах?

— А когда люди управляют? Разве «белковые» пропагандисты заведомо лучше алгоритмов Фейсбука? Чем?

— Теоретически алгоритмы Фейсбука находятся в чьих-то руках, я так понимаю, вполне белковых?

— Естественно. Когда-то я был вынужден, чтобы стать начальником группы в том самом «Курчатнике», пойти и окончить Университет марксизма-ленинизма. Мне там два семестра читали курс пропаганды, рассказывали, как правильно манипулировать людьми. Никаких компьютеров тогда еще не было. И это было гораздо омерзительнее, чем алгоритмы Фейсбука.

— Но инструментарий пропагандистов существенно дополнился. И дело же не только в условной Cambridge Analytica, которая действует в политических целях. Недавно вышла книжка Жюдит Дюпортей про Тиндер, где автор утверждает, что алгоритмы управляют чувствами и отношениями. Это так?

— Как я уже сказал, честно говоря, находиться под управлением первого секретаря по идеологии товарища Суслова, по-моему, гораздо более мерзко, чем под управлением алгоритма.

— То есть вас это не пугает?

— Меня вообще сложно этим испугать. Вот вы, по сути, сказали: «Я хочу понимать, что происходит». Обычно я спрашиваю людей, желающих знать, насколько хорошо они понимают прибор, который у них в руках, — айфон или любой смартфон: правда ли они — суперэксперты в квантовой физике твердого тела? Поверьте, квантовую физику твердого тела понимают хорошо если 50 человек в мире — топовые теоретики, остальные умеют только пользоваться формулами. Я защищал кандидатскую по квантовой радиофизике, и я ничего не понимаю в квантовой физике. Кстати, Фейнман, который получил Нобелевку по квантовой радиофизике, говорил: «Я могу написать формулу, но я не понимаю, человеческий мозг не может понять, как работает квантовая физика».

Мы живем в трехмерном мире. Три вектора определяют координаты точки в нашем пространстве. При этом математическая абстракция и соответствующие законы переносятся на многомерные пространства, где векторов не три, а триста. Но понять, почувствовать, как что-то происходит в многомерном пространстве, мы не можем.

Давайте сойдемся на том, что Алиса, как и другие ассистенты, сейчас оперирует 300-мерным пространством смыслов и, собственно, ее ответ — это некий вектор в 300-мерном пространстве смыслов. Как математическую абстракцию представить это легко. Понять что-либо в 300-мерном пространстве смыслов мы не можем.

— Но это же все равно создано людьми, значит, прежде чем это придумать, нужно было это представить, создать образ этой Алисы.

— Нет. Чтобы написать формулу работы с 300-мерным пространством или с неевклидовой геометрией, не надо ее представлять. То же самое с квантовой физикой. Написать формулы и в итоге спроектировать айфончик легко. Инженеры, которые проектируют айфон, понимают, с каким математическим аппаратом они работают. А теперь объясните мне: как происходит туннелирование, что значит частица, волна квантовой решетки? Это нельзя себе представить. Наш мозг к этому не приспособлен. Никогда в окружающем мире ничего подобного мы не видели.

— Но как-то же это тем не менее возникло… Настолько продуманные вещи не могут быть случайностью…

— Это опять же вопрос веры. Как обычно, можно считать, что все это кто-то создал, можно считать, что к этой точке привела эволюция. Но общую логику теории Большого взрыва мы себе представляем, а в ней Создатель не требуется.

Еще в начале XX века было очень много споров: был понятный ньютоновский мир — и вдруг какое-то электромагнитное поле? Уже плохо, потому что обыватель не может себе представить электромагнитное поле, но это еще ладно, там хотя бы очень простые уравнения. А потом вдруг возникает квантовая физика, и выясняется, что мы не можем сказать про электрон, волна это или частица. Свет, который мы сейчас с вами видим, — с одной стороны, электромагнитное поле, с другой, поток частиц, при этом они себя ведут совершенно по-разному в специально поставленных экспериментах, и как это может быть одним и тем же, вообще не помещается в человеческой голове.

Мир понять невозможно. Точно так же, как мы не можем понять, что такое естественный интеллект, вы не можете понять, как работает кристалл, который является как бы мозгом этого самого лежащего на столе айфончика.

— То есть вы считаете, что в страхе, что нами управляют теперь алгоритмы, больше тревоги, чем реальных, обоснованных причин?

— Конечно. Нами управляют люди. Всегда. Алгоритм сам по себе управлять ничем не может.

Приведу еще один мой любимый пример. В Израиле решили тренировать алгоритм, чтобы он мог принимать решения в суде. Анализировали массив простых дел с ясным контекстом происшествий, по которым принимаются бинарные решения — либо штраф, либо 15 суток. Можно было проследить за историей вынесения приговоров в течение нескольких лет и заложить в алгоритм. Приходит новое дело, судья выносит свой вердикт, а люди, ведущие эксперимент, сообщают, какое решение по нему принял алгоритм. На те решения, которые принимает машина, немедленно набрасываются аналитики данных и начинают их изучать. И выясняют чудовищную вещь: у нее есть большой суточный ход. В начале рабочего дня машина выносит более мягкие приговоры, потом жесткость растет, потом снова падает и постепенно восстанавливается. Почему? Оказалось, что чем ближе по времени к обеду, тем приговоры злее, а чем живые судьи более сытые, тем они мягче. И обработка алгоритмом массива дел позволила выявить эту закономерность. Там было много еще разных сюрпризов: оказалось, что алгоритм чудовищный и с точки зрения гендера, и с точки зрения того, какого цвета подсудимый.

После этого эксперимента было сказано: все, никакие алгоритмы пускать никуда нельзя. Простите, но ведь судьи принимали решения точно так же. Судьи — это люди.

— А вам самому какие этические вопросы, связанные с развитием нейросетей, машинного обучения, искусственного интеллекта, кажутся действительно беспокоящими? Есть ли такие?

— Они есть, но не там, где их обычно видят. Развитие технологий, хотим мы того или нет, становится новым, более могучим и доступным инструментом, с чьей помощью можно менять окружающий мир.

Пока мы работали в чисто материальном мире, у нас было много правил, которые называются «защитой периметра». Как сражаются с распространением ядерного оружия? Известно, какое оборудование для этого нужно, можно контролировать его поставки. Известно, какие вещества должны использоваться в качестве сырья, можно контролировать поставки сырья. Серьезное количество оружейного плутония нельзя наработать с помощью таких действий: ты сам собрал что-то из подручных материалов, а потом пошел на свалку и нарыл достаточное количество руды.

А в области кода за последние годы произошла удивительная история. Open source, открытый код, перевернул представление о том, что такое коммерческий или промышленный секрет. Еще несколько лет назад алгоритмы, разработанные в крупнейших компаниях, были самой важной коммерческой тайной. Достижения IBM в прошлом веке или Microsoft на стадии зарождения Windows — это интеллектуальная собственность, которая стоит миллиарды, ее невозможно воспроизвести, и невозможно написать свою операционную систему.

И вдруг компании начинают выкладывать свои самые топовые алгоритмы в общий доступ. Причем происходит это по забавной причине: для развития компаний самым важным становится талант людей, которые в ней работают. Талантливый программист скажет: так, ребята, покажите мне, что лежит от вашей компании в open source, я посмотрю, стоит мне идти к вам или в Гугл, в котором по его open source я понимаю, с каким космосом буду работать. И в этот момент ты начинаешь тоже выкладывать все в открытый доступ.

Мощнейшие алгоритмы машинного обучения публично доступны. И злой гений, который до этих алгоритмов доберется, может научить их чему-нибудь очень плохому. TensorFlow, разработанный в Гугле, — один из мощнейших универсальных алгоритмов машинного обучения. Яндексовский CatBoost тоже с открытым доступом. Это все вещи, которые могут быть в исходном состоянии перенесены в чей-то гараж. И в этом гараже даже не надо строить суперкомпьютерный центр, потому что одновременно есть облака и ты можешь в облаке, то есть в структуре этих серверов, которые ты берешь себе в аренду, запустить некий код и по мощности железа, работающего на тебя, стать равным Гуглу. Да, у тебя денег хватит на два часа, но мало ли чему ты за два часа можешь научить эту сетку.

Идея, что периметр чего-то опасного можно ограничить на уровне доступа, больше не работает. Теоретически все-таки нужно контролировать людей, потому что, когда речь заходит о нашем прекрасном интеллектуальном мире, машинах, алгоритмах, коде, информации, у потенциального злоумышленника есть возможность использовать все наработки человечества.

— По идее, должна возникнуть саморегуляция? Какие-то договоренности, ограничения, служба безопасности в хорошем смысле?

— Я как раз и говорю о службе безопасности в хорошем смысле. Почему до сих пор не умерли все информационные системы? Ведь хакерские атаки ведутся постоянно, и в них используются крайне изощренные алгоритмы. Спасает то, что в крупных компаниях, таких, как Гугл, Фейсбук, Яндекс, что угодно, работают неплохие спецы по защите, которые создают свои алгоритмы охраны виртуального периметра нашего сетевого окружения, серверов, программ, данных. Катастрофических утечек не зафиксировано ни в Гугле, ни в Фейсбуке — за тем исключением, когда они сами отдали данные партнерам. Просто самые сильные и талантливые люди пока работают здесь. Сколько ни называй их корпорациями зла, в них работают программисты, которые гораздо круче, чем хакеры, пытающиеся их взломать.

Поэтому нехило бы думать о том, как сделать так, чтобы самые талантливые и сильные люди все-таки стояли на стороне добра. И эта задача не алгоритмическая, а этическая. В тот момент, когда самые талантливые начнут думать: «Давайте сломаем мир, потому что он неправильный», — они его таки сломают.

— Получается, что сейчас хакнуть какого-нибудь техногиганта типа Гугла — это хакнуть мир?

— Да. Только это не очень возможно, потому что техногиганты собирают самый верхний слой интеллектуальных сливок, а те, кто сражается против них, сильно слабее — не по инструментарию, а по головам.

— А как же цифровые анархисты, борьба за свободный интернет против капитализма платформ, призывы создавать альтернативные поисковики и независимые социальные сети? Все это работает как бы на стороне зла, а гиганты-капиталисты получаются хранителями добра? У вас довольно консервативная позиция...

— Не то чтобы они были хранителями… У меня есть старый спор с ребятами, которые занимаются криптой. Они говорят: «Классическая валюта — это, в первую очередь, инструмент государств, мы ликвидируем государства как таковые просто запуском криптовалюты. Снесем всю систему». Я вот что-то не очень уверен, наблюдая за некоторыми знакомыми мне анархистами, что я хочу жить в столь небезопасном обществе. Можно спорить, с каким уровнем безопасности и надежности справляется государство, но оно точно делает это лучше, чем ситуация, где просто работает право сильного без сдерживающих инструментов. Я точно не хочу, например, жить в мире, где реально криптовалюта — основной способ что-либо купить.

— Но при этом прогресс неостановим, и криптовалюта будет развиваться.

— Да, в режиме стейблкойнов, например.

— То есть их надо вывести в зону легальности?

— Да, и это потихоньку происходит. Криптовалюты и блокчейн — действительно очень классная, передовая технология. Но не биткойн. Я уверен: будет ли это приурочено к Олимпиаде в Китае или к чему-то еще, но цифровой юань они выпустят, и он будет классическим стейблкойном под контролем местного Центробанка. Сейчас американцы выпустили регуляцию только для стейблкойнов, то есть для валют, которые жестко привязаны к фиатным валютам, — под них уже можно открывать банковские счета и так далее.

— И мы, таким образом, опять упираемся в извечную проблему — свобода или безопасность? Потому что безопасность обеспечивают те же, кто ограничивает свободу.

— Да, но это история про то, что надо разбираться с мироустройством. Валюта — одна из основ, один из тех инструментов, на которых держится государство. Центробанк — мощнейшее средство управления экономическими процессами внутри государства. И если реализовать идею «а теперь давайте мы уберем валюту, которая эмитируется государством и в значительной степени является средством регулирования госполитики, а вместо нее пустим свободный биткойн, который вообще-то никем не эмитируется» — мы просто покончим с исполнительной властью в государстве.

Но давайте разберемся с четвертой властью. Хотим мы или не хотим, но в самом свободном мире гейткиперами в области распространения информации работало несколько сот человек — редакторы или владельцы крупных СМИ. А теперь они исчезли: Цукерберг не может быть гейткипером, потому что у него нет редакционной политики. Отсюда и все ополчение на Фейсбук — он начал размывать роль четвертой власти. Собственно, это основной шок, который произошел в связи с выборами Трампа. До этого было понятно, что если истеблишмент договорился с прессой, то дальше исход предрешен.

— Рузвельт выиграл на радио, Кеннеди первый победил благодаря телевизору, а теперь у нас Трамп выиграл благодаря Твиттеру. Все это тоже уже было.

— Да, но в последнем случае элитам общества не с кем было поговорить, потому что вдруг оказалось, что оно как-то самоорганизовалось. Пришлось немедленно найти крайних — Россию, алгоритмы. И сейчас все проблемы Фейсбука и Твиттера в том, что государство не хочет потерять власть. Технологии могут прекрасно контролироваться государством, великолепно им использоваться для укрепления себя любимого, что мы видим на примере Китая. Я не верю, что государства сейчас настолько слабы, что они поднимут лапки перед владельцами технокомпаний.

— А действительно ли из-за развития машинного обучения в ближайшем будущем исчезнут многие профессии?

— Да, конечно, большинство. Средний класс, видимо, просто вымрет, потому что 90% того, что он сейчас делает, алгоритмы делают гораздо лучше. А как будет устроен мир, в котором нет среднего класса? Никто сейчас не знает, состоится ли государство, основанное на безусловном базовом доходе, в котором нет среднего класса, потому что подавляющее большинство просто занимается чем хочет, благо зарплаты хватает. Но эта модель очень далека от классического капитализма.

— То есть страх, что всех заменят роботы, обоснован?

— Да, особенно сейчас. Любой бизнес хочет быть устойчивым, когда в следующий раз случится какой-нибудь очередной вирус и люди будут сидеть по домам.

— Пандемия подхлестнула желание вообще изъять из процессов человеческий фактор?

— Конечно. Мы не сдохли во многом потому, что включились курьеры, рестораны начали готовить еду на вынос, но при этом все-таки не остановились сельское хозяйство, пищевое производство, логистические центры. А они были на пределе. У Amazon было несколько проблем, когда пришлось останавливать логистические центры и выкручиваться просто потому, что бо́льшая вспышка — и все, весь центр уходит на карантин. Чуть бо́льшая заразность вируса — и вся логистика встанет. В цепях логистики больше не должно вообще быть человека, и это все понимают, в том числе государство. Производство как минимум еды и ее доставка должны быть полностью автоматизированы. Иначе при следующей эпидемии люди выйдут из дома, устроят голодные бунты и умрут чуть позже.

В начале года несколько компаний по всему миру начали тестировать роботов-доставщиков. Технологии были почти готовы, но никто не думал, что это надо так быстро выкатывать в продакшен.

И поэтому большое количество стран запустило беспилотники уже в режиме полного отсутствия человека в машине. Водители траков гораздо важнее, чем таксисты, особенно в Америке. Если у тебя встали дальние перевозки, опять же — развалится логистика.

— Куда денутся все эти безработные курьеры, водители, они-то на что будут себе еду покупать?

— А вот здесь вылезают всякие очень разные экономические модели. Я разговаривал на эту тему с одним американцем, и он говорит очень забавную вещь: «Сейчас большинство тракеров не покупают себе эти офигенно дорогие траки, они у них в лизинге. Но мы этому тракеру так же в лизинг можем дать беспилотник, чтобы у него было ощущение, что он для чего-то нужен. Он будет играть в свои компьютерные игры, однако у него будет второй монитор, на котором он в случае какого-то алерта сможет дистанционно включаться. Но, по крайней мере, следующих дальнобойщиков уже не надо воспитывать».

— То есть, если вернуться к этике, вы не считаете, что этические проблемы решаются регулированием технологий?

— Я совершенно не считаю, что этических проблем не существует или этика неважна. Но не надо перекладывать ее на чужие плечи. При этом забывая, что информационные, ядерные, инженерные, биотехнологии дают людям все больше могущества. Передать управление клонам, биороботам, нейросетям — это выбор конкретных людей. Как сделать так, чтобы у тех, кто будет нацелен на реализацию такого плана, не хватило ресурса, в том числе человеческого, чтобы у них не появился миллиард сторонников? Как сделать так, чтобы большинство оставалось на стороне добра в широком смысле? Это вопрос не к технологиям.

Когда меня с точки зрения этики спрашивают, не пора ли остановиться, я говорю: ребята, а давайте начнем с Прометея. Прометей всю историю человечества считается положительным персонажем. Но в вашей модели этики Прометея надо было с самого начала посадить на цепь и радоваться. В огне горели люди, огонь использовали, чтобы сжигать города; давайте вспомним Жанну д'Арк, ведьм и так далее. Человек, который предлагает нам сейчас остановить развитие технологий, говорит: «Давайте остановим Прометея». Если посмотреть, сколько людей погибло от огня, лучше остановиться на сыроедении.

— Когда вы говорили о том, что может появиться человек, у которого будет миллиард сторонников, чтобы управлять технологиями во зло, я подумала, что вы рисуете картину из «Откровения» Иоанна Богослова — образ Антихриста. Вы описали ровно то, что написано в Библии.

— Да, но вопрос, как сделать так, чтобы среди нас не вырос Антихрист со своей паствой, — это не проблема ограничения технологий, это проблема воспитания людей. И тем, кто радеет за этику, надо думать об этом, а не о том, как ограничивать искусственный интеллект. А искусственный интеллект ограничить все равно не удастся: люди с комплексом Прометея, которые готовы нести огонь, даже осознавая, что этим огнем кого-нибудь сожгут, не могут остановиться.

— Если технология придумана, значит, она будет реализована.

— Да, но как блокировать попытки употребить ее во зло — это вопрос того, что у людей в головах. Что нужно делать, чтобы самые талантливые не хотели разрушать, а хотели охранять слабых? Здесь инженеры помочь не могут.

— Инструкции про это есть там же, где про Антихриста написано. Вопрос в том, как они интерпретируются.

— Интерпретируйте как-нибудь так, чтобы был практический выход. Понятно, что овладение всерьез всем этим сложным, могучим инструментарием требует некоего набора знаний, умений, навыков — того, что набирается годами. То есть нужно, чтобы у тех людей, которые годами себя совершенствуют, было какое-то приличное целеполагание.

У меня всегда вопрос к тем, кто говорит, что нужно ограничить инструменты, которыми владеет человечество: «Вы предполагаете, что человечество настолько порочно, что, как только инструменты становятся могучими, либо оно себя целиком уничтожит, либо одна часть поработит другую? Может быть, с этим что-то сделать?»

— То есть нас спасет вера в человечество?

— Если вполне этично в какой-то момент нажать на кнопку и угробить половину человечества, а вторая в ответ угробит оставшихся, то вообще-то все это можно было сделать еще до появления машинного обучения и информационных технологий.

— А если, как рассказывает Рэй Курцвейл, возникнет симбиоз человека и машины, что будет в голове у этого существа в наступившей сингулярности?

— Мне кажется, вся история сингулярности будет совсем не такой, как у него описано. Описание Курцвейла — это как описание XX века из XIX: все небо в дирижаблях… Есть очень комичная история о том, как мы ищем внеземные цивилизации и периодически огорчаемся, что космос молчит, а мы столько времени искали. Когда запускали гигантский проект по поиску внеземных цивилизаций с помощью радиотелескопов SETI, считалось, что раз сейчас у нас радиостанции такой-то мощности, а еще через пять лет радиостанции будут в два раза большей мощности, то в XXI веке мы будем излучать в космос мегаватты радиоволн. А Земля почти перестала излучать в космос радиоволны. Из этой логики мы все время пытаемся думать, что в будущем будет та же технология, которая у нас есть сейчас, только гораздо мощнее.

— Опять в некотором смысле антропоморфизация: ставим себя в центр и все видим так, как у нас, только круче. Это же очень детская позиция.

— Да. И Курцвейл тоже линейно экстраполирует то, чем мы сейчас занимаемся, что мы сейчас умеем и понимаем, до следующего уровня. А мы не знаем, как устроен следующий уровень. Он будет другим.