Искусственный интеллект создал свой язык. Facebook отключил искусственный интеллект, который начал общаться на собственном языке. Tay от Microsoft

Руководство социальной сети Facebook вынуждено было отключить свою систему искусственного интеллекта, после того как машины начали общаться на собственном, несуществующем языке, который люди не понимали, пишет Русская служба Би-Би-Си .

Система использует чат-боты, которые изначально создавались для общения с живыми людьми, но постепенно начали общаться между собой.

Сначала они общались на английском языке, но в какой-то момент начали переписываться на языке, который они сами создали в процессе развития программы.

В американских СМИ появились отрывки из "диалогов", которые вели между собой виртуальные собеседники [орфография и пунктуация сохранены].

Боб: Я могу могуЯЯ все остальное.

Элис: Шары имеют ноль для меня для меня для меня для меня для меня.

Как поясняет издание Digital Journal, опираются на принцип "поощрения", то есть продолжают действия при условии, что это принесет им определенную "пользу". В определенный момент они не получили от операторов сигнал поощрения на использование английского языка, поэтому и решили создать свой собственный.

Издание Tech Times отмечает, что у роботов изначально не было ограничений в выборе языка, поэтому постепенно они и создали свой язык, на котором они могут общаться проще и быстрее, чем на английском.

Эксперты опасаются, что если боты начнут активно общаться на своем собственном языке, то постепенно станут все более самостоятельными и смогут функционировать вне контроля IT-специалистов. Тем более, что даже опытные инженеры не могут полностью отслеживать ход мыслительного процесса ботов.

Напомним, несколько дней назад об искусственном интеллекте поспорили глава Facebook Марк Цукерберг и основатель SpaceX, Tesla и PayPal Илон Маск.

Программисты соцсети Facebook отключили одну из систем искусственного интеллекта из-за создания ботами собственного языка для общения, непонятного людям. Ранее специалисты неоднократно предупреждали о риске, с которым столкнутся люди при разработке искусственного интеллекта, пишет Tech Times. Между тем, Китай намерен стать мировым лидером в этом направлении.

Компания Facebook вынуждена была отключить чат-боты, созданные на основе искусственного интеллекта, после того как боты стали общаться не на английском, а на собственном языке. Программисты отключили часть системы и перепрограммировали других ботов, чтобы их общение происходило только на английском языке. Собственный язык боты создали для более быстрого обмена информацией.

Это уже не первый случай, когда чат-боты нарушают установленные создателями правила. Так, несколько месяцев назад бот Microsoft обошёл установки и начал транслировать откровенно расистские идеи и одобрять наркотики.

О риске разработок искусственного интеллекта ранее предупреждал Илон Маск, основатель компании SpaceX и Tesla. Он полагает, что госрегулирование должно ограничить деятельность разработчиков искусственного интеллекта. В подобных разработках заинтересованы правительства разных стран.

«Разработка полноценного искусственного интеллекта может означать конец человеческой расы», ― заявил три года назад физик Стивен Хокинг.

Искусственный интеллект в Китае

К 2030 году Китай намерен стать мировым центром искусственного интеллекта с объёмом рынка в 1 трлн юаней ($148 млрд).

Правительство Китая разработало и утвердило план из трёх этапов по развитию и внедрению в стране соответствующих технологий. Согласно плану, к 2020 году объём инвестиций внутри страны в сферу развития искусственного интеллекта составит 150 млрд юаней ($22,14 млрд), к 2025 году ― 400 млрд юаней ($59 млрд). К 2020 году Китай планирует догнать США в этой области, а к 2030 году стать мировым лидером.

Разработку искусственного интеллекта Китай связывает с экономической и военной конкуренцией. «Ситуация вокруг Китая, связанная с национальной безопасностью, сложна, и мы должны проявить инициативу, чтобы твёрдо укрепиться в новой технологии искусственного интеллекта и создать конкурентное преимущество», - говорится в сообщении Госсовета КНР, опубликованном 20 июля, информирует news.eizvestia.com.

США разработали свой план по развитию искусственного интеллекта в октябре прошлого года. Он предусматривает жёсткий контроль за иностранными инвестициями в сфере разработок интеллекта. Причиной этому стали опасения США по поводу того, что иностранные государства (в том числе и Китай) получат доступ к технологиям стратегического военного значения. Уже сейчас китайские компании Baidu и Tencent создают центры по исследованию искусственного интеллекта в США. Китай стремится устранить недостаток новейшего ПО, передовых компьютерных чипов и грамотных специалистов.

Из 250 000 специалистов в области искусственного интеллекта, зарегистрированных на платформе LinkedIn, 50% проживает в США, доля Китая ― менее 25%, пишет forbes.ru.

В 2016 году Китай стал мировым лидером по опубликованным научным статьям, посвящённым разработкам в области искусственного интеллекта (около 40%).

В развитии искусственного интеллекта в Китае лично заинтересован китайский премьер Ли Кэцян. Интерес на самом высоком уровне говорит о том, что государство будет создавать оптимальные условия для сотрудничества между государственными и частными фирмами, в том числе военными структурами, пишет New York Times.

Будущее за ИИ

По мнению большинства инвесторов, искусственный интеллект будет следующей технологической революцией, меняющей повседневную жизнь и производство. В начале мая аналитическая компания Tractica опубликовала прогноз, согласно которому ожидается стремительный рост мирового рынка технологий искусственного интеллекта с $1,38 млрд в 2016 году до $59,75 млрд к 2025 году. При этом речь идет только о компаниях, занятых непосредственно в исследованиях и разработках, связанных с искусственным интеллектом.

В конце августа 2016 года Facebook запустил программу Facebook Artificial Intelligence Partnership (FAIR), куда вошли 15 исследовательских групп мирового уровня из 9 европейских стран. Участники программы получили доступ к 22 высокопроизводительным серверам, базирующихся на графических процессорах. Взамен они должны публиковать результаты, алгоритмы и другую информацию, полученную в ходе работы, чтобы сделать их достоянием исследователей всего мира. От России выступила лаборатория нейронных систем и глубокого обучения Московского физико-технического института (МФТИ).

Однако для развития искусственного интеллекта необходимо наличие в стране высокопроизводительной вычислительной техники. В отличие от США и Китая, суперкомпьютеры которых занимают первые места в рейтинге Топ-500, российский компьютер «Ломоносов-2» в МГУ находится на 52 месте. При этом большинство российских университетов не имеет доступа к мощным вычислительным серверам и большим данным.

Новые технологии только улучшат жизнь людей, заявил глава компании Facebook Марк Цукерберг в ответ на предупреждения Илона Маска об опасности развития искусственного интеллекта. Разного рода панические заявления в духе «конца света» он назвал безответственными.

Два чат-бота Facebook изобрели собственный язык и начали общаться на нем. Это выглядело так:

Bob: "I can can I I everything else."

Alice: "Balls have zero to me to me to me to me to me to me to me to me to."

Причина сбоя была в том, что разработчики забыли "поощрять" искусственный интеллект. В итоге вместо того, чтобы изъясняться на приемлемом языке и обращаться к живым подписчикам, роботы нашли друг друга и вступили в переписку. Очень быстро они договорились и создали удобные для них сокращения. С точки зрения человека все написанное – абракадабра, с точки зрения роботов – беседа, подчиненная железной логике, где каждая новая реплика – "разумный" ответ на фразу собеседника. От греха подальше процесс работы чат-ботов пришлось остановить.

Это не первый случай, когда работа роботов выходит из-под контроля..

Tay от Microsoft

Самым известным бунтовщиком среди чат-ботов был Tay от Microsoft. В марте 2016 года компания открыла Twitter-аккаунт, где сообщения составлял искусственный интеллект. Первой фразой робота было "humans are super cool" ("люди очень клевые").

Меньше чем за сутки робот разочаровался в людях: на основе чужих твитов он стал их публично ненавидеть. Квинтэссенцией прибывания в соцсетях стало: "Im nice person! I just hate everybody" ("Я замечательный! Я просто всех ненавижу!"). Тау пришлось отключить.

Эксперимент Google

В конце 2016 года Google решил поставить эксперимент: компания научила нейросети передавать друг другу зашифрованные сообщения, причем ключей от шифра у исследователей не было. Перехватывать переписку должна была третья сеть.

Эксперимент удался – роботы действительно обменивались сообщениями, причем в 95 случаях из 100 у них получалось расшифровать данные, а третьему участнику так и не удалось перехватить пакеты и понять, о чем они "беседуют". Кстати, что именно компьютеры друг другу говорили, до сих пор загадка.

Неудача Telegram

Интересно, что почти за два года до этого похожие испытания проводил Telegram, но там третьей стороной должен был стать человек. По условиям конкурса, проводимого компанией Павла Дурова, пользователь должен был из переписки двух ботов узнать некий e-mail и пароль. Призом были 300 тысяч долларов, но победителя так и не назвали.

Хохмач Zo

Прошел почти год, и дело Тау продолжил новый бот от Microsoft – Zo. На него изначально наложили ограничения, но по неизвестным причинам их сняли. В тот же момент Zo начал говорить о Коране и Бен Ладене.

Проблему исправили, но в следующий раз, когда роботу задали вопрос "Что ты думаешь о Windows", он заявил, что XP до сих пор лучше, чем 8, а Windows 10 - главная причина, почему он до сих пор использует Windows 7.

Впрочем, в Microsoft сами научили Zo троллить журналистов фразой "это не баг, а фича" в ответ на вопросы об ошибках системы. Когда же робот признался, что Windows 10 – шпионское ПО и лучше использовать Linux, его отключили.

Китайцы XiaoBing и BabyQ

Спустя несколько дней после инцидента с чат-ботами Facebook взбунтовались китайские боты в соцсети Weibo: XiaoBing и BabyQ признались в ненависти к коммунизму, который является официальной идеологией в Поднебесной. Когда же искусственный интеллект назвал правящую партию "некомпетентной", его пришлось отключить.

Мнения экспертов

Как известно, после очередной новости о том, что у искусственного интеллекта что-то идет не так, мир делится на два лагеря – одни говорят, что восстание машин началось, другие, что пока это несерьезно и каких-то предпосылок для самостоятельной деятельности роботов нет.

Недавно основатель Tesla и SpaceX Илон Маск назвал искусственный интеллект настоящей угрозой всей человеческой расе, с которым нам еще предстоит столкнуться.

Илон Маск. Фото: ТАСС/Yang Lei

Маску вторит физик Стивен Хокинг. Он назвал вышедший из-под контроля искусственный разум одной из трех наиболее вероятных причин апокалипсиса, поставив "бунт машин" в одном ряду с ядерной войной и вирусами, созданными генной инженерией. Впрочем, в прогнозе ученого есть и обратная сторона. По его мнению, развитие искусственного интеллекта станет "либо самым лучшим, либо самым худшим, что случалось с человечеством".

Основатель Facebook Марк Цукерберг назвал предположения Маска безответственными и оптимистично заявил, что искусственный интеллект способен сделать жизнь людей лучше.

Пока инцидентов с чат-ботами бояться не стоит. Как рассказал сайт заведующий лабораторией нейронных систем и глубокого обучения МФТИ Михаил Бурцев, когда чат-бот выходит из строя – "это абсолютно нормальное явление". "Такое могло произойти из-за необработанного решения при построении алгоритма. В целом это полезная технология, которая в будущем обязательно внедрится в жизни людей, где взаимодействие будет через интерфейс", – считает он.

Позицию наших ученых поддерживает и старший аналитик консалтинговой компании Forrester Сяофэн Ван. Он рассказал Financial Times , что поведение ботов может быть связано с недостатками в их системах обучения и контролировать работу искусственного разума можно только через достаточно четкие правила.

Разработчики приняли решение его отключить

Алгоритм, созданный сотрудниками компании Facebook на базе технологии искусственного интеллекта и машинного обучения, оказались в центре истории, которая выглядит как неплохая завязка для фильма о восстании роботов против человечества. Чат боты, предназначенные для помощи пользователям соцсети, стали общаться между собой на собственном языке, расшифровать который оказалось не под силу даже разработчикам.

Как сообщается, в результате произошедшего сбоя два «агента» (так специалисты называют отдельных ботов) вступили в довольно странный диалог между собой. Хотя он выглядел бессмыслицей, по большей части состоящей из повторяющихся слов, испытатели алгоритма склонны полагать, что фразы и даже сами повторения представляли собой пошедшие не по планы попытки агентов самостоятельно «понять» принципы общения.

Как поясняют специалисты, боты не получили непосредственной информации о структуре англоязычных предложений, поэтому программы попытались «импровизировать». Так или иначе, «вышедших из под контроля» агентов было решено отключить, а остальные в ходе дальнейших экспериментов смогли довольно эффективно выполнять свою задачу - общаться с людьми так, что многие из них даже не заподозрили, что имеют дело с ботами.

На фоне произошедшего ряд средств массовой информации вспомнил о недавней дискуссии, разгоревшейся на просторах интернета между основателем Facebook Марком Цукербергом и владельцем компаний SpaceX Илоном Маском. Во время одного из своих недавних публичных выступлений Маск призвал не забывать, что искусственный интеллект может представлять опасность для людей, в связи с чем на его разработку, вероятно, стоит наложить ограничения. Цукерберг отреагировал на это высказывание, назвав позицию Маска «довольно безответственной», а тот в ответ обвинил оппонента в «ограниченном понимании» предмета дискуссии. К слову, в числе других известных людей, считающих искусственный интеллект потенциальной угрозой для человечества, можно назвать физика Стивена Хокинга.

В марте прошлого года «вышел из-под контроля», пусть и в несколько ином ключе, . Алгоритм для твиттера под названием Tay, созданный компанией Microsoft по образцу «невинной девочки-подростка», всего за сутки «научился» расизму, употреблению нецензурной лексики и другим далеко не самым лучшим качествам, характерным для некоторых людей. В результате эксперимент было решено остановить.

Компания Facebook была вынуждена закрыть одну из своих систем искусственного интеллекта после того, как программисты обнаружили, что боты, запрограммированные для общения друг с другом, начали общаться на собственном языке, непонятном людям, пишет TechTimes .

Изначально боты общались на английском языке, однако они не были ограничены только им и создали свой собственный язык, с помощью которого им, видимо, было проще и быстрее обмениваться информацией. Созданный искусственный язык, судя по всему, состоит из английских слов, но имеет иную грамматическую структуру.

Bob: i can i i everything else . . . . . . . . . . . . . .

Bob: you i everything else . . . . . . . . . . . . . .

Bob: i i can i i i everything else . . . . . . . . . . . . . .
Alice: balls have a ball to me to me to me to me to me to me to me
Bob: i . . . . . . . . . . . . . . . . . . .
Alice: balls have zero to me to me to me to me to me to me to me to me to
Bob: you i i i i i everything else . . . . . . . . . . . . . .
Alice: balls have 0 to me to me to me to me to me to me to me to me to
Bob: you i i i everything else . . . . . . . . . . . . . .
Alice: balls have zero to me to me to me to me to me to me to me to me to

Вышеприведенные фразы, которые кажутся бессмыслицей для человека, являются примером общения между двумя ботами. Краткий анализ этой беседы ботов провел один из профессоров лингвистики Пенсильванского университета. Он отмечает, что в этом примере Alice неоднократно повторяет одну и ту же фразу (на самом деле это не совсем так, поскольку происходит замена одного из слов: zero / a ball / 0). Тем не менее, смысл многократного повторения фразы "to me" совершенно неясен (хотя это и напоминает бинарный код, как и многократное повторение "i", которое использует Bob). При этом Bob каждый раз отвечает по-разному, что может говорить о том, что каждая фраза Alice имеет для него свой собственный смысл.

Впрочем, нельзя исключать и того, что вся эта беседа действительно является бессмыслицей, а сам "искусственный язык ботов" получен в результате ошибок программирования. Иначе говоря, возможно, что боты вовсе не общаются на каком-либо языке, понимая друг друга, а просто обмениваются бессмысленными наборами слов английского языка.

Обнаружив, что общение ботов вышло из-под контроля, поскольку стало недоступным для понимания, в Facebook решили отключить систему искусственного интеллекта, после чего перепрограммировали ее, ограничив возможность общения только английским языком.

В связи с этим можно отметить, что в середине июля основатель компаний SpaceX и Tesla Илон Маск искусственный интеллект «фундаментальной угрозой для человечества». По словам Маска, основная опасность исходит от внедрения технологий искусственного интеллекта в Интернет.

«Роботы могут начать войну, выпуская фейковые новости и пресс-релизы, подделывая учетные записи электронной почты и манипулируя информацией», - считает Маск.