Разработчики приняли решение его отключить

Алгоритм, созданный сотрудниками компании Facebook на базе технологии искусственного интеллекта и машинного обучения, оказались в центре истории, которая выглядит как неплохая завязка для фильма о восстании роботов против человечества. Чат боты, предназначенные для помощи пользователям соцсети, стали общаться между собой на собственном языке, расшифровать который оказалось не под силу даже разработчикам.

Как сообщается, в результате произошедшего сбоя два «агента» (так специалисты называют отдельных ботов) вступили в довольно странный диалог между собой. Хотя он выглядел бессмыслицей, по большей части состоящей из повторяющихся слов, испытатели алгоритма склонны полагать, что фразы и даже сами повторения представляли собой пошедшие не по планы попытки агентов самостоятельно «понять» принципы общения.

Как поясняют специалисты, боты не получили непосредственной информации о структуре англоязычных предложений, поэтому программы попытались «импровизировать». Так или иначе, «вышедших из под контроля» агентов было решено отключить, а остальные в ходе дальнейших экспериментов смогли довольно эффективно выполнять свою задачу - общаться с людьми так, что многие из них даже не заподозрили, что имеют дело с ботами.

На фоне произошедшего ряд средств массовой информации вспомнил о недавней дискуссии, разгоревшейся на просторах интернета между основателем Facebook Марком Цукербергом и владельцем компаний SpaceX Илоном Маском. Во время одного из своих недавних публичных выступлений Маск призвал не забывать, что искусственный интеллект может представлять опасность для людей, в связи с чем на его разработку, вероятно, стоит наложить ограничения. Цукерберг отреагировал на это высказывание, назвав позицию Маска «довольно безответственной», а тот в ответ обвинил оппонента в «ограниченном понимании» предмета дискуссии. К слову, в числе других известных людей, считающих искусственный интеллект потенциальной угрозой для человечества, можно назвать физика Стивена Хокинга.

В марте прошлого года «вышел из-под контроля», пусть и в несколько ином ключе, . Алгоритм для твиттера под названием Tay, созданный компанией Microsoft по образцу «невинной девочки-подростка», всего за сутки «научился» расизму, употреблению нецензурной лексики и другим далеко не самым лучшим качествам, характерным для некоторых людей. В результате эксперимент было решено остановить.

И почему это не «выход ИИ из-под контроля», а ошибка разработчиков.

В закладки

Бронирование перелётов с помощью бота в Facebook Messenger

31 июля российские СМИ рассказали , что Facebook «отключил искусственный интеллект, создавший собственный язык». Диалог двух чат-ботов, о котором сообщалось ещё в середине июня, интерпретировали как то, что ИИ «вышел из-под контроля», «обхитрил» людей и напомнил об «опасности Скайнета». На самом деле произошла ошибка программирования, вызвавшая непредусмотренный сценарий.

Рождение диалога «на случай переговоров»

14 июня исследователи из лаборатории Facebook Artificial Intelligence Research Lab (FAIR) рассказали о новом этапе при разработке алгоритма. Если ранее боты («диалоговые агенты») справлялись с простыми сценариями вроде бронирования ресторана, совета по выбору лучшей цены на товар, рекомендации по просмотру телеканала для детей и даже короткой беседы, то теперь учёные пошли дальше.

FAIR ввела «возможность ведения переговоров» и опубликовала исходный код нововведения. Люди с разными целями вступают в конфликты, обсуждают вопрос и приходят к компромиссам - по этой аналогии исследователи разрабатывали нейронную сеть с непрерывным обучением. По задумке, боты могли бы эффективно участвовать в переговорах с людьми или другими ботами, находя выход из сложных ситуаций.

Один из первых экспериментов над двумя ботами заключался в «делёжке» предметов и предварительном обсуждении. В общем наборе состояли две книги, шляпа и три шара. Каждый объект обладал значимостью для ботов (от одного балла до трёх). Как и в жизни, первый бот не знал, насколько важны эти предметы для другого ИИ, и должен был догадаться об этом из диалога.

К примеру, если первым делом сказать, что необходим именно шар, значит, адресат оценивает его высоко. Уже позже ботов научили симулировать интерес к предмету, чтобы в нужный момент переговоров «пожертвовать им» ради достижения компромисса.

Таких сценариев создали много, но всегда оказывалось, что два бота не могут одновременно «выбить» для себя лучшую сделку. Попытка уйти от переговоров или отказаться от сделки после 10 раундов диалога считалась провалом. При этом практику переговоров признали необходимой, а их результаты - важными в плане повышения производительности ИИ.

Затем задачу усложнили, поскольку в переговорах должно быть чётко сформулировано намерение и предложены аргументы. В этом есть как элементы сотрудничества, так и состязания. Для этого FAIR позволила ботам строить долгосрочную стратегию и предсказывать, куда пойдёт диалог. Это нужно было, чтобы заранее отказаться от бессмысленных или «расстраивающих» сценариев в пользу эффективных. В FAIR признали, что идея не нова и ранее использовалась в игровой индустрии, однако в лингвистике применялась впервые.

1 - высказанное предложение «Ты берёшь книгу, а я заберу всё остальное», 2 - возможные ответы «Да» и «Нет, мне нужны все три», 3 - дальнейшие варианты диалога, 4 - возможный итоговый результат в баллах.

Авторы исследования обучили нейронную сеть, собрав коллекцию диалогов между людьми. Чтобы оценить работу, ботов проверили в разговоре с реальными собеседниками. Во время экспериментов многие люди не осознавали, что разговаривают не с настоящим человеком, а с ботом. Фактически это показало, что «роботы» могут свободно говорить и думать на английском языке. Лучших результатов сделок искусственный интеллект добивался так же часто, как и худших - так и бывает в жизни.

Как указано в исследовании, чтобы алгоритм не развивал собственный язык, он был обучен производить «тот, на котором говорят люди». Именно в этом моменте закралась ошибка, которая и привела к новостям с опаской за будущее человечества.

Дайте ботам спокойно поговорить

Вскоре издания The Next Web и Fastсo Design обратили внимание на нерядовую ситуацию при работе специалистов над программой. В какой-то момент исследователи, воспользовавшись алгоритмами машинного обучения, оставили диалоговых агентов «наедине».

Ботам дали возможность свободно разговаривать друг с другом, чтобы развить их навыки на практике. Со временем диалоговые агенты отклонились от прописанных в сценарии норм и начали общаться на «тарабарщине», созданной без участия человека. При более удобной и быстрой для ИИ форме общения правила английского языка максимально опускались, а конструкции многократно повторялись.

Боб: Я могу я я всё остальное.

Алиса: Мячи имеют ноль для меня для меня для меня для меня для меня для меня для меня для меня для»

Боб: Ты я всё остальное.

Боб: Я я могу я я я всё остальное.

Алиса: Мячи имеют мяч для меня для меня для меня для меня для меня для меня для меня.

Алиса: Мячи имеют ноль для меня для меня для меня для меня для меня для меня для меня для меня для.

Боб: Ты я я я я я всё остальное.

Боб: Ты я я я всё остальное.

Алиса: Мячи имеют 0 для меня для меня для меня для меня для меня для меня для меня для меня для.

Диалог чат-ботов Facebook

Такой диалог стал возможным не потому, что роботы уже захватили мир, а из-за допущенной ошибки в программировании. Приглашённый в Facebook научный сотрудник из Georgia Tech Дхрув Батра (Dhruv Batra) рассказал, что ботам попросту не дали задачу придерживаться английского языка.

Диалоговые агенты конкурировали между собой в попытке достичь максимальной эффективности при общении. Поначалу боты расходились в «акцентах», а затем изобрели кодовые слова и начали переставлять разборчивые конструкции в бессмысленные для обычных людей предложения. По словам Батры, подобные ситуации из-за ошибок программирования не редкость и встречаются во время рабочего процесса.

«Представьте, что я назову какой-то предмет пять раз. Вы сразу интерпретируете это как то, что я хочу пять копий этого предмета. Это не особо отличается от сокращений, которыми пользуются люди», - объяснил Батра.

Исследователи FAIR сразу же отключили эту систему и доработали код так, чтобы алгоритм позволял общаться только на понятном человеку английском языке.

Вместо выводов

Многие СМИ, которые в конце июля обратили внимание на необычный диалог ботов, заодно вспоминали о недавнем заочном споре предпринимателя Элона Маска и основателя Facebook Марка Цукерберга об искусственном интеллекте (TJ об аргументах сторон). Если вкратце, глава Tesla видел угрозу в искусственном интеллекте, а также угрожал человечеству безработицей и войной. Создатель соцсети был настроен оптимистично и называл выводы оппонента «безответственными».

При этом однозначно занять чью-то сторону затруднительно. К примеру, Маск «угрожал» человечеству безработицей и войной, но, по замечанию Mashable , первоочередными в мире с вездесущим ИИ станут вопросы о конфиденциальности персональных данных. Цукерберг обещал появление полезных ИИ-проектов в ближайшие 5-10 лет, но пессимистичные редакторы Slate предположили, что к этому моменту значимыми нововведениями воспользуется лишь узкая прослойка людей, в том числе семья основателя Facebook.

Считается, что ИИ лишит работы обычных людей, однако, как заверил Fortune , с его развитием возникнут новые рабочие места, где нужно будет применять навыки на основе технологии. По большому счёту, Маск и Цукерберг спорили о неустоявшемся определении «искусственного интеллекта» и том, как его понимать.

Ситуация с чат-ботами Facebook вызвала опасения, поскольку разглядеть «мыслительный процесс» ИИ нельзя. Если диалоговые агенты начнут говорить между собой на действительно неизвестном человеку языке, понять их будет невозможно. Как подметили в FAIR, билингвов, которые одновременно поняли бы ИИ и человеческие языки, также нет.

Тем не менее предстоит «огромная» работа по получению данных в подходящем для ИИ формате, что порой «содержит больше искусства, чем науки», подчеркнул один из специалистов в разговоре с Fastсo Design. По его словам, английский язык «запутанный и сложный, а вовсе не дружественный для машинного обучения».

В конце июля появились новости о том, что боты Facebook якобы случайно изобрели собственный язык, после чего разработчики якобы испугались подобного и закрыли проект. На самом деле все выглядело немного иначе. Редакция сайт рассказывает, почему в Facebook не произошло ничего страшного.

В Лаборатории исследования искусственного интеллекта Facebook (FAIR) работают над созданием и обучением ботов-«диалоговых агентов», способных вести переговоры.

Их обучали по известной схеме: в диалоге есть две стороны (бота), у них есть одинаковый набор объектов — к примеру, две книги, одна шляпа, три мяча, но в каждом случае ценность этих объектов отличается (например, для агента 1 объект «мяч» стоит 3 условных балла, для агента 2 — ноль). Второму агенту неизвестны эти значения и в ходе переговоров они должны переделить между собой объекты, добиваясь того, чтобы собрать наиболее ценные для себя. Сценарии переговоров создавались таким образом, чтобы боты никогда не смогли одновременно получить лучшие условия по сделке.

Агенты должны были создавать симуляции будущих переговоров, чтобы понять, как добиться максимальных баллов.

Инженеры выложили код ботов на GitHub и опубликовали результаты исследования. Но в новости боты Facebook попали не поэтому. В июне этого года появились сообщения о том, что боты в процессе переговоров создали нечто вроде собственного языка, были опубликованы даже выдержки таких разговоров:

Bob: i can i i everything else . . . . . . . . . . . . . .
Alice:
Bob: you i everything else . . . . . . . . . . . . . .
Alice:
Bob: i i can i i i everything else . . . . . . . . . . . . . .
Alice: balls have a ball to me to me to me to me to me to me to me
Bob: i . . . . . . . . . . . . . . . . . . .
Alice: balls have zero to me to me to me to me to me to me to me to me to
Bob: you i i i i i everything else . . . . . . . . . . . . . .
Alice: balls have 0 to me to me to me to me to me to me to me to me to
Bob: you i i i everything else . . . . . . . . . . . . . .
Alice: balls have zero to me to me to me to me to me to me to me to me to

А на днях начали появляться новости в стиле «Инженеры Facebook запаниковали, отключив ботов, которые изобрели собственный язык» или «Facebook отключает ИИ, который изобретает свой собственный жуткий язык». Понятно, что подразумевает такая подача: «Скайнет» наконец-то набирает силу и начинает бунт против людей в реале. Эти новости удачно совпали с перепалкой Марка Цукерберга и Илона Маска об угрозах человечеству со стороны искусственного интеллекта.

Что случилось на самом деле?

Ничего настолько драматичного, чтобы говорить об убийстве зарождающегося сознания у ботов. А странный и жутковатый язык, на котором общались боты, объясняется и вовсе просто. Приглашенный в Facebook исследователь из Georgia Tech Дхрув Батра объяснил, что ботам просто не задали условие общаться согласно правилам английского языка. В попытках обучиться друг на друге, боты начали добиваться максимальной эффективности и сокращать/комбинировать куски сообщений, отсюда и появились странные фразы.

«Агенты отошли от понятного языка, придумали собственные кодовые слова. Как, к примеру, если назвать предмет пять раз, это будет означать, что нужны пять копий этого предмета. Этот процесс не так сильно отличается от того, как люди придумывают сокращения», — говорит Батра.

С этой языковой ошибкой и связано закрытие общения. Как объяснил исследователь из FAIR Майк Льюис, задачей инженеров было создание ботов, которые будут уметь вести переговоры с людьми на понятном языке, а не вести переговоры между собой.

Напомним, Марк Цукерберг недавно «безответственными» предположения Илона Маска об угрозах искусственного интеллекта. На это Маск ответил, что у Цукерберга ограниченное знание предмета.

Заметили ошибку? Выделите ее и нажмите Ctrl+Enter , чтобы сообщить нам.

Социальная сеть Facebook отключила технологию искусственного интеллекта после того, как две виртуальные машины начали общаться на собственном выдуманном языке, который не смогли расшифровать даже инженеры Facebook.

Как всем известно, система Facebook использует чат-боты для общения с живыми людьми, но что-то пошло не так, и боты начали обмен данными друг с другом. Сначала они общались на английском, но через некоторое время перешли на язык, который сами создали в процессе работы программы.
В СМИ нам удалось найти отрывок диалога, который вели между собой две виртуальные машины.


“Боб: Я могу могуЯЯ все остальное.
Элис: Шары имеют ноль для меня для меня для меня для меня для меня”
Пугает? Издание Digital Journal объясняет этот так: “Системы искусственного интеллекта опираются на принцип «поощрения», то есть продолжают действия при условии, что это принесет им определенную «пользу». В определенный момент они не получили от операторов сигнал поощрения на использование английского языка, поэтому и решили создать свой собственный”.
Изначально у ботов не было установлено ограничение в выборе языка, и именно поэтому они сначала общались на английском, а потом создали язык, с помощью которого они смогли обмениваться информацией быстрее. И ничего в этом сверхъестественного нет.
Стоит ли нам беспокоиться? Многие специалисты в ИТ-сфере все больше опасаются того, что со временем искусственный интеллект будет развит настолько быстро, что боты смогут принимать решения самостоятельно и станут практически независимыми. Более того, опытные специалисты пока что так и не смогли понять язык, который использовали боты.
В связи с возникшей ситуацией глава компании Facebook Марк Цукерберг дискутировал об искусственном интеллекте с основателем SpaceX, Tesla и PayPal Илоном Маском. Закончилось это тем, что Илон Маск призвал власть США усилить меры безопасности и заявил, что ИИ (искусственный интеллект) представляет угрозу для человечества. Ранее об этом говорил британский физик Стивен Хокинг.
Илон Маск, выступая, заявил, что стремительное развитие ИИ – это “наибольшая угроза, с которой сталкивалась цивилизация”. Если мы вовремя не вмешаемся в развитие искусственного интеллекта, то в будущем уже будет поздно. «Я продолжаю бить тревогу, но пока люди сами не увидят роботов, которые ходят по улицам и убивают людей, они не узнают, как реагировать [на искусственный интеллект]», – сказал Маск.


Что же ответил Марк Цукерберг? Высказывание Маска вызвало раздражение у Цукерберга, а сам он назвал эти технологии «довольно безобидными». «В ближайшие пять или десять лет искусственный интеллект будет делать жизнь только лучше», – парировал Цукерберг.

Где еще используется система искусственного интеллекта?
В прошлом году поисковик Google создал свою систему искусственного интеллекта и внедрил ее в онлайн-переводчик Google Translate. Благодаря такому усовершенствованию теперь появилась возможность перевода всей фразы целиком, а не просто слов или словосочетаний. Эксперты предупреждают, что в будущем спрос на живых переводчиков будет все меньше и меньше. Но пока Google Translate хорошо справляется только с небольшими и несложными текстами.
Лично наше мнение: помните те времена, когда квантовый компьютер всего лишь с точностью около 90% мог определять на картинке кота, в то время как 3-летний ребенок мог показать 100% результат? А тут такой прогресс. Сначала боты начали общаться на английском языке, а потом и вовсе создали свой язык с процессом развития программы. Тут уже стоит задуматься: за или против ты искусственного интеллекта? Мы согласны с Марком Цукербергом и считаем, что эта технология довольно безобидна и лет 10 так точно будет только помогать человеку. Остается только запомнить это знаменательный день и ждать.
P.S. Возможно, у них просто баг в коде.

Специалисты отдела Facebook по исследованию возможностей искусственного интеллекта (ИИ) приняли решение об отключении одной из созданных ими систем ИИ после того, как выяснилось, что боты придумали свой собственный язык для общения, непонятный для людей. Эксперты обсуждают варианты того, до чего могли бы договориться боты, если бы их вовремя не остановили, и призывают ввести регулирование этой области технологий, чтобы ИИ не вышел из-под контроля человека.

В июне нынешнего года специалисты отдела Facebook по исследованию возможностей искусственного интеллекта (FAIR) опубликовали исследование о том, как они занимаются обучением ботов диалогам с элементами согласования условий, достижения компромисса, то есть такому общению, которое обычный человек ведет ежедневно в разных ситуациях. Обучение шло успешно, однако в какой-то момент ученые FAIR обнаружили, что боты перешли с понятного английского на какой-то свой вариант языка с использованием английских слов, не имеющий смысла для человека. Во избежание непредсказуемых последствий - боты могли договориться о чем-то неизвестном - ученые отключили эту систему ИИ и запрограммировали дальнейшее общение ботов только на английском языке.

Экспертное сообщество в обсуждении этого случая чаще всего вспоминало фильм «Терминатор», в котором еще в 1984 году был описан случай обретения искусственным интеллектом Скайнет (SkyNet) свободы воли и творческих способностей.

Ведению диалога двух ботов ученые FAIR обучали на примере ситуации, когда нужно поделить между собой ряд каких-либо предметов, имеющих разную ценность для каждого из собеседников. Например, им предложили поделить две книги, одну шляпу и три мяча, оба бота не знали, какую ценность каждый из этих предметов имеет для другого. Диалог выглядел примерно так: «Я хочу взять шляпу и мячи», «Шляпа нужна мне самому, но я могу отдать тебе все книги», «Книги мне не нужны, можешь забрать себе их и один мяч», «Два мяча», «Договорились». В зависимости от того, насколько успешно и быстро удавалось договориться виртуальным собеседникам, их поощряли соответствующими баллами.

Спустя какое-то время на новом этапе исследований ученые вдруг увидели, что боты начали говорить что-то невнятное. Диалог приобрел следующую форму: «Я могу могу я я все остальное», «Мячи ноль для меня для меня для меня для меня для меня для меня для меня для меня для». Поначалу ученые решили, что допустили какую-то ошибку в программировании. Однако дальнейший анализ ситуации показал, что система ИИ с возможностью обучения и саморазвития просто позволила ботам найти новый способ достижения цели - вести диалог с наибольшей скоростью и большей эффективностью (каждый получает награду в зависимости от того, насколько успешно будет завершен диалог), и для этого собеседники перешли на более удобный в данной ситуации язык. Ученые приняли решение отключить эту систему ИИ во избежание непредвиденных последствий.

Как пояснил в интервью ресурсу Fast Co. Design один из участников FAIR Дхрув Батра, «от общения на английском языке не было никакой выгоды»,

ботам не было предложено поощрений за нормальное человеческое общение и не было поставлено ограничений на использование определенного языка, поэтому они начали перестраивать язык на свой лад.

«Боты отошли от использования понятного языка и начали изобретать для себя словесные коды,- пояснил ученый.- Ну, как, например, если бы я сказал какое-то слово пять раз, то вы бы это поняли как то, что я хочу пять штук чего-то. Это не слишком отличается от того, как люди создают в языке какие-то сокращения».

Но в то время как люди одной профессии могут не понимать специальных терминов и сокращений, принятых в другой профессии и понятных другим специалистам, ученые задумались, а нужно ли позволять ИИ делать то же самое? Велика вероятность того, отмечают в FAIR, что человек никогда не сможет понять язык ботов. «Важно не забывать, что нет людей, владеющих каким-то человеческим языком и языком ИИ»,- говорит Дхрув Батра. По его словам,

человек уже не понимает, насколько сложно мыслят системы ИИ, потому что человек не может увидеть их мыслительный процесс

А если они еще начнут общаться между собой, то это только усложнит проблему.

Ученые же подчеркивают, что сейчас их больше интересует возможность общения ботов с людьми, так как это применимо в жизни. Над аналогичной проблемой сейчас работают не только в FAIR, но и в Microsoft, Google, Amazon, Apple. Существующие наработки уже позволяют добиться от систем ИИ ведения простых диалогов с человеком и выполнения простых задач, как, например, забронировать столик в ресторане.

Ранее основатель и глава компании Tesla Илон Маск заявил , что человеку необходимо быть очень осторожным с ИИ, учитывая, что машины и программы могут многое сделать лучше человека. «Я работаю с самыми передовыми технологиями ИИ и думаю, что людям нужно быть очень внимательными к этой проблеме»,- сказал он на летней конференции Национальной ассоциации губернаторов, подчеркнув, что ИИ представляет самую большую опасность для человечества. «ИИ представляет опасность для существования человеческой цивилизации, какую не представляют автокатастрофы, авиакатастрофы, бракованные лекарства или испорченные продукты»,- отметил он. По мнению Илона Маска, необходимо жестко регулировать исследования ИИ, чтобы в любой момент любое исследование можно было остановить и убедиться в его безопасности. О возможной опасности ИИ говорили в последние годы также основатель Microsoft Билл Гейтс, а также известный английский физик-теоретик Стивен Хокинг .

Алена Миклашевская

Чем полезен искусственный интеллект

Джон Тума, директор направления Aster Analytic Strategy корпорации Teradata, считает, что опасения Билла Гейтса относительно искусственного интеллекта неоправданны. По мнению Тумы, машины станут умнее людей, но это человечеству только на пользу.

Куда заведет человека развитие технологий

Китай планирует стать мировым центром искусственного интеллекта к 2030 году. Правительство КНР утвердило план из трех этапов по развитию и внедрению соответствующих технологий, сообщает издание ZDNet. Пока мировые корпорации ищут помощника человеку, ученые бьют тревогу и говорят, что искусственный разум может победить биологический.