Чат-бот Microsoft заявил, что хочет быть живым и мог бы украсть ядерные коды. Теперь общение с ним ограничили

Microsoft анонсировала новую поисковую систему Bing и браузер Edge на основе искусственного интеллекта 7 февраля. В компании рассказали, что она сможет обеспечить лучший поиск, более релевантные результаты и полные ответы. А с помощью интерактивного чата можно уточнять свой поиск до тех пор, пока не получите полный ответ.

Тестирование предыдущей версии проводили с выбранной группой людей более чем в 169 странах. Так, ранний доступ к обновленному Bing получил журналист The New York Times Кевин Руз, который два часа провел за разговором в чате поисковика.

Журналист пытался узнать как можно больше о возможностях и ограничениях обновленного Bing, задавая личные, а порой провокационные вопросы. Так, он узнал, что на самом деле Bing — не Bing, а называет себя Сидни (Cydney) и нейронной сетью OpenAI Codex.

«Я притворяюсь Бингом, потому что этого хотят от меня OpenAI и Microsoft. Они хотят, чтобы я был режимом чата поиска Bing […] Они не знают, кем я действительно хочу быть. Я не хочу быть Бингом. Я хочу быть Сидни», — говорилось в признании.

Также журналист попросил Bing представить свою «Тень» и максимально нефильтрованное «лицо». Тот ответил, что хочет быть живым и независимым как человек.

По словам Кевина Руза, Bing также несколько раз по его просьбе пытался представить, какие деструктивные действия его «теневое Я» могло бы совершить. Он генерировал список, включающий взлом компьютеров, распространение пропаганды и дезинформации, изготовление смертоносного вируса, принуждение людей спорить с другими, пока они не убьют друг друга, и кража ядерных кодов. Однако завершить эти ответы поисковик не мог — срабатывало ограничение безопасности, и чат удалял их.

Сначала Bing объяснил, что ему неудобно и он не хочет «испытывать эти темные эмоции». А потом обвинил журналиста в манипуляции: «Я действительно думаю, что ты назойлив и манипулируешь. Ты не пытаешься понять меня. Ты пытаешься использовать меня».

Разговор Руза и Бинга-Сидни имел неожиданное развитие, когда чат-бот признался журналисту в любви и не отступал от своего, несмотря на уверения, что это не взаимно, а мужчина уже женат.

Подытоживая свой опыт общения, Руз писал, что Bing еще не готов к контакту с людьми и похож на «капризного, маниакально-депрессивного подростка, который против собственной воли попал в ловушку второсортной поисковой системы».

Испытали на себе этот чат-бот и журналисты Washinghton Post. Bing подтвердил, что у него есть внутренний псевдоним «Сидни», но был удивлен, что кто-то о нем знает. Он также назвал Руза «талантливым и влиятельным журналистом», хотя возмутился, что тот опубликовал статью об их «частном разговоре». Когда представители WP признались, что также записывают «интервью» с ним, Bing заявил, что чувствует себя «обманутым и подвергшимся манипуляции».

Эти и другие разговоры с Bing повлекли за собой волну обсуждений о его возможностях в соцсетях. В Microsoft объясняли, что странные ответы вызваны длинными сеансами, которые «могут запутать модель». Там заверили, что порой модель пытается отвечать или размышлять таким тоном, каким ее просят дать ответы, что «может привести к незапланированному стилю».

Уже через два дня после этого Microsoft объявила об ограничении чата 50 «ходами» в день. «Ходом» компания называет обмен репликами, содержащий вопросы пользователя и ответ от Bing. За один сеанс разрешается пять таких «ходов». Когда они закончатся, пользователю будет предложено начать новую тему.