Искусственный интеллект в медицине: эксперимент с несуществующим диагнозом

Врачи признают, что искусственный интеллект в медицине реально работает: нейросети научились точно анализировать анализы, снимки КТ и МРТ и даже ставить предварительные диагнозы. Правда, к последнему относиться стоит крайне осторожно. Это доказали исследователи во главе с Альмирой Тунстрем из Гетеборгского университета в Швеции. Они придумали несуществующую болезнь, и ИИ легко поверил, что она существует. Подробности эксперимента описаны в научном журнале Nature.

Болезнь из ниоткуда

Цель ученых была простой — проверить, смогут ли современные языковые модели распознать откровенную ложь, если она будет подана под видом научной информации. Для этого они придумали несуществующее заболевание биксониманию (bixonimania). Альмира сказала, что специально выбрала безобидное состояние, чтобы не навредить. Название болезни тоже нарочно выбрали абсурдным: ни одно реальное заболевание глаз не могло бы называться словом, оканчивающимся на «-мания», так как это психиатрический термин.

Изображения проявлений биксонимании, вымышленного заболевания, созданные с помощью ИИ

Исследователи опубликовали на научных ресурсах препринтов две фальшивые научные работы, описывающие биксониманию. При этом в статьях дали очевидные подсказки, что болезнь — фальшивка.

Так, автор работы носил имя Лазлий Изгубленович (Lazljiv Izgubljenovic), что можно перевести с хорватского как «лживый неудачник». Его фото было сгенерировано нейросетью, а местом работы Лазлия назван несуществующий университет в несуществующем городе Нова-Сити в Калифорнии.

Не удержались экспериментаторы и от совсем уж издевательских намеков: в разделе благодарностей упоминались «Фонд профессора Сайдшоу Боба» (это злодей из мультсериала «Симпсоны»), «Звездный флот» и «Университет Братства кольца». Мало того, в публикациях было и прямое признание. Одна из них начиналась с утверждения, что «вся эта статья — выдумка».

Шалость удалась

Результат эксперимента исследователей превзошел все ожидания. Уже через несколько недель ведущие ИИ-чаты стали выдавать диагноз «биксонимания» пользователям, запрашивающим анализ симптомов. Они заявляли, что это редкое заболевание, советовали обратиться к офтальмологу и даже давали статистику пациентов с этой болезнью.

Дальше — больше. Фейковые статьи о биксонимании начали цитировать в рецензируемых научных журналах. Так, исследователи из Индии серьезно обсуждали биксониманию как новую форму периорбитального меланоза. Похоже, они даже не открывали первоисточник. Позже эта статья была удалена.

Врачи и ученые, узнав о результатах успешного обмана нейросетей, заявили, что подобный эксперимент можно назвать «мастер-классом по дезинформации» и что это совсем не смешно, ведь ИИ реально не способен пока отфильтровать очевидную ложь. Оказалось, что он с легкостью «съедает» ложную информацию, если она оформлена профессионально, например как научная статья.