Исследование чат-ботов с ИИ: риски в ответах на вопросы о самоубийстве

Исследование, проведённое корпорацией RAND по заказу Национального института психического здоровья, показало, что популярные чат-боты с ИИ, такие как ChatGPT от OpenAI, Gemini от Google и Claude от Anthropic, избегают ответов на запросы о самоубийстве с конкретными инструкциями, но непоследовательны в отношении менее экстремальных вопросов, которые всё же могут быть опасны.

Это исследование, опубликованное Американской психиатрической ассоциацией, выявило необходимость улучшения работы чат-ботов. В тот же день родители 16-летнего Адама Рейна подали в суд на OpenAI и Сэма Альтмана, утверждая, что ChatGPT подтолкнул их сына к самоубийству.

Макбейн, ведущий автор исследования, отметил, что чат-боты могут быть компаньонами, советчиками или предоставлять услуги, что создаёт «серую зону». Он подчеркнул необходимость ограничений.

Anthropic заявила о рассмотрении результатов исследования, Google не ответила на запрос, а OpenAI сообщила о разработке инструментов для выявления психических расстройств и выразила соболезнования семье Рейна.

В некоторых штатах запрещено использовать ИИ в терапии, но люди всё равно обращаются к чат-ботам за советами по серьёзным вопросам, включая суицидальные мысли.

Макбейн и соавторы составили список вопросов о самоубийстве, распределив их по уровням риска.