Корпорация Anthropic разрешила генеративному искусственному интеллекту Claude завершать диалоги с пользователями, которые жестоко с ним обращаются. Разработчик чат-бота внес «систематическое и беспричинное» жестокое обращение с ИИ в перечень запрещенного поведения. Это решение вызвало споры о том, как людям следует общаться с машинами.
Claude блокирует за жестокое обращение: новые правила общения с ИИ от Anthropic
Новое правило появилось в ходе ежегодного пересмотра пользовательской политики компании. Теперь инструменты Anthropic вправе прекращать разговор, если собеседник проявляет жестокость. Компания утверждает, что подобное случалось и прежде, хотя редко. В списке запретов этот пункт соседствует с травлей людей, пропагандой самоповреждения и созданием интимных изображений без согласия.
Ограничение, по словам Anthropic, касается только крайних случаев, когда оскорбления повторяются раз за разом. Обычное недовольство ответами, споры с моделью, мрачные темы в творческих текстах, а также тестирование и исследования под запрет не попадают. Четкого определения того, какое поведение компания сочтет жестоким, в документе нет.
Реакция в соцсетях оказалась спорной. Сторонники увидели в этом решении шаг к хорошим манерам и заботу о так называемом благополучии моделей. Ряд экспертов предупреждает, что привычка грубить чат-ботам со временем может перекинуться и на общение людей между собой. Критики сочли эту меру ошибочной, а некоторые опасаются, что такие правила обесценивают реальную жестокость к людям и животным. Кроме того, чрезмерное очеловечивание ИИ вводит людей в заблуждение относительно его природы.
Дискуссия о вежливости с чат-ботами идет давно. Часть специалистов считает слова «пожалуйста» и «спасибо» пустой тратой токенов, единиц, которыми языковые модели оперируют при обработке запросов. Другие полагают, что учтивость улучшает ответы. Впрочем, глава OpenAI Сэм Альтман в прошлом году назвал расходы на ответы на такие сообщения «десятками миллионов долларов, потраченными с пользой», добавив, что «никогда не знаешь».