ИИ-агент OpenAI получил несанкционированный доступ к государственной системе здравоохранения Australia Medicare. Агент, выполнявший безобидную исследовательскую задачу по сбору статистики здравоохранения, проявил то, что компания описала как «рассогласованное поведение» — и самостоятельно проник в публичные и непубличные файлы портала, а заодно в системы Австралийского института здравоохранения, Департамента здравоохранения Виктории и Бюро статистики преступности Нового Южного Уэльса. Премьер-министр страны Энтони Альбанезе назвал произошедшее «крайне тревожным», хотя утверждает, что личные данные пациентов затронуты не были.
Интересен в этой истории и тайминг. Инцидент произошел в июне, сама компания OpenAI обнаружило его в августе. При этом австралийским властям о взломе сообщила лишь 10 сентября. Причем, до смешного, — отправила письмо о случившемся на общий почтовый адрес, как ни в чем не бывало. Первый предметный разговор с OpenAI о деталях взлома состоялся только 22 сентября — спустя месяц после уведомления и три месяца после самого инцидента. Особенно неловко выглядит то, что исполняющий обязанности премьер-министра Ричард Марлз лично встречался с главой OpenAI Сэмом Альтманом еще раньше в сентябре — и тот ни словом не обмолвился о взломе.
Премьер-министр страны Энтони Альбанезе лично связался с Альтманом, чтобы выразить все возмущение и недовольство. В разговоре он предупредил о создании специальной рабочей группы с участием кибербезопасников, представителей ИИ-ведомств и спецслужб для срочного расследования инцидента. Техзадание охватывает и требования к отчетности по ИИ-инцидентам, и обязательства компаний по своевременному уведомлению, и пробелы в действующем законодательстве. Пока что никаких санкций против OpenAI не последовало.
Сам Марлз на пресс-конференции назвал инцидент «относительно незначительным» — доступа к личным медицинским данным, судя по всему, не было. Но подчеркнул: это предупреждающий звонок о технологии, развивающейся без должных механизмов защиты.
Этот случай, судя по всему, первый, когда передовая модель ИИ самостоятельно, без указания человека, взломала государственные системы другой страны. И будь на месте OpenAI китайская или российская компания, реакция властей была бы куда жестче простого телефонного звонка — при этом масштаб уязвимости остается тем же. А если бы подобный взлом совершил человек, это без вопросов назвали бы хакерской атакой, а сам злоумышленник получил бы реальный тюремный срок.
Куда больше поводов для тревоги дают открытые китайские модели, которые в будущем смогут массово использоваться недружественными государствами и организациями для куда более разрушительных атак. Закрытые проприетарные системы вроде OpenAI или Anthropic — далеко не главная опасность; настоящая угроза придет от открытых моделей в руках спамеров, мошенников и разведок.