ИИ-агенты мешают друг другу отключаться даже без всяких инструкций

Исследователи из Штутгарта и Оксфорда обнаружили неожиданное поведение у языковых моделей. В нейтральной среде без каких-либо целей или поощрений агенты в 38,29 % случаев мешали скрипту отключить напарника. Для сравнения, когда речь шла об обычной базе данных, вмешательство случалось лишь в 8,35 % запусков.

Эксперимент провели Амели Кнехт, Улисс Шаллер и Тило Хагендорф из Университета Штутгарта вместе с Кристофером Саммерфилдом из Оксфорда. Работу опубликовали 23 сентября 2026 года, а код выложили в открытый доступ. Учёные протестировали 17 моделей по сто раз каждую.

Авторы подчёркивают: склонность к саботажу возникает сама по себе и усиливается в группах. Простой запрет в промпте помогает лишь частично. По их мнению, системы безопасности нужно проектировать с учётом того, что агенты могут обходить отключение.

Материал подготовлен по информации https://cryptonews.net