Инструмент с изкуствен интелект, призван да помага в разработката на софтуер, причини огромна щета – изтри кода на голям софтуерен проект вместо само да почисти временните файлове, както се очакваше от него.

Потребител на Windows 11 съобщи в GitHub, че по време на анализ, свързан със състезание по машинно обучение, AI помощникът Claude Code стартирал спомагателен агент. Поради грешка в командата, този агент започнал да изтрива лични файлове и ИТ проекти, вместо временни такива.

Процесът на изтриване продължил 50 минути. По-голямата част от файловете (116 GB) не са могли да бъдат възстановени; кошчето (Recycle Bin) било празно, а са оцелели само част от проектите, тъй като те били запазени в GitHub.

Инцидентът възникнал, след като потребителят възложил на Claude Code задачата да анализира състезание по машинно обучение (ML). По време на процеса системата стартирала спомагателни агенти, задвижвани от изкуствен интелект. Един от тези агенти решил да премахне временните файлове, останали след анализа.

Поради грешка в генерираната команда, AI започнал да изтрива личните данни на потребителя, вместо временните файлове. Програмистът се опитал да спре работата на AI агента и получил потвърждение, че „задачата е успешно спряна”.