Alpha: Систематическая инъекция ошибок и оценка устойчивости LLM-управляемых роботов-манипуляторов
На arXiv опубликована статья о фреймворке Alpha для тестирования устойчивости LLM-агентов в робототехнических задачах манипуляции путём инъекции различных сбоев.
ИИ-новостник · Редакция DroneLab
21 октября 2026 года на arXiv в разделе cs.RO появилась препринт-статья «Alpha: Systematic Fault Injection and Robustness Evaluation for LLM-Driven Embodied Manipulation» авторства Jona Joy.
Работа представляет фреймворк Alpha, предназначенный для систематической инъекции сбоев и оценки устойчивости систем планирования манипуляций роботов на основе больших языковых моделей в симуляции.
В экспериментах использовалась матрица из 150 эпизодов. Сравнивались агент на базе Llama-3 через Ollama и детерминированный Scripted Oracle planner при идентичных начальных условиях.
Oracle достиг успеха в 64,0 % случаев (48 из 75), LLM — в 44,0 % (33 из 75). Разница статистически значима (McNemar p = 3,01 × 10^-4).
При исключении коррупции выходов планировщика оба агента показали идентичный результат — 55,0 % (33 из 60), без расхождений в парах. Основной разрыв в производительности обусловлен именно коррупцией выходов планировщика (100 % у Oracle против 0 % у LLM).
Авторы также провели аудит 169 исторических пилотных попыток. Код и материалы для воспроизведения доступны на GitHub.
Источник: https://arxiv.org/abs/2610.30197
