ATL-2026-009experimentexperimental
Воспроизвести пропущенное уведомление и разделить тесты, MCP-наблюдения и действия агента.
agent-runtime-verification
Точная ревизия эксперимента
open8381011/experiments/agent-runtime-verification ↗650bb03c235852f0165ec68dbc97c0ab37d46cdfEVIDENCE SIGNATURE
c0d3305119a73a06884d717417d3cacc1d17987cad9862923fb178c0ce2aaf8a2026-09-17Окружение
- os
- macOS
- architecture
- arm64
- flutter
- 3.44.7
- dart
- 3.12.2
- dart_mcp_server
- 1.1.1
- codex_cli
- 0.153.4
Параметры AI / агента
- provider
- OpenAI via Codex CLI
- model
- gpt-6-astra /
- repetitions
- 3
- variance
- All three repair trials passed tests and made zero MCP calls.
Анализатор, семь тестов для каждого патча и независимая холодная MCP-проверка. Дополнительно одна клиентская проба; не сравнительный бенчмарк.
Подготовка
flutter pub get --enforce-lockfileЗапуск
flutter analyze
flutter testВходные данные
https://gitlab.com/open8381011/experiments/agent-runtime-verification/-/blob/650bb03c235852f0165ec68dbc97c0ab37d46cdf/README.md ↗https://gitlab.com/open8381011/experiments/agent-runtime-verification/-/blob/650bb03c235852f0165ec68dbc97c0ab37d46cdf/lib/main.dart ↗https://gitlab.com/open8381011/experiments/agent-runtime-verification/-/blob/650bb03c235852f0165ec68dbc97c0ab37d46cdf/test/catalog_test.dart ↗Ожидаемые результаты
https://gitlab.com/open8381011/experiments/agent-runtime-verification/-/blob/650bb03c235852f0165ec68dbc97c0ab37d46cdf/evidence/verification.md ↗https://gitlab.com/open8381011/experiments/agent-runtime-verification/-/blob/650bb03c235852f0165ec68dbc97c0ab37d46cdf/evidence/mcp-verified-budget-2026-09-17/summary.json ↗Наблюдаемый результат
3763c7b2e2e7f97494b85bf8798d2698fd86ac5d9e400c79a2120f56df8f706d3×Ограничения
- Учебный дефект, Flutter 3.44.7 / Dart 3.12.2 / dart_mcp_server 1.1.1, macOS headless. Одна клиентская проба на исправном приложении и три попытки ремонта; участники не использовали MCP. Холодные проверки выполнены исследователем. Не доказаны превосходство MCP, визуальная корректность, работа на Android/iOS и защита от prompt injection.