Почему ощущениям нельзя доверять
В рандомизированном исследовании METR 2025 года 16 опытных разработчиков решали 246 реальных задач в своих open-source репозиториях. Задачи случайно делили на две группы: с AI-инструментами и без них. До старта участники ожидали ускорения на 24%. По замеру задачи с AI заняли на 19% больше времени. После эксперимента участники всё равно оценивали ускорение в 20%.
Условия исследования особые: опытные люди, хорошо знакомый им крупный код, инструменты начала 2025 года. Авторы предупреждают, что результат нельзя переносить на все команды. В феврале 2026 года METR описала второй эксперимент. Сырые данные показывают ускорение, но авторы признали их ненадёжными: разработчики, которые не хотят работать без AI, отказывались участвовать или не приносили такие задачи. METR меняет схему исследования. Вывод о самооценке это не отменяет: она расходится с замером, и иногда в обратную сторону.
Метрики, которые вводят в заблуждение
- Строки кода и доля кода от AI. Агент пишет много кода. Больше кода означает больше поддержки. Пользователю всё равно, сколько строк кода написано.
- Число PR и коммитов. Растёт с первого дня. Ничего не говорит о том, сколько изменений дошло до пользователей и не вернулось на переделку.
- Доля принятых подсказок. Показывает, как часто разработчик нажимает Tab. С агентами, которые делают изменение целиком, теряет смысл.
- Число активных пользователей инструмента. Показывает внедрение. Об эффекте она ничего не говорит.
Эти показатели полезны, чтобы следить за внедрением. Для ответа на вопрос «стало ли лучше» они не подходят.
Три рамки для измерения
DORA: скорость и стабильность релизов
Lead time, частота релизов, время восстановления, доля неудачных изменений, доля переделок. Считаются по Git, CI/CD и инцидентам. Отвечают на вопрос, быстрее и надёжнее ли изменения доходят до production. Подробно — в статье DORA-метрики.
SPACE: производительность с разных сторон
Рамку описали Николь Форсгрен, Маргарет-Энн Стори и соавторы в 2021 году. Пять измерений: удовлетворённость и самочувствие, результат, активность, коммуникация и совместная работа, эффективность и поток. Главная идея — производительность нельзя свести к одной цифре. Нужно сочетать хотя бы три измерения и данные из систем с опросами людей.
DevEx: опыт разработчика
Рамка DevEx 2023 года от Аби Ноды, Маргарет-Энн Стори, Николь Форсгрен и Микаэлы Грейлер. Три измерения:
- Петли обратной связи — сколько разработчик ждёт сборку, тесты, ревью, ответ коллеги.
- Когнитивная нагрузка — сколько усилий уходит на понимание кода, процессов и документации.
- Состояние потока — сколько времени удаётся работать без прерываний.
Агенты влияют на все три. Они сокращают ожидание при написании кода, но могут удлинить петлю ревью. Они снимают рутину, но добавляют нагрузку на проверку чужого кода. Опрос по DevEx до и после пилота показывает, куда сдвинулась работа.
AI-метрики
К метрикам релизов и опыта разработчиков добавляют метрики, которые показывают, как работают агенты:
| Метрика | Как считать | Что показывает |
|---|---|---|
| Доля решений агентов | Доля задач или изменений, которые агент довёл до мержа без ручных правок | Насколько агенты самостоятельны в вашем процессе |
| Влияние решений агентов | Дефекты и откаты в изменениях агентов против изменений людей | Не платит ли команда качеством за скорость |
| Ручные правки после агента | Коммиты людей в ветке агента до мержа, по истории git | Где harness не хватает правил и проверок |
| Пересдачи ревью | Сколько кругов «ревьюер — исполнитель» до принятия | Качество спек и правил ревью |
| Стоимость задачи | Токены на задачу из LLM-шлюза | Экономику процесса по типам задач |
Первые две метрики используют на ревью пилотов Праксора вместе с DORA. Ручные правки по истории git разбирают каждую неделю: каждая такая правка — кандидат на изменение правил или проверок.
Как устроить замер пилота
- Выбрать пилотную команду и, если можно, похожую команду для сравнения, которая пока работает по-старому.
- Снять стартовый замер. DORA-метрики за 2–3 месяца по историческим данным, опрос DevEx, метрики процесса: размер MR, время ревью, доля переделок.
- Договориться о правилах. Метрики описывают команду, оценивать по ним отдельных людей нельзя. На время пилота убрать KPI, которые мешают экспериментировать, например KPI по дефектам.
- Смотреть еженедельно. Динамика метрик, разбор ручных правок, привязка дефектов к спекам.
- Сравнить через 2–3 месяца. С собственным стартом и с контрольной командой. Учесть сезонность и состав задач.
Как показать результат руководству
Руководителю нужен ответ на три вопроса: стали ли релизы выходить быстрее, не упало ли качество, во что это обошлось. Структура отчёта:
- lead time и частота релизов против старта;
- change failure rate и rework rate против старта;
- доля решений агентов и их влияние на качество;
- стоимость: токены, время команды на harness, сопровождение;
- что изменилось в составе работы: какие задачи забрали агенты, куда перешло время людей.
Последний пункт важен для решений о составе команд. Перестраивать команды или нет, решает компания. Метрики дают для этого решения цифры.
Замер эффекта с Праксором
На диагностике фиксируем стартовые метрики. Через три месяца на ревью показываем DORA-метрики плюс AI-метрики против стартового замера. Полную автономию агентов за квартал не обещаем: цель пилота — устойчивый процесс на одной команде и люди, которые смогут его масштабировать. Программа
Вопросы
Как измерить производительность разработчиков после внедрения AI?
Сравнить метрики релизов (DORA), процесса (размер MR, время ревью, доля переделок) и опыта разработчиков (опрос DevEx) до и после внедрения на одной команде, в идеале с контрольной командой.
Почему число PR и строк кода не подходит для оценки AI?
Агенты увеличивают объём кода и число PR с первого дня. Эти цифры показывают активность, но не то, сколько изменений дошло до пользователей без переделок.
Что такое developer experience и как его измерить?
Опыт разработчика в работе с кодом, инструментами и процессами. Рамка DevEx измеряет его через петли обратной связи, когнитивную нагрузку и состояние потока с помощью опросов и данных из систем.
Сколько нужно времени, чтобы увидеть эффект AI в метриках?
Обычно 2–3 месяца пилота. Первые недели метрики шумят из-за перестройки процесса, поэтому сравнивать стоит в конце пилота со стартовым замером.