GitHub проанализировал 103,9 млн пул-реквестов и выпустил бенчмарк ReviewBench для ИИ-ревьюеров кода

Чтобы понять, какой код на самом деле попадает на ревью, GitHub изучил 103,9 млн пул-реквестов на своей платформе. Из этого массива в новый бенчмарк вошли 219 штук. Их взяли из 187 публичных репозиториев с открытыми лицензиями, и написаны они на 19 языках.[1][2]

Бенчмарк называется ReviewBench. Он нужен, чтобы оценивать ИИ-ревьюеров кода в офлайн-режиме, то есть без экспериментов на живых пользователях. Компания рассказала о нём в своём блоге, и все подробности ниже приводятся по её данным. Исследовательская предварительная версия уже открыта на сайте проекта. Там можно изучить бенчмарк, сравнить агентов код-ревью между собой и подключить собственного агента, чтобы оценить его и дорабатывать дальше.[3][4]

По словам GitHub, распределение по языкам и по размеру репозиториев в бенчмарке повторяет общую картину платформы. С размером самих пул-реквестов поступили иначе. Выборку сознательно сместили к средним и крупным изменениям, чтобы мелкие правки в одном файле не перевешивали более содержательные пул-реквесты, затрагивающие несколько файлов.[2][5]

Ответы ИИ-ревьюера сверяют с эталонным набором находок. Этот набор собирали из трёх источников: замечаний живых ревьюеров, выводов передовых языковых моделей и результатов статического анализа. Судьёй служит Claude Sonnet 5: он оценивает находки каждой системы по одному и тому же рубрику.[6][7]

Системы сравнивают между собой прежде всего по grounded recall. Метрики группы augmented компания называет дополнительной диагностикой, которая описывает отдельную систему. Пользователь может менять коэффициент β в показателе Fβ. Так он сдвигает вес к полноте, если важнее широкий охват, или к точности, если нужно меньше лишних замечаний.[8][9]

Перед релизом GitHub проверил сам эталон. Компания попросила старших инженеров, которые не участвовали в сборке датасета, разметить все эталонные находки с нуля. «Их суждения о том, где истинное срабатывание, а где ложное, совпали с ReviewBench в 96,6% случаев», говорится в блоге.[10]

Бенчмарк уже работает и на собственный продукт GitHub. По словам компании, с ним офлайн-оценка Copilot code review (CCR) стала лучше предсказывать, в какую сторону пойдут эксперименты в продакшене.[11]

Полный датасет выложен в открытый доступ: пул-реквесты, находки, метки, аннотации серьёзности и категорий. GitHub публикует и рубрик оценки, и судью, который его применяет. Датасет, судья и матчер версионируются для каждой оценки. По замыслу компании, так результаты можно сравнивать при одной и той же конфигурации бенчмарка и перепроверять, когда бенчмарк изменится.[12][13][14]