OpenZeppelin нашла ошибки в ИИ-бенчмарке EVMbench от OpenAI

Компания OpenZeppelin, специализирующаяся на кибербезопасности блокчейнов, провела независимую проверку нового бенчмарка EVMbench от OpenAI и обнаружила в нём ряд методологических недочётов, а также проблему «загрязнения» обучающих данных.

«https://t.co/yW00RmRBZQ» — OpenZeppelin (@OpenZeppelin), оригинальный пост

Что такое EVMbench и зачем он нужен

OpenAI запустила EVMbench в середине февраля совместно с инвестиционным фондом Paradigm. Цель инструмента — оценивать способность ИИ-агентов обнаруживать, исправлять и эксплуатировать уязвимости в смарт-контрактах. Бенчмарк основан на выборке из 120 уязвимостей, зафиксированных в ходе аудитов за 2024–2025 годы.

Команда OpenZeppelin положительно оценила саму инициативу, однако решила подвергнуть EVMbench такой же тщательной проверке, которую компания обычно применяет к защищаемым протоколам — среди клиентов OpenZeppelin такие проекты, как Aave, Lido и Uniswap.

Почему это важно

Бенчмарки играют ключевую роль в развитии ИИ-инструментов для безопасности блокчейнов. Если тестовая база содержит ошибки или позволяет моделям «подглядывать» ответы из собственных тренировочных данных, результаты тестирования теряют всякую ценность. Для индустрии DeFi, где уязвимости смарт-контрактов регулярно приводят к многомиллионным потерям, достоверность таких оценочных инструментов критически значима.

Загрязнение тренировочных данных

Центральная претензия OpenZeppelin касается так называемого «загрязнения» данных. Ведущие языковые модели, которые проходили тестирование на EVMbench, обладают срезом знаний до августа 2025 года. Это означает, что уязвимости из набора 2024–2025 годов, скорее всего, уже содержались в их обучающих корпусах.

Даже при отключённом доступе к интернету модели могли «вспоминать» информацию об этих конкретных багах, а не обнаруживать их заново. Такой подход не позволяет установить, способен ли ИИ выявлять действительно новые угрозы — а именно это является главной задачей подобных инструментов на практике.

Фактические ошибки в наборе уязвимостей

Помимо проблемы с данными, аудиторы выявили конкретные фактические ошибки в самом датасете EVMbench. Как минимум четыре уязвимости, отнесённые к категории «высокого риска», на деле оказались неработоспособными — описанные в них атаки попросту не срабатывают.

При этом ИИ-агенты получали зачётные баллы за «верное» обнаружение этих несуществующих проблем. Эксперты OpenZeppelin подчеркнули, что речь идёт не о субъективных расхождениях в оценке серьёзности, а о случаях, когда описанный сценарий атаки просто невозможен.

Позиция OpenZeppelin: качество данных — приоритет

Несмотря на выявленные проблемы, специалисты OpenZeppelin подтвердили, что искусственный интеллект сыграет определяющую роль в будущем безопасности блокчейнов. Однако они предостерегли от спешки во внедрении, если она идёт в ущерб качеству тестовых данных.

Вопрос не в том, изменит ли ИИ безопасность смарт-контрактов — он её изменит. Вопрос в том, будут ли бенчмарки и данные, на которых строятся эти инструменты, соответствовать тем же стандартам, что и контракты, которые они призваны защищать.

Ранее, в ноябре, специалисты Microsoft представили собственную среду для тестирования ИИ-агентов и выявили ряд уязвимостей, характерных для современных цифровых помощников. Аудит EVMbench со стороны OpenZeppelin вписывается в более широкую тенденцию критического осмысления ИИ-инструментов в сфере блокчейн-безопасности.