Люди в бенчмарке Humanity's Sixth Sense набрали 93,1%, лучшая модель GPT-6 Astra — 53,6%

Люди правильно отвечают на 93,1% вопросов нового бенчмарка Humanity's Sixth Sense, лучшая из проверенных мультимодальных моделей, GPT-6 Astra, — на 53,6%. Тест представило исследовательское подразделение Scale Labs вместе с Elorian, сообщает Telegram-канал @ai_machinelearning_big_data.[1][2]

Бенчмарк проверяет, умеет ли ИИ замечать скрытые социальные сигналы и пространственные связи на изображениях и видео. В него входят 522 вопроса по 288 статичным сценам и 234 видеофрагментам.[1][3]

Всего проверили 25 актуальных мультимодальных моделей, и все заметно отстали от человека. GPT-6.1 Sol набрала 46,6%, Claude Opus — 44,6%. Медиана по выборке составила 30,9%.[4][5]

Авторы разобрали более 8,5 тысячи неудачных ответов. В 94% случаев ошибка возникала ещё на уровне первичного машинного зрения: по формулировке источника, «модели пропускают маркеры в кадре и теряют контекст». На логику рассуждений пришлось 5% ошибок.[6]

Дополнительные вычисления не решили проблему. Вычислительный бюджет увеличивали в среднем до 4000 токенов на ответ, и иногда точность от этого даже снижалась. Попытка имитировать фокусировку взгляда через кроп изображения дала минимальный эффект.[7]

Из этого Scale Labs заключили, что масштабирование логического вывода не компенсирует ограничений базовой архитектуры компьютерного зрения.[8]