OSReward: стандартизированная оценка кросс-платформенных reward-моделей для computer-use

Предлагает бенчмарк для оценки траекторий агентов, использующих компьютер, с помощью vision-language моделей, обнаруживает, что даже современные модели демонстрируют систематическую склонность к снисходительности, ошибочно засчитывая провалы как успехи, и публикует датасет OS-Shepherd-100K, а также открытые reward-модели на 9B/35B, сопоставимые с коммерческими аналогами при меньшей стоимости.