pretraining — AI Digest

13 июл Модели генерации видео как универсальные инструменты компьютерного зрения Google DeepMind research
18 авг Статья ByteDance Seed исследует, как часто высококачественные доменные данные следует повторять при масштабировании LLM ByteDance research
12 сен Яндекс открыл Alice AI Search Pretrain — базовую модель AI-ответов в Поиске Yandex models-llm
12 сен NCP-ArchPreview: латентные языковые модели на 8,9B параметров через Next Concept Prediction Shanghai AI Lab research
23 окт Scaling in Games: Continued Pre-Training For Embodied Agents In Diverse Virtual Worlds Tsinghua THUSI-Lab, miHoYo research
13 июл Масштабируемое визуальное предобучение для языкового интеллекта research
2 сен SMELT: зацикленные MoE-трансформеры догоняют базовое масштабирование при равных вычислениях ByteDance Seed research
21 июл Понимание рассуждения: от предобучения к пост-обучению research
7 авг К «физике» мультимодального предобучения: поток знаний, синергия модальностей, ранняя унификация и рецепты Meta AI research