multimodal — AI Digest

4 июн NVIDIA выпускает Cosmos 3: открытая омнимодальная фундаментальная модель для физического AI NVIDIA research
28 июл Moonshot Kimi K3: релиз открытых весов модели MoE на 2,8 трлн параметров Moonshot AI models-llm
26 авг Tencent выпускает мультимодальные модели эмбеддингов WeMM-Embedding (2B/4B/9B) — новый SOTA на MMEB-v2/v3 Tencent models-llm
30 апр GLM-5V-Turbo: нативная foundation-модель для мультимодальных агентов Z.ai research
13 мая Thinking Machines Lab представляет TML-Interaction-Small: мультимодальная модель MoE на 276B для работы в реальном времени Thinking Machines Lab models-llm
13 мая SenseNova-U1: open-source унифицированное мультимодальное понимание и генерация через NEO-unify SenseTime research
15 мая MulTaBench: бенчмаркинг мультимодального табличного обучения с текстом и изображениями Technion research
19 мая Google I/O 2026: Gemini 4, Jules V2, Firebase Studio GA, Android XR и Aluminium OS Google DeepMind models-llm
20 мая Google Introduces Gemini Omni: Any-to-Any Video Generation in Consumer Products Google DeepMind video
2 июн Alibaba выпускает Qwen3.7-Plus: мультимодальный агент с поддержкой зрения, рассуждений и автономного выполнения задач Alibaba / Qwen models-llm
2 июн MiniMax выпускает M3: открытая фронтирная модель с контекстом 1M токенов и архитектурой MSA MiniMax models-llm
4 июн Google DeepMind выпускает Gemma 4 12B: мультимодальная модель без энкодера, работающая на ноутбуке с 16 ГБ VRAM Google DeepMind models-llm
10 июн MiniMax M3 с открытыми весами: контекст 1M, MoE и кодирование на уровне лучших моделей MiniMax models-llm
24 июн ByteDance представляет Doubao-Seed-2.1-Pro на конференции Volcano Engine FORCE ByteDance models-llm
26 июн ByteDance представляет флагманскую LLM Doubao-Seed-2.1 Pro на конференции FORCE ByteDance / Doubao models-llm
2 июл Публичный запуск ByteDance Seedance 2.5: нативное 4K-видео длительностью 30 секунд ByteDance video
2 июл Orca: общая фундаментальная модель мира от BAAI, обученная на 125K часов видео BAAI research
16 июл Thinking Machines Lab выпустила Inkling: мультимодальную MoE-модель на 975 млрд параметров с открытыми весами Thinking Machines Lab models-llm
24 июл Black Forest Labs выпускает FLUX 3 — мультимодальную модель, генерирующую видео с синхронизированным звуком Black Forest Labs video
19 авг Атаки AI-сгенерированным видео на реальные кризисные события: RA-Bench показывает, что детекторы не справляются с подделками кризисных медиа research
19 авг S²VOPD: самообучаемая визуальная on-policy дистилляция поднимает Qwen3.5-4B с 70,7% до 77,4% на шести бенчмарках тонкого восприятия UC San Diego research
25 авг Alibaba выпускает видеомодель Wan 3.0 с 30-секундной генерацией за один проход и нативным аудио Alibaba (Tongyi Lab) video
28 авг Долгосрочная аудиовизуальная генерация для persistent stories и интерактивных миров research
11 сен DeepSeek V4.1 Flash выходит в GA с открытыми весами по MIT и выводом V4 Pro из эксплуатации DeepSeek models-llm
16 сен Google представила речевые модели Gemini 3.8 Live и 3.8 Live Extended Thinking Google DeepMind models-llm
23 окт WeVisOne-VL: Unified Visual Perception from Objects to Pixels Tencent WeChat Vision research
2 мая Eywa: фреймворк гетерогенного взаимодействия между LLM-агентами и научными foundation-моделями University of Illinois at Urbana-Champaign research
3 мая MiniCPM-o 4.5: полнодуплексное омнимодальное AI в реальном времени на граничных устройствах OpenBMB / Tsinghua University research
5 мая AI2 публикует в открытый доступ MolmoAct2: роботизированная VLA, превосходящая GPT-5 в воплощённом рассуждении AI2 research
5 мая UniVidX: единый диффузионный бэкбон для генерации RGB, карт внутренних признаков и RGBA-видео research
9 мая ByteDance выпускает Doubao-Seed-2.0-lite — первую омни-модальную модель в серии Seed ByteDance models-llm
12 мая Qwen-Image-2.0: унифицированная генерация и редактирование изображений в разрешении 2K, первое место на AI Arena Alibaba research
13 мая Google DeepMind представляет Magic Pointer: AI-осведомлённый курсор мыши для Chrome и Googlebook Google DeepMind tools
20 мая Lance: 3B Unified Multimodal Model for Understanding, Generation, and Editing (314 HF upvotes) ByteDance Research research
23 июн World Action Models: обзор National University of Singapore research
24 июн Mistral выпускает OCR 4 с bounding box'ами, классификацией блоков и поддержкой 170 языков Mistral tools
25 июн Beyond NL2Code: структурированный обзор мультимодального интеллекта в написании кода research
26 июн Яндекс выпускает масштабное обновление Алисы: межсессионная память, персонализация и режим доступности в реальном времени Yandex models-llm
26 июн Qwen-AgentWorld: языковые мировые модели для универсальных агентов на 35B и 397B параметров Qwen Team, Alibaba research
26 июн ByteDance анонсирует Seedream 5.0 Pro: генерация изображений со встроенным онлайн-поиском и глубоким рассуждением ByteDance image
28 июн ViQ: текстово-выровненные дискретные визуальные представления с поддержкой произвольного разрешения (ECCV 2026) Tencent Hunyuan research
2 июл ByteDance публикует карточку модели Seed2.0 ByteDance research
6 июл ByteDance Seedance 2.5 стала публично доступна через Dreamina и Jimeng ByteDance video
7 июл GigaWorld-1: дорожная карта для построения моделей мира для оценки роботизированных политик GigaAI research
9 июл LingBot-VLA 2.0: преодоление разрыва между базовыми VLA-моделями и реальным развёртыванием LingBot Team research
9 июл AlayaWorld: генерация интерактивных видеомиров с длинным горизонтом (открытый исходный код) AlayaWorld Team research
12 июл Vidu S1: модель интерактивной генерации видео в реальном времени ShengShu Technology research
13 июл Модели генерации видео как универсальные инструменты компьютерного зрения Google DeepMind research
20 июл Alibaba представила превью Qwen3.8-Max — мультимодального флагмана с 2,4 трлн параметров Alibaba / Qwen models-llm
31 июл Mage-VL: эффективная кодек-нативная потоковая мультимодальная базовая модель Microsoft research
16 авг Intern-S2-Preview: научная агентская базовая модель на 397B от Shanghai AI Lab Shanghai AI Lab research
17 авг Alaya-EVOKE: от линейно масштабируемого обучения к бесконечному миру Zhejiang University research
24 авг DeepSeek выпускает экспериментальную мультимодальную модель V4-Flash-Vision-Exp DeepSeek models-llm
26 авг EchoWM: открытые и входимые omnimodal-модели мира JD.com research
26 авг TLive-Omni: omnimodal-модель понимания для e-commerce-стриминга Tencent research
27 авг Alibaba выпускает Wan 3.0 с 30-секундными клипами и document-to-video Alibaba video
18 сен Alibaba выпускает Qwen 3.8 Omni Flash как дешёвый аудиовизуальный дефолт Alibaba (Qwen) models-llm
25 сен Gemini 3.8 Live добавляет почти реальное время видео с Live Avatar Google DeepMind models-llm
19 мая LongLive-2.0: параллельная инфраструктура NVFP4 для генерации длинных видео (NVIDIA, 1220 апвоутов на HF) NVIDIA research
11 июн Kwai Keye-VL-2.0: открытая мультимодальная MoE-модель 30B с контекстом 256K для длинного видео Kwai research
14 июн Moonshot AI выпускает Kimi K2.7-Code: открытая модель с 1T параметрами для программирования и поддержкой зрения Moonshot AI models-llm
17 июн JoyAI-VL-Interaction: открытая VLM на 8B для взаимодействия в реальном времени с автономным управлением очередью речи JD.com research
8 июл InternVLA-A1.5: объединение понимания, латентного предвидения и действия для композиционной генерализации InternRobotics research
8 июл Мультиплеерные интерактивные мировые модели с репрезентационными автоэнкодерами research
11 июл Meta выпускает Muse Spark 1.1 и запускает Meta Model API Meta models-llm
5 авг SwanTale: унифицированная генерация многоголосой речи и аудио для instruct и zero-shot задач ByteDance research
1 сен DeepSeek открыла веса V4-Flash-Vision-Exp — первой мультимодальной модели линейки V4 — под MIT DeepSeek models-llm
11 сен Show-Harness: обычный VLM-агент уже может управлять роботами Show Lab, NUS research
12 сен SenseNova-U1.5: нативный унифицированный визуальный интеллект без энкодеров и VAE SenseTime research
17 окт OmniCompass: целостный бенчмарк для омни-модального video grounding и понимания research
7 мая RLDX-1: Multi-Stream Action Transformer достигает 86,8% на гуманоидных задачах ALLEX RLWRLD research
9 мая OpenSearch-VL: открытый рецепт обучения мультимодальных агентов поиска Tencent Hunyuan research
16 мая SANA-WM: мировое моделирование 720p длительностью в минуту на одном GPU NVIDIA research
16 мая MemLens: бенчмарк мультимодальной долгосрочной памяти для моделей визуального языка NVIDIA research
19 мая CiteVQA: бенчмарк атрибуции доказательств для надёжной document intelligence (178 апвоутов на HF) Peking University / Shanghai Artificial Intelligence Laboratory research
19 мая PhysBrain 1.0: эгоцентрическое видео людей как обучающие данные для VLA-моделей роботов (133 апвоута на HF) DeepCybo research
19 мая MMSkills: переиспользуемые мультимодальные скиллы для универсальных визуальных агентов (105 апвоутов на HF) Shanghai Jiao Tong University research
6 июн Audio Interaction Model: унифицированный стриминговый фреймворк, объединяющий офлайн и реальновременную обработку аудио по инструкциям research
11 июн Z-Reward: распределения оценок вместо скалярных наград для RLHF в генерации изображений Alibaba research
14 июн vLLM добавляет поддержку MiniMax M3 с открытыми весами в день выхода: разреженное внимание с контекстом 1M токенов MiniMax tools
14 июн InterleaveThinker: RL-пайплайн «планировщик+критик» для перемежающейся генерации текста и изображений CUHK Multimedia Lab research
29 июн SingGuard: адаптируемый к политике во время выполнения мультимодальный защитный барьер LLM с бенчмарком из 56 тыс. примеров inclusionAI research
2 июл Google выпускает Gemini Omni Flash для генерации видео через API Google DeepMind video
2 июл GitHub Copilot Vision стал общедоступен для всех тарифных планов GitHub tools
3 июл PerceptionRubrics: атомарная рубричная оценка выявляет разрыв в 8% по восприятию между открытыми и закрытыми моделями research
14 июл ABot-AgentOS: операционная система для роботизированных агентов с долгосрочной мультимодальной памятью Alibaba research
16 июл Boogu-Image-0.1: сильный open source диффузионный трансформер на 10B для генерации и редактирования изображений по тексту Boogu Project research
17 июл VideoChat3: полностью открытая видео-MLLM для эффективного и универсального понимания видео MCG-NJU research
21 июл RESOURCE2SKILL: дистилляция исполняемых агентных навыков из мультимодальных ресурсов, созданных людьми Microsoft Research research
22 июл TimeLens2: универсальное временное позиционирование в видео с мультимодальными LLM MCG-NJU (Nanjing University) research
14 авг Intern-S2-Preview: Scientific Agentic Foundation Model Shanghai AI Lab research
23 авг 4DAnyone: Create Anyone in 4D from a Casual Monocular Video Ant Research research
26 авг llama.cpp v0.3.0 — первый помеченный стабильный релиз ночного b10621; мультимодальность dots3-note, MTP для GLM-4.5-Air, tensor-split DeepSeek 4, ggml v0.22.0 ggml-org tools
27 авг Zhipu выпускает GLM-5.3-Flash — первую нативно мультимодальную модель линейки GLM-5 Zhipu AI / Z.ai models-llm
10 сен Gander: end-to-end omni-агент взаимодействия с архитектурой Cerebellum-Brain Tencent Hunyuan research
21 сен Может ли MiniMax-H3 рассуждать о физическом мире? research
23 сен Intern-S2-397B: сильнейшая открытая научная мультимодальная модель Shanghai AI Lab Shanghai AI Laboratory (InternLM) models-llm
2 мая CoPD: co-evolving policy distillation для унифицированных мультиспособных моделей research
5 мая Odysseus: обучение VLM для интерактивного принятия решений на 100+ ходов с помощью RL Princeton University research
13 мая World Action Models: первый систематический обзор воплощённых фундаментальных моделей, объединяющих моделирование мира и действия OpenMOSS research
20 мая Google Project Genie World Model Now Simulates Real Places Using Street View Google DeepMind research
12 июн InterleaveThinker: RL-фреймворк для агентной генерации чередующегося текста и изображений research
12 июн Astra: VLM с RL-обучением запрашивает симулятор мира для пространственных рассуждений research
25 июн Wan-Streamer v0.1: сквозная интерактивная фундаментальная модель реального времени с задержкой менее 550 мс Wan-AI research
28 июн Qwen-Image-Agent: агентное построение контекста для преодоления разрыва в неполноте промптов в T2I Qwen (Alibaba) research
4 июл WorldDirector: управляемый симулятор мира с постоянной памятью динамических объектов research
6 июл Илон Маск объявил о завершении разработки Grok Imagine xAI tools
13 июл Масштабируемое визуальное предобучение для языкового интеллекта research
18 авг VibeWorlding: могут ли мультимодальные агенты создавать 3D-открытые миры от начала до конца? Tencent research
24 авг ForgeWM: Progressive Causal Training для Few-Step Action-Conditioned Video World Models research
25 авг ReWorld: интерактивная модель мира с долгосрочной памятью TongyiLab (Alibaba) research
25 авг InfinityEdit: бесконечный видеомонтаж с лёгким Edit-Ignition-адаптером Alibaba (Tongyi) research
17 сен Wuhan AI Lab открывает ZDTaichu5.0-9B — VLM для пространственного рассуждения менее 10B параметров Wuhan Artificial Intelligence Research Institute (Taichu) models-llm
29 апр DeepSeek запустил режим распознавания изображений в gray-scale тесте DeepSeek models-llm
12 мая Видеомодель Google Gemini «Omni» появляется в ранних демо накануне I/O 2026 Google DeepMind video
9 сен DeepSeek открывает двухдневную бету V4.1 Flash — мультимодальной модели новой архитектуры DeepSeek models-llm
16 мая llama.cpp b9161/b9169: совместимость с Codex CLI и мультимодальная поддержка Qwen3A ggml-org tools
8 июн VideoKR: обучающий корпус из 315K примеров для знание- и рассуждение-интенсивного понимания видео Yale University research
9 июн Echo-Memory: контролируемое исследование механизмов памяти в видеомоделях мира с условием на действие Microsoft Research research
10 июн SCAIL-2: сквозная анимация персонажей через инконтекстное кондиционирование Tsinghua University research
19 июн llama.cpp b9716: мультимодальный батчинг InternVL, CUDA col2im и исправление SSE для Nginx tools
19 июн StylisticBias: 15 визуальных атрибутов объясняют 80% социальных предубеждений в мультимодальных LLM research
19 июн Коллапс предпочтений мультимодального оценщика: кросс-модальное заражение в циклах самоэволюции агентов research
22 июн S-Agent: пространственное использование инструментов активирует пространственный интеллект в VLM Nanyang Technological University research
4 июл VRRL: визуально заземлённая саморефлексия для моделей зрение-язык через RL UT Austin / Cornell research
11 июл UniClawBench: бенчмарк для проактивных AI-агентов на реальных задачах University of Hong Kong research
14 июл LightMem-Ego: лёгкая потоковая мультимодальная память для смартфонов и AI-очков ZJUNLP research
23 июл Mage-Flow: эффективная базовая модель нативного разрешения для генерации и редактирования изображений Microsoft research
29 июл Mage-VL: эффективная codec-native стриминговая мультимодальная базовая модель Microsoft research
4 авг Свойства масштабирования текстового кондиционирования в визуальной генерации ByteDance Seed research
7 авг К «физике» мультимодального предобучения: поток знаний, синергия модальностей, ранняя унификация и рецепты Meta AI research
14 авг OmniScientist: An Omni-Modal Omni-Discipline AI Scientist research
20 авг Co-RL: unsupervised reasoning возникает из разнообразной когорты в multi-agent RL UC San Diego (Yunhao Yang, Nuno Vasconcelos, Yijiang Li et al.) research
1 сен DreamX-Creator: нативная совместная генерация аудио и видео в разрешении 2K AMAP-ML (Alibaba) research
7 сен Last Translation Benchmark: авторские задачи людей, которые всё ещё ломают frontier-модели перевода research
13 сен SpatialBlock: обучение LVLM пространственному мышлению на синтетике с блоками KAIST AI research
28 сен InternLM выпускает Intern-Decision — семейство open-weights мультимодальных моделей для принятия решений InternLM (Shanghai AI Lab) models-llm
28 апр Agentic World Modeling: Foundations, Capabilities, Laws, and Beyond HKUST/NUS/Oxford/NTU research
16 июл MWS AI выпускает Cotype Pro 3 (27B) и Light 3 (9B) для корпоративных ИИ-агентов MWS AI models-llm
16 авг Rutube запускает собственную мультимодальную ML-модель для категоризации видео по таксономии IAB industry
16 июл Яндекс распространяет сертификацию безопасности ИИ ISO/IEC 42001 на всё семейство моделей Alice AI Yandex industry