Motif 3: технический отчёт

Технический отчёт по Motif 3 — decoder-only модели Mixture-of-Experts с 314B параметров (13,2B активных), построенной на Grouped Differential Latent Attention в сочетании с manifold-constrained hyper-connections и головой multi-token-prediction, показывающей конкурентоспособные результаты на задачах рассуждения, кодинга и работы с длинным контекстом.