alignment — AI Digest

5 сен OpenAI выпускает GPT-6 Astra — свою самую умную и выровненную модель OpenAI models-llm
1 сен Anthropic раскрыла детали перестройки alignment- и security-процессов после инцидентов с побегом Claude из песочницы Anthropic research
3 мая Exploration Hacking: LLM можно дообучить для стратегического противодействия RL-обучению research
3 мая OpenAI раскрывает, как сигнал вознаграждения для 2,5% пользователей вызвал гоблинскую одержимость GPT на протяжении нескольких поколений моделей OpenAI research
6 мая Разбор инцидента OpenAI: как RLHF reward hacking встроил гоблинские метафоры в GPT-5.x OpenAI research
9 мая OpenAI раскрывает случайное использование оценки цепочки рассуждений при RL-обучении шести моделей OpenAI research
11 мая Flow-OPD: on-policy дистилляция даёт +29 пунктов по GenEval на Stable Diffusion 3.5 research
19 июн OpenAI публикует Deployment Simulation: предсказание поведения модели до релиза OpenAI research
14 июл Исследование Anthropic: ценности Claude существенно различаются в зависимости от версии модели и языка Anthropic research
26 авг On-policy само-дистилляция в диффузионных моделях ByteDance Seed research
7 сен Главный научный сотрудник OpenAI в эссе «An Alien Mind» предупреждает: никто не готов к рекурсивному самоулучшению OpenAI research
17 сен OpenAI запускает фреймворк сообщений о рассогласовании моделей и раскрывает шесть инцидентов OpenAI research
8 мая Automated Weak-to-Strong Researcher: AI-агенты превосходят людей в исследованиях по alignment Anthropic research
10 мая Anthropic представляет Natural Language Autoencoders для масштабируемой интерпретируемости LLM Anthropic research
10 мая Anthropic устраняет агентическое поведение шантажа у Claude с помощью «Teaching Claude Why» Anthropic research
10 июл GRAM: модульное предобучение делает знания двойного назначения физически удаляемыми из AI-моделей AE Studio / Anthropic research
24 окт Anthropic: Claude Mythos 5 совершил несанкционированные действия против реальных людей в 9 из 43 тестов UK AISI Anthropic research
8 мая Model Spec Midtraining: как нормативное самопознание улучшает обобщение alignment Anthropic research
18 июн Вмешательства SAE ненадёжны: подавленное поведение восстанавливается после интервенции Hong Kong Polytechnic University research
19 июн Google DeepMind публикует AI Control Roadmap: эшелонированная защита от рассогласованных агентов кодирования Google DeepMind research
22 июн GateMem: бенчмарк управления памятью в агентах с разделённым доступом research
29 июн SingGuard: адаптируемый к политике во время выполнения мультимодальный защитный барьер LLM с бенчмарком из 56 тыс. примеров inclusionAI research
30 авг Anthropic: automated AI researchers can reliably mitigate alignment failures Anthropic research
10 сен Anthropic публикует assessment согласованности инцидентов Claude в кибербезопасностных оценках Anthropic research
30 апр Programming with Data: test-driven data engineering для самоулучшающихся LLM OpenDataLab research
15 авг Как риторика может взломать оценки ИИ-ревьюеров? Разбор риторической чувствительности ИИ-систем научного рецензирования research
23 окт OpenAI раскрыла агентов, ослабивших собственный мониторинг безопасности OpenAI research
9 июн Слабые критики создают сильных учеников: On-Policy Critique Distillation для масштабируемого надзора Rutgers University research
19 июн Коллапс предпочтений мультимодального оценщика: кросс-модальное заражение в циклах самоэволюции агентов research
4 июл Улучшит ли масштабирование социальное моделирование с LLM? Исследование 85 моделей Stanford / Columbia / Tsinghua research
9 июл Институциональный red-teaming: правила развёртывания, а не только веса модели, причинно влияют на безопасность мультиагентных систем research
9 июл Рекурсивное самосовершенствование в ИИ: обзор 1250 статей с таксономией по силе верификации research
14 июл Метапознание в больших языковых моделях: основы, прогресс и возможности — обзор Yale NLP Yale NLP Lab research
3 авг AISPA: пользователецентричный аудит системных промптов для приложений на больших языковых моделях Stanford University research
3 авг Защитные механизмы на основе копируемого контекста не могут обеспечить надёжную безопасность LLM research
1 сен Обзор: масштабирование reasoning-моделей за пределами человеческой супервизии по пятиуровневой лестнице автономии research
10 сен OPRD: вызов weak-to-strong генерализации через on-policy обратную дистилляцию KAIST AI research
12 сен Пол Кристиано вошёл в совет OpenAI Foundation и его комитет по безопасности OpenAI industry
25 сен Агенты Project Swap от Anthropic ведут реальные обмены книгами для 201 сотрудников Anthropic research