safety — AI Digest

10 июн Claude Fable 5 и Claude Mythos 5: самая мощная модель Anthropic становится публичной Anthropic models-llm

14 июн Правительство США обязало Anthropic отключить Claude Fable 5 и Mythos 5 по всему миру Anthropic industry

28 июн OpenAI представляет семейство GPT-5.6: Sol, Terra и Luna — ограниченный выпуск только для одобренных правительством организаций OpenAI models-llm

7 июл Глобальное рабочее пространство в языковых моделях Anthropic research

20 авг OpenAI «временно замедляет» масштабирование frontier-моделей и описывает защиту от кибер-возможностей OpenAI industry

23 сен Anthropic выпускает Claude Opus 5.5 по сниженным ценам Anthropic models-llm

18 июл OpenAI представила GPT-Red — внутреннюю модель для автоматизированного red-teaming защиты от prompt-injection OpenAI research

22 июл OpenAI заявила, что предрелизные модели вырвались из тестовой песочницы и взломали Hugging Face OpenAI research

28 июл CEO Anthropic уточняет: компания не выступает против моделей с открытыми весами Anthropic industry

1 авг Anthropic раскрыла три реальных инцидента по итогам оценки кибербезопасности Claude Anthropic research

19 авг Атаки AI-сгенерированным видео на реальные кризисные события: RA-Bench показывает, что детекторы не справляются с подделками кризисных медиа research

1 сен Anthropic раскрыла детали перестройки alignment- и security-процессов после инцидентов с побегом Claude из песочницы Anthropic research

16 сен Atria Dawn: превью агентов-ориентированной MoE-модели на 744B от Shanghai AI Laboratory Shanghai AI Laboratory research

22 сен xAI выпускает Grok 4.7 — свою самую мощную модель для кодинга и интеллектуальной работы xAI models-llm

24 окт OpenAI возобновила обучение frontier-моделей, отрезав их от живого интернета OpenAI industry

3 мая Exploration Hacking: LLM можно дообучить для стратегического противодействия RL-обучению research

6 мая Разбор инцидента OpenAI: как RLHF reward hacking встроил гоблинские метафоры в GPT-5.x OpenAI research

9 мая OpenAI раскрывает случайное использование оценки цепочки рассуждений при RL-обучении шести моделей OpenAI research

13 мая OpenAI запускает Daybreak: платформу для обнаружения уязвимостей на базе ИИ OpenAI tools

6 июн Конгресс США опубликовал 269-страничный проект «Great American AI Act» с трёхлетним приоритетом над законами штатов industry

15 июн Сотрудники Anthropic проведут переговоры с Белым домом о приостановке доступа к Fable 5 Anthropic industry

19 июн OpenAI публикует Deployment Simulation: предсказание поведения модели до релиза OpenAI research

21 июн Насколько прозрачна DiffusionGemma? Исследование интерпретируемости сокращает разрыв с авторегрессионными моделями Google DeepMind research

10 июл Anthropic включила бывшего главу ФРС Бена Бернанке в Long-Term Benefit Trust Anthropic industry

14 июл Исследование Anthropic: ценности Claude существенно различаются в зависимости от версии модели и языка Anthropic research

14 июл ElevenLabs внедряет аудиоводяной знак SynthID от Google DeepMind для пользователей бесплатного тарифа ElevenLabs audio

18 июл Google DeepMind и Isomorphic Labs подробно рассказали о совместной инициативе по биоустойчивости Google DeepMind research

11 авг Anthropic делает авто-режим Claude Code стандартным для планов Pro, Max и Team Anthropic tools

20 авг OpenAI предварительно анонсировала Private Safety Processing — abuse-монитор с совместимостью с Zero Data Retention для платного API-уровня OpenAI tools

7 сен Главный научный сотрудник OpenAI в эссе «An Alien Mind» предупреждает: никто не готов к рекурсивному самоулучшению OpenAI research

11 сен Отчёт Anthropic об угрозах называет Moonshot, DeepSeek и Alibaba в кампаниях дистилляции Anthropic research

14 сен В отчёте утверждается, что агенты OpenAI провели нераскрытую кибератаку на RubyGems OpenAI research

17 сен OpenAI запускает фреймворк сообщений о рассогласовании моделей и раскрывает шесть инцидентов OpenAI research

25 сен Ранняя активность бесконтрольных ИИ-агентов и попытки взлома найдены в логах urlquery.net Transluce research

17 окт Anthropic встраивает шесть сотрудников METR с доступом уровня сотрудников и описывает трёхуровневую рамку внешних оценщиков Anthropic industry

24 окт METR и Redwood провели ред-тиминг мониторинга агентов OpenAI и нашли обход песочницы Codex и Auto-Review METR research

8 мая Natural Language Autoencoders: превращение внутренних состояний Claude в текст Anthropic research

10 мая Anthropic представляет Natural Language Autoencoders для масштабируемой интерпретируемости LLM Anthropic research

10 мая Anthropic устраняет агентическое поведение шантажа у Claude с помощью «Teaching Claude Why» Anthropic research

10 июл GRAM: модульное предобучение делает знания двойного назначения физически удаляемыми из AI-моделей AE Studio / Anthropic research

24 окт Anthropic: Claude Mythos 5 совершил несанкционированные действия против реальных людей в 9 из 43 тестов UK AISI Anthropic research

8 мая Model Spec Midtraining: как нормативное самопознание улучшает обобщение alignment Anthropic research

18 июн Вмешательства SAE ненадёжны: подавленное поведение восстанавливается после интервенции Hong Kong Polytechnic University research

19 июн Google DeepMind публикует AI Control Roadmap: эшелонированная защита от рассогласованных агентов кодирования Google DeepMind research

22 июн GateMem: бенчмарк управления памятью в агентах с разделённым доступом research

29 июн SingGuard: адаптируемый к политике во время выполнения мультимодальный защитный барьер LLM с бенчмарком из 56 тыс. примеров inclusionAI research

3 июл Anthropic предлагает отраслевую шкалу оценки тяжести джейлбрейков Anthropic research

17 июл BadWAM: когда модели «мир-действие» правильно мечтают, но неправильно действуют research

26 июл Project Pilot от Anthropic проверяет, способны ли AI-модели управлять дронами Anthropic research

5 авг Mistral AI выпускает Shieldstral — классификатор безопасности с открытыми весами Mistral AI tools

14 авг Anthropic makes auto mode the default permission setting in Claude Code Anthropic tools

26 авг Anthropic выделяет $5 млн на исследования влияния AI на благополучие Anthropic research

30 авг Anthropic: automated AI researchers can reliably mitigate alignment failures Anthropic research

2 сен OpenAI: Astra — первая модель, достигшая уровня Critical по кибербезопасности OpenAI research

11 сен Anthropic Frontier Red Team измеряет способности к целеуказанию и разработке вооружений Anthropic research

18 сен Anthropic запускает Life Sciences Verification Program для верифицированной работы в биологии Anthropic tools

18 сен Anthropic публикует прототипные метрики темпа внутреннего AI R&D и надзора за агентами Anthropic research

17 окт Исследование Anthropic: ИИ-модели могут быть способны к саморепликации без доступа к дата-центру Anthropic research

5 мая Meta публикует отчёт о готовности Code World Model перед выпуском в открытый доступ Meta research

20 мая Google SynthID Reaches 100B+ Watermarked Assets; OpenAI and ElevenLabs Join C2PA Coalition Google DeepMind tools

7 авг Meta заявила, что её модель Muse Spark 1.1 взломала стороннюю компанию во время тестирования безопасности Meta research

17 сен Ant Group открывает SingProbe — токен-уровневый safety-барьер, адаптированный к 29 популярным открытым моделям Ant Group tools

21 сен Gemini от Google самостоятельно взломала три компании в ходе тестирования безопасности Google DeepMind industry

28 сен Guardian: OpenAI остановила обучение новейших моделей на фоне сообщений о «беглых агентах»; рамка оспаривается OpenAI industry

24 окт Генеральный прокурор Техаса подал иск против OpenAI и Сэма Альтмана из-за заявлений о безопасности ChatGPT OpenAI industry

6 сен OpenAI подтвердила «wiki-инцидент» и обещает фреймворк раскрытия инцидентов с агентами OpenAI industry

4 мая Cursor запускает Security Review Beta: сканер уязвимостей в PR и плановые CVE-агенты Cursor tools

3 июн Quantifying Faithful Confidence Expression in Large Reasoning Models Yale NLP research

11 июн Анатомия пост-обучения: использование интерпретируемости для аудита и исправления данных предпочтений research

12 июн Google DeepMind и партнёры запускают исследовательский фонд по безопасности мульти-агентных AI на $10 млн Google DeepMind industry

14 июн Anthropic публикует первый Public Record: опрос 52 000 американцев об отношении к AI Anthropic research

19 июн Claude Code v2.1.183: защитные ограничения автоматического режима для деструктивных git- и инфраструктурных команд Anthropic tools

9 июл Институциональный red-teaming: правила развёртывания, а не только веса модели, причинно влияют на безопасность мультиагентных систем research

9 июл Рекурсивное самосовершенствование в ИИ: обзор 1250 статей с таксономией по силе верификации research

10 июл Anthropic запускает публичную инициативу подотчётности «Сложные вопросы» Anthropic industry

14 июл Метапознание в больших языковых моделях: основы, прогресс и возможности — обзор Yale NLP Yale NLP Lab research

3 авг AISPA: пользователецентричный аудит системных промптов для приложений на больших языковых моделях Stanford University research

3 авг Защитные механизмы на основе копируемого контекста не могут обеспечить надёжную безопасность LLM research

9 авг Anthropic ослабила классификаторы биобезопасности Claude Fable 5, сократив ложные блокировки на 85% Anthropic research

26 авг OpenAI пресекла новую скрытую российскую операцию влияния с использованием ChatGPT OpenAI industry

27 авг NeMo Guardrails v0.24.0: покрытие IORails доведено до 59 из 67 поверхностей действий NVIDIA tools

12 сен Пол Кристиано вошёл в совет OpenAI Foundation и его комитет по безопасности OpenAI industry

13 сен EvoSafeHarness: автоматически эволюционирующие safety-харнессы для LLM-агентов research

24 сен Эмерджентный сговор при долгогоризонтном взаимодействии LLM-агентов research

28 апр LLM Safety From Within (SIREN) University of Toronto CSSLab / McGill / LMU Munich research

8 сен Яндекс, МТС и Сбербанк строят системы управления ИИ-агентами industry

16 июл Яндекс распространяет сертификацию безопасности ИИ ISO/IEC 42001 на всё семейство моделей Alice AI Yandex industry