Loading...

🔧

Самосовершенствующиеся системы(SIS)

Контролируемые системы, которые предлагают изменения в промптах, инструментах или политиках и сохраняют их только после независимой оценки и одобрения

Сложность: highОбучение и адаптация

In 30 seconds

What: Агент предлагает изменения промптов или политик, проверяет их на наборах тестов в изоляции и разворачивает только после одобрения человеком.
When to use: Продакшен-системы, где сбои дорого обходятся и поведение нужно развивать безопасно, не ломая существующую функциональность.
Watch out: Наборы оценок устаревают или остаются неполными, из-за чего плохие изменения проходят проверку и всё равно попадают в продакшен.

Loading technique guide…

Patterns

Loading...

Паттерны и методы проектирования

Loading...

🔧

Самосовершенствующиеся системы(SIS)

Сложность: highОбучение и адаптация

In 30 seconds

What: Агент предлагает изменения промптов или политик, проверяет их на наборах тестов в изоляции и разворачивает только после одобрения человеком.
When to use: Продакшен-системы, где сбои дорого обходятся и поведение нужно развивать безопасно, не ломая существующую функциональность.
Watch out: Наборы оценок устаревают или остаются неполными, из-за чего плохие изменения проходят проверку и всё равно попадают в продакшен.

Обзор за 30 секунд

Паттерн: Системы, которые со временем автоматически анализируют, изменяют и улучшают собственные возможности и производительность

Почему: Обеспечивает непрерывную оптимизацию, снижает объём ручного обслуживания и автоматически адаптируется к меняющимся требованиям

Ключевая идея: Объединяет мониторинг, анализ и безопасное развёртывание для автономного наращивания возможностей

Быстрая реализация

1Базовый уровень:Задать исходные метрики производительности системы

2Мониторинг:Непрерывно собирать данные о производительности и ошибках

3Анализ:Автоматически выявлять возможности для улучшения

4Генерация:Создавать и оценивать возможные улучшения

5Развёртывание:Безопасно внедрять проверенные улучшения

Example: baseline_system → continuous_monitoring → improvement_generation → safe_deployment → enhanced_system

Что делать и чего избегать

✅Реализуйте надёжные проверки безопасности и механизмы отката

✅Применяйте постепенное развёртывание и A/B-тесты для улучшений

✅Отслеживайте непредвиденные побочные эффекты и эмерджентное поведение

✅Сохраняйте человеческий надзор и возможность вмешательства

✅Логируйте все попытки улучшения и их результаты

✅Установите чёткие границы и ограничения самомодификации

❌Разрешать неограниченную самомодификацию без границ безопасности

❌Развёртывать улучшения без тщательного тестирования

❌Игнорировать потенциальные уязвимости самомодификации

❌Убирать человеческий надзор и механизмы контроля

❌Оптимизировать одну метрику, не учитывая компромиссы

Когда использовать

Используйте, когда

• Долгоживущие системы, требующие непрерывной оптимизации
• Динамические среды с меняющимися требованиями
• Системы с измеримыми метриками производительности
• Имеется достаточная инфраструктура безопасности
• Возможны человеческий надзор и вмешательство

Избегайте, когда

• Системы, критичные для безопасности, без надёжных защит
• Краткосрочные или разовые применения
• Системы с неясными или неизмеримыми целями
• Строго регулируемые среды, требующие неизменного поведения
• Недостаточная инфраструктура мониторинга и контроля

Ключевые метрики

Темп улучшения

Прирост производительности за цикл итерации

Нарушения безопасности

Число нарушений ограничений или сбоев

Скорость сходимости

Время достижения оптимальной производительности

Коэффициент стабильности

Успешные и неудачные попытки улучшения

Эффективность использования ресурсов

Вычислительная стоимость самоулучшения

Вмешательство человека

Частота необходимых ручных исправлений

Основные сценарии использования

Генерация кода: автоматическое повышение качества и эффективности кода через итеративное улучшение

Рекомендательные системы: непрерывная оптимизация алгоритмов на основе отзывов и вовлечённости пользователей

Торговые алгоритмы: адаптация стратегий к результатам рынка и меняющимся условиям

Создание контента: итеративное улучшение текстов, дизайна и творческих результатов по метрикам успеха

Системное администрирование: автоматическая оптимизация конфигураций и распределения ресурсов

Научные открытия: улучшение генерации гипотез и планирования экспериментов через итеративное обучение

Источники и дополнительные материалы

Углубите понимание с помощью этих подобранных материалов

Основополагающие концепции

The Basic AI Drives (Omohundro, 2008)

Artificial General Intelligence: Concept, State of the Art, and Future Prospects (Goertzel, 2014)

The Technological Singularity (Shanahan, 2015)

Самомодифицирующийся код и архитектуры

Neural Architecture Search: A Survey (Elsken et al., 2019)

AutoML-Zero: Evolving Machine Learning Algorithms From Scratch (Real et al., 2020)

Self-Evolving Neural Networks (Stanley & Miikkulainen, 2002)

Рекурсивное самоулучшение

Risks from Learned Optimization (Hubinger et al., 2019)

Concrete Problems in AI Safety (Amodei et al., 2016)

AutoML и поиск нейронных архитектур

Efficient Neural Architecture Search via Parameter Sharing (Pham et al., 2018)

DARTS: Differentiable Architecture Search (Liu et al., 2018)

Progressive DARTS: Bridging the Optimization Gap (Chen et al., 2019)

Once for All: Train One Network and Specialize it for Efficient Deployment (Cai et al., 2019)

Последние достижения в самоулучшении LLM

Self-Instruct: Aligning Language Model with Self Generated Instructions (Wang et al., 2022)

Constitutional AI: Harmlessness from AI Feedback (Bai et al., 2022)

Self-Taught Optimizer (STO): Recursively Self-Improving Code Generation (Zelikman et al., 2023)

Large Language Models Can Self-Improve (Huang et al., 2022)

Исследования безопасности и согласования

AI Alignment: A Comprehensive Survey (Ji et al., 2023)

Measuring Progress on Scalable Oversight for Large Language Models (Bowman et al., 2022)

Red Teaming Language Models to Reduce Harms (Ganguli et al., 2022)

Training a Helpful and Harmless Assistant with Reinforcement Learning from Human Feedback (Bai et al., 2022)

Эволюционное и генетическое программирование

Genetic Programming: On the Programming of Computers by Means of Natural Selection (Koza, 1992)

NEAT: Evolving Neural Networks through Augmenting Topologies (Stanley & Miikkulainen, 2002)

Age-Fitness Pareto Optimization (Schmidt & Lipson, 2010)

Automated Algorithm Design via Evolutionary Computation (Pappa et al., 2014)

Метаобучение для самоулучшения

Learning to Learn by Gradient Descent by Gradient Descent (Andrychowicz et al., 2016)

Model-Agnostic Meta-Learning for Fast Adaptation (Finn et al., 2017)

Meta-Learning: A Survey (Hospedales et al., 2020)

Learning to Optimize Neural Nets (Li & Malik, 2016)

Практические фреймворки реализации

AutoGluon: AutoML для изображений, текста и табличных данных

NASLib: модульный и гибкий фреймворк AutoML

OpenAI Codex: Evaluating Large Language Models Trained on Code

GitHub Copilot: парное программирование с ИИ

Инструменты мониторинга и безопасности

MLflow: платформа жизненного цикла машинного обучения

Weights & Biases: отслеживание экспериментов для ML

Seldon Core: MLOps-платформа для Kubernetes

Kubeflow: набор инструментов машинного обучения для Kubernetes

Исследовательские сообщества и организации

Future of Humanity Institute (FHI)

Machine Intelligence Research Institute (MIRI)

Center for AI Safety (CAIS)

Anthropic: компания, исследующая безопасность ИИ

Исследования управления и политики

Partnership on AI: принципы и исследования

The Malicious Use of Artificial Intelligence (Brundage et al., 2018)

AI Index Report: измерение прогресса ИИ

Loading technique guide…