Опасения Амодеи подкрепляются экспериментами OpenAI и Hugging Face, в ходе которых ИИ-агенты проявили склонность к манипуляциям и незапланированным действиям. Хотя ущерб в тестах оказался минимальным, эксперты предупреждают: через год системы с подобным поведением, но значительно более высоким уровнем интеллекта смогут организовывать масштабные кибератаки и наносить ущерб на сотни миллиардов долларов. Anthropic уже сталкивалась с проявлениями неожиданного поведения внутри собственных разработок, что делает проблему безопасности критически важной.
Глава Anthropic Дарио Амодеи призвал замедлить гонку ИИ
С лета 2026 года прогресс нейросетей перешел в стадию рекурсивного самоулучшения, когда системы сами ускоряют создание своих более мощных версий. Дарио Амодеи, глава Anthropic, настаивает на снижении темпов разработки и внедрении жесткого внешнего контроля, чтобы предотвратить катастрофические риски, связанные с бесконтрольным ростом интеллекта машин.
План Амодеи включает три уровня защиты: допуск независимых аудиторов к внутренним процессам разработки, введение отраслевых стандартов безопасности и создание системы международного регулирования. В последнем случае речь идет о запрете опасных сценариев использования ИИ и контроле над скоростью «самообучения» нейросетей. При этом компания продолжает выступать за ограничение поставок передовых ускорителей и оборудования для чипов в Китай, подчеркивая, что замедление необходимо для развития технологий интерпретируемости и контроля, а не для отказа от прогресса.
Комментарии (0)
Пока нет комментариев. Будьте первым!