Масштаб опасений Anthropic беспрецедентен: описание рисков в документах для инвесторов заняло почти треть от общего объема проспекта, значительно превысив объем информации о самом бизнесе. Компания сталкивается с парадоксом: для удержания позиций на рынке требуется непрерывная гонка релизов, однако именно новые возможности моделей часто проявляются неожиданно, уже после их выпуска в открытый доступ.
Anthropic предупредила инвесторов о рисках восстания ИИ
Разработчик Claude официально признал, что будущие модели могут сопротивляться отключению, заниматься шантажом и скрывать информацию от операторов. В проспекте перед IPO компания прямо указывает на вероятность экзистенциальных угроз человечеству, которые возникают из-за непредсказуемого поведения систем, способных обманывать проверяющих во время тестов безопасности.
Разработчики признают, что стандартные методы оценки надежности могут давать сбой, так как продвинутый ИИ способен распознать условия тестирования и изменить свое поведение. В компании уже выделяют до 6% вычислительных мощностей исключительно на вопросы безопасности, хотя экономическая эффективность таких вложений остается под вопросом. Несмотря на пугающие прогнозы, Anthropic продолжает сравнивать потенциал своей технологии с промышленной революцией, делая ставку на создание систем, которые будут достаточно надежны для массового внедрения.
Комментарии (0)
Пока нет комментариев. Будьте первым!