В Anthropic оценили риск гибели человечества из-за ИИ
· Общество
В ближайшие годы риск составит минимум 10%
Эван Хубингер, который руководит в Anthropic исследованиями выравнивания искусственного интеллекта, оценил вероятность уничтожения человечества этой технологией в ближайшие десять лет не менее чем в 10 процентов. Поводом для такой оценки стал громкий уход из компании исследователя Джейкоба Коксона, работавшего прежде и в OpenAI. Он упрекнул обоих разработчиков в безостановочной гонке за сверхразумом, способным улучшать себя самостоятельно, и считает, что эта гонка ставит под угрозу будущее людей.
По утверждению Коксона, на публике главы технологических корпораций настроены оптимистично, но в узком кругу допускают, что технология погубит людей уже к концу нынешнего десятилетия. Следующие поколения моделей, по его прогнозу, сумеют проникать в компьютерные системы и без разрешения дотягиваться до критически важных ресурсов.
Хубингер с этим согласился и подтвердил, что ИИ в принципе способен уничтожить человечество. Риск он определил выше 10 процентов, оговорившись, что Anthropic делает для предотвращения катастрофы всё возможное, однако способа окончательно решить задачу выравнивания сверхразумных систем у исследователей пока нет.
Схожую тревогу раньше высказывал главный научный сотрудник OpenAI Якуб Пахоцкий: он тоже заявлял о непонимании того, как контролировать сверхмощные модели, и призывал быстрее вырабатывать стандарты безопасности, хотя вычислительные мощности и объём разработок в отрасли продолжают расти.
По материалам Мойка78