Сегодня все крупные новостные агентства РФ сообщили об открытом письме, подписанном Илоном Маском, Стивом Возняком и другими ведущими экспертами. Публикуем полный перевод данного письма.
Мы призываем все лаборатории, занимающиеся разработкой ИИ, немедленно приостановить по крайней мере на шесть месяцев обучение систем ИИ, более мощных, чем GPT-4 (Генеративный предобученный трансформер-4).
Системы ИИ с интеллектом, который может соперничать с человеческим, могут представлять собой серьезные риски для общества и человечества, как показывают широкомасштабные исследования[1] и признают крупнейшие лаборатории по разработке ИИ.[2] Как утверждается в широко признанных Асиломарских принципах ИИ, Продвинутый ИИ может привести к глубоким изменения в истории в истории жизни на земле, поэтому планирование и ведение его разработки должно производиться с соответствующими этим угрозам предосторожностью и ресурсами. К сожалению, этот уровень планирования и управления не соблюдается, хотя в последние месяцы мы стали свидетелями безпрецедентного неконтролируемого соревнования между лабораториями ИИ по разработке и применению все более мощных цифровых сознаний, причем ситуация такова, что уже никто ‒ включая их создателей ‒ не в состоянии их понять, предсказать и надежно контролировать их поведение.
Современные системы ИИ способны к конкуренции с человеком в выполнении самых общих заданий,[3] и мы должны задать себе вопрос: Должны ли мы позволить машинам наполнять наши информационные каналы пропагандой и ложью? Должны ли мы автоматизировать все виды трудовой деятельности, включая те, которые приносят человеку глубокое удовлетворение? Должны ли мы разработать нечеловеческие сознания, которые в конечном счете смогут нас сильнее и умнее нас, сделать нас устаревшими и заменить нас? Должны ли мы рисковать утратить контроль над нашей цивилизацией? Такие решения не должны быть делегированы неизбранным техно-лидерам. Мощные системы ИИ должны разрабатываться только после того, как мы будем уверены в том, что их влияние будет положительным, а представляемые ими риски ‒ контролируемыми. Эта уверенность должна быть обоснованной и должна возрастать вместе с масштабами потенциального эффекта систем. В недавнем заявлении лаборатории OpenAI относительно общего искусственного интеллекта утверждается, что «В какой-то момент может быть важно провести независимое рецензирование прежде начала обучения будущих систем и получить согласие наиболее продвинутых разработчиков ограничить рост количества вычислений, используемых для создания новых моделей». Мы согласны с этим Этот момент наступил сейчас.
Следовательно, мы призываем все лаборатории, занимающиеся разработкой ИИ, немедленно приостановить по крайней мере на 6 месяцев обучение систем ИИ, более мощных, чем GPT-4 (Генеративный предобученный трансформер-4). Эта пауза должна быть публичной и проверяемой и касаться всех ключевых игроков. Если такая пауза не будет введена в самые кратчайшие сроки, правительства должны вмешаться и установить мораторий.
Лаборатории, разрабатывающие ИИ и независимые эксперты должны использовать эту паузу для того, чтобы совместно разработать и применить набор общих протоколов безопасности для дизайна и разработки продвинутого ИИ, который должен быть подвергнут тщательному аудиту и наблюдению независимых внешних экспертов. Эти протоколы должны гарантировать, что системы, которые будут их придерживаться, будут безопасными вне всяких разумных сомнений.[4] Это не означает, что все разработки ИИ должны быть приостановлены. Необходимо приостановить опасную гонку, цель которой ‒ создание моделей с постоянно возникающими, все более мощными новыми способностями, непредсказуемыми, как черный ящик.
Исследования и разработка ИИ должны быть перефокусированы на то, чтобы сделать сегодняшние мощные, уже внедренные системы более точными, безопасными, прозрачными, надежными, выровненными, достойными доверия и лояльными.
Параллельно, разработчики ИИ должны работать вместе с законодателями, чтобы драматическим образом усилить разработку надежных систем управления. Как минимум, речь идет о следующем: новые и дееспособные регулирующие ИИ органов; надзор и отслеживание в отношении систем ИИ, обладающих мощными способностями и больших пулов вычислительных мощностей; системы отслеживания происхождения и маркирования, которые могли бы помочь отличить реальное от синтетического и отслеживать модельные утечки; экосистема тщательного аудита и сертификации; ответственность за причиненный ИИ вред; устойчивое государственное финансирование технических исследований безопасности ИИ; а также обладающие достаточными ресурсами институты, которые помогут справляться с драматическими нарушениями в сфере экономики и политики (особенно в отношении демократии), которые вызовет ИИ.
У человечества есть возможность прийти в будущем к процветанию при помощи ИИ. Создав мощные системы ИИ, мы теперь можем провозгласить «лето ИИ», в котором будем пожинать плоды наших достижений, создавать системы, несущие пользу всем, и дадим обществу шанс адаптироваться к новшествам. Общество уже приостанавливало развитие других технологий, которые могли иметь потенциально катастрофическое влияние на общество.[5] Мы можем поступить так и в этом случае. Давайте дадим себе возможность насладиться долгим летом ИИ вместо того, чтобы продолжать неподготовленными скатываться в пропасть.
Примечания и ссылки
[1] Bender, E. M., Gebru, T., McMillan-Major, A., & Shmitchell, S. (2021, March). On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?🦜. In Proceedings of the 2021 ACM conference on fairness, accountability, and transparency (pp. 610-623).
Bostrom, N. (2016). Superintelligence. Oxford University Press.
Bucknall, B. S., & Dori-Hacohen, S. (2022, July). Current and near-term AI as a potential existential risk factor. In Proceedings of the 2022 AAAI/ACM Conference on AI, Ethics, and Society (pp. 119-129).
Carlsmith, J. (2022). Is Power-Seeking AI an Existential Risk?. arXiv preprint arXiv:2206.13353.
Christian, B. (2020). The Alignment Problem: Machine Learning and human values. Norton & Company.
Cohen, M. et al. (2022). Advanced Artificial Agents Intervene in the Provision of Reward. AI Magazine, 43(3) (pp. 282-293).
Eloundou, T., et al. (2023). GPTs are GPTs: An Early Look at the Labor Market Impact Potential of Large Language Models.
Hendrycks, D., & Mazeika, M. (2022). X-risk Analysis for AI Research. arXiv preprint arXiv:2206.05862.
Ngo, R. (2022). The alignment problem from a deep learning perspective. arXiv preprint arXiv:2209.00626.
Russell, S. (2019). Human Compatible: Artificial Intelligence and the Problem of Control. Viking.
Tegmark, M. (2017). Life 3.0: Being Human in the Age of Artificial Intelligence. Knopf.
Weidinger, L. et al (2021). Ethical and social risks of harm from language models. arXiv preprint arXiv:2112.04359.
[2] Ordonez, V. et al. (2023, March 16). OpenAI CEO Sam Altman says AI will reshape society, acknowledges risks: ‘A little bit scared of this’. ABC News.
Perrigo, B. (2023, January 12). DeepMind CEO Demis Hassabis Urges Caution on AI. Time.
[3] Bubeck, S. et al. (2023). Sparks of Artificial General Intelligence: Early experiments with GPT-4. arXiv:2303.12712.
OpenAI (2023). GPT-4 Technical Report. arXiv:2303.08774.
[4] Существуют достаточные юридические прецеденты, например, широко принятые Принципы в отношении ИИ Организации экономического сотрудничества и развития требуют, чтобы системы ИИ «функционировали приемлемым образом и не представляли неразумного риска с точки зрения безопасности».
[5] Среди примеров ‒ клонирование человека, модификация зародышевой линии человека, исследования с усилением функции и евгеника.
Подписи
Йошуа Бенжио, основтель и научный директор Mila, лауреат премии Тюринга и профессор Университета Монреаля
Стюарт Расселл, Беркли, профессор компьютерной науки, директор Центра интеллектуальных систем и соавтор стандартного учебника «Искусственный интеллект: современный подход»
Илон Маск, генеральный директор SpaceX, Tesla & Twitter
Стив Возняк, сооснователь, Apple
Юваль Ноах Харари, автор и профессор, Еврейский университет Иерусалима
и еще 1118 подписей на 17.48 29.03.2023