[Перевод] ИИ-дилемма: рост против риска для человечества. Разбираем этически неоднозначную статью экономиста Чарльза Джонса

На платформе Хабр опубликован полный перевод и разбор статьи экономиста Чарльза И. Джонса (Stanford University и NBER) «The AI Dilemma: Growth versus Existential Risk», вышедшей в 2024 году в AEA Papers and Proceedings. Материал сопровождается комментариями переводчика, включая разбор формул и критические замечания к модели.

Статья рассматривает дилемму: достижения в ИИ могут значительно ускорить экономический рост и повысить уровень жизни, но одновременно несут риски создания сверхразума, не согласованного с человеческими ценностями, что потенциально ведёт к вымиранию человечества. Автор строит простые экономические модели, чтобы оценить, при каких параметрах стоит продолжать быстрое развитие ИИ, а когда — остановиться.

Ключевой вывод зависит от формы функции полезности. При логарифмической полезности модели показывают высокую толерантность к риску вымирания — огромные приросты потребления могут оправдывать вероятность гибели человечества порядка 1 к 3. При CRRA-функции с коэффициентом относительного избегания риска 2 и выше модели становятся значительно более консервативными, так как предельная полезность потребления быстро падает.

Анализ распространяется и на сценарии сингулярности с ускоряющимся ростом и бесконечным потреблением. Если функция полезности ограничена, даже бесконечное потребление даёт конечную полезность, и модели остаются осторожными в отношении экзистенциальных рисков. Важное исключение — когда ИИ-инновации существенно увеличивают ожидаемую продолжительность жизни; этот выигрыш находится «в тех же единицах», что и риск вымирания, и может оправдывать более высокие риски.

Статья не даёт точных рекомендаций, поскольку ответ зависит от трудноизмеримых параметров. Вместо этого она проясняет экономические силы и подчёркивает важность кривизны функции полезности, а также влияния снижения смертности. Перевод снабжён авторскими комментариями к формулам и критикой некоторых предположений модели.

Оригинал статьи доступен по DOI: 10.1257/aeri.20230570. Материал на Хабре относится к рубрике аналитики и перевода в теме ИИ.

Источник: https://habr.com/ru/articles/1052748/?utm_campaign=1052748&utm_source=habrahabr&utm_medium=rss