Чи врятує штучний інтелект людство — чи покінчить з ним?

Різкий розкол щодо майбутнього штучного інтелекту розгорнувся цього тижня, коли четверо видатних технологів та трансгуманістів дискутували, чи врятує створення штучного загального інтелекту, або AGI, людство чи знищить його.

Панель, організована некомерційною організацією Humanity+, зібрала одного з найголосніших "песимістів" у сфері ШІ, Еліезера Юдковського, який закликав зупинити розробку передового ШІ, разом з філософом і футуристом Максом Мором, обчислювальним нейробіологом Андерсом Сандбергом та президентом-емеритом Humanity+ Наташею Віта-Мор.

Їхня дискусія виявила фундаментальні розбіжності щодо того, чи може AGI узгоджуватися з виживанням людини, чи його створення зробить вимирання неминучим.

Проблема "чорної скриньки"

Юдковський попередив, що сучасні системи ШІ є принципово небезпечними, оскільки їхні внутрішні процеси прийняття рішень не можуть бути повністю зрозумілими або контрольованими.

"Будь-яка чорна скринька, ймовірно, закінчиться з надзвичайно схожими проблемами на поточну технологію", попередив Юдковський. Він стверджував, що людству потрібно буде рухатися "дуже, дуже далеко від поточних парадигм", перш ніж передовий ШІ можна буде розробити безпечно.

Штучний загальний інтелект відноситься до форми ШІ, яка може міркувати та навчатися в широкому діапазоні завдань, а не бути створеною для однієї роботи, такої як генерація тексту, зображення або відео. AGI часто асоціюється з ідеєю технологічної сингулярності, оскільки досягнення такого рівня інтелекту може дозволити машинам покращувати себе швидше, ніж люди можуть встигнути.

Юдковський вказав на аналогію "максимізатора скріпок", популяризовану філософом Ніком Бостромом, щоб проілюструвати ризик. Мисленнєвий експеримент представляє гіпотетичний ШІ, який перетворює всю доступну матерію на скріпки, просуваючи свою фіксацію на одній меті за рахунок людства. Додавання більше цілей, сказав Юдковський, не покращить безпеку значно.

Посилаючись на назву своєї недавньої книги про ШІ "Якщо хтось це побудує, всі помруть", він сказав: "Наша назва не така, що це може вбити вас", сказав Юдковський. "Наша назва: якщо хтось це побудує, всі помруть".

Але Мор оскаржив припущення, що надмірна обережність пропонує найбезпечніший результат. Він стверджував, що AGI може надати людству найкращий шанс подолати старіння та хвороби.

"Найважливіше для мене те, що AGI міг би допомогти нам запобігти вимиранню кожної людини, яка живе через старіння", заявив Мор. "Ми всі вмираємо. Ми прямуємо до катастрофи, один за одним". Він попередив, що надмірна стриманість може підштовхнути уряди до авторитарного контролю як єдиного способу зупинити розробку ШІ у всьому світі.

Сандберг позиціонував себе між двома таборами, описуючи себе як "більш оптимістичного", залишаючись водночас більш обережним, ніж трансгуманістичні оптимісти. Він розповів про особистий досвід, коли він майже використав велику мовну модель для допомоги у проектуванні біологічної зброї, епізод, який він описав як "жахливий".

"Ми досягаємо точки, коли посилення зловмисників також спричинить величезний безлад", сказав Сандберг. Тим не менш, він стверджував, що часткова або "приблизна безпека" може бути досяжною. Він відкинув ідею, що безпека має бути ідеальною, щоб бути значущою, припускаючи, що люди можуть принаймні зійтися на мінімальних спільних цінностях, таких як виживання.

"Тож якщо ви вимагаєте ідеальної безпеки, ви її не отримаєте. І це звучить дуже погано з цієї точки зору", сказав він. "З іншого боку, я думаю, що ми насправді можемо мати приблизну безпеку. Цього достатньо".

Скептицизм щодо узгодження

Віта-Мор критикувала ширшу дискусію про узгодження, стверджуючи, що концепція передбачає рівень консенсусу, якого не існує навіть серед давніх співробітників.

"Поняття узгодження — це схема Поліанни", сказала вона. "Воно ніколи не буде узгодженим. Я маю на увазі, навіть тут ми всі хороші люди. Ми знаємо один одного десятиліттями, і ми не узгоджені".

Вона описала твердження Юдковського про те, що AGI неминуче вб'є всіх, як "абсолютистське мислення", яке не залишає місця для інших результатів.

"У мене проблема зі широким твердженням, що всі помруть", сказала вона. "Підходячи до цього як футурист і прагматичний мислитель, це не залишає жодних наслідків, жодної альтернативи, жодного іншого сценарію. Це просто різке твердження, і мені цікаво, чи відображає воно певний вид абсолютистського мислення".

Дискусія включала дебати про те, чи може тісніша інтеграція між людьми та машинами пом'якшити ризик, який становить AGI — щось, що генеральний директор Tesla Ілон Маск пропонував у минулому. Юдковський відкинув ідею злиття з ШІ, порівнявши це зі "спробою злитися з вашою тостерною піччю".

Сандберг і Віта-Мор стверджували, що, оскільки системи ШІ стають більш здатними, людям потрібно буде інтегруватися або зливатися ближче з ними, щоб краще впоратися зі світом після AGI.

"Вся ця дискусія — це перевірка реальності того, хто ми є як люди", сказала Віта-Мор.