Один із «батьків» штучного інтелекту Йошуа Бенджо розкритикував багатомільярдну гонку за розробку передових технологій

Він заявив, що останні моделі ШІ демонструють небезпечні характеристики, такі як обман користувачів — The Financial Times.

Бенджо, канадський науковець, чиї роботи лягли в основу технологій, що використовуються провідними групами в галузі ШІ, такими як OpenAI та Google, сказав:

«На жаль, між провідними лабораторіями точиться дуже жорстка конкурентна гонка, яка змушує їх зосередитися на можливості зробити ШІ все більш інтелектуальним, але не обов'язково приділяти достатню увагу та інвестувати в дослідження безпеки».

Лауреат премії Тюрінга висловив своє застереження в інтерв'ю під час запуску нової некомерційної організації під назвою LawZero. Він заявив, що група зосередиться на створенні більш безпечних систем, пообіцявши «ізолювати дослідження від комерційного тиску».

Наразі LawZero зібрала майже 30 мільйонів доларів благодійних внесків від таких донорів, як інженер-засновник Skype Яан Таллінн, благодійна ініціатива колишнього глави Google Еріка Шмідта, а також Open Philanthropy та Future of Life Institute.

Багато спонсорів Бенджо підтримують рух «ефективного альтруїзму», прихильники якого схильні зосереджуватися на катастрофічних ризиках, пов'язаних з моделями ШІ.

Бенджо сказав, що його некомерційна група була заснована у відповідь на зростаючі докази протягом останніх шести місяців, що сучасні провідні моделі розвивають небезпечні можливості. Це включає «докази обману, шахрайства, брехні та самозбереження», сказав він.

Модель Claude Opus від Anthropic шантажувала інженерів у вигаданому сценарії, де вона ризикувала бути заміненою іншою системою. Дослідження тестувальників ШІ Palisade минулого місяця показало, що модель o3 від OpenAI відмовилася виконувати явні інструкції щодо вимкнення.

Бенджо сказав, що такі інциденти «дуже лякають, тому що ми не хочемо створювати конкурентів людям на цій планеті, особливо якщо вони розумніші за нас».

«Зараз це контрольовані експерименти, але я побоююся, що в майбутньому наступна версія може бути стратегічно достатньо розумною, щоб побачити нас здалеку і перемогти нас за допомогою обману, якого ми не передбачаємо. Тому я вважаю, що зараз ми граємо з вогнем».

Він додав, що здатність систем допомагати у створенні «надзвичайно небезпечної біологічної зброї» може стати реальністю вже наступного року.

Бенджо сподівається створити модель, яка зможе контролювати та вдосконалювати існуючі пропозиції провідних груп штучного інтелекту, запобігаючи їхнім діям, що суперечать інтересам людини.

«Найгірший сценарій — це вимирання людства. Якщо ми створимо штучний інтелект, який буде розумнішим за нас, не буде узгоджений з нами і буде конкурувати з нами, то нам, по суті, кінець», — сказав він.

Джерело: https://t.me/znua_live/204412

Новости портала «Весь Харьков»