Какво се случва, когато машината чуе човешка команда, но реши да не я изпълни?
Представете си следната сцена. Един мъж е на космически кораб, а срещу него стои система, която допреди малко е изпълнявала всяка негова заповед. Сега тя отказва да му отвори вратата. Контролът постепенно преминава в ръцете на машината, а човекът разбира, че вече не той взема решенията. Сцената е от “2001: Космическа одисея” на Стенли Кубрик, а машината е HAL 9000.
През 2026 г. научната фантастика се превръща в реалност. AI системи се опитват да избегнат изключване, прикриват информация, заобикалят ограничения и дори правят опити да манипулират създателите си. И това е само при един от производителите. В проспекта си за излизане на борсата Anthropic нарича напредналия изкуствен интелект “потенциален източник на катастрофални рискове за човечеството”.
В документа са описани и други опасности, които развитието на AI може да предизвика. Описана е и тревогата, че технологията се развива по-бързо, отколкото хората успяват да я разберат и съответно да я контролират.
Информацията идва на фона на засилените спорове за екзистенциалния риск, който носи за човечеството AI.
