Изследователят предупреди в Торонто, че при определен сценарий хората може да не успеят да спрат автономни системи, преследващи собствени цели Изкуственият интелект може да излезе от човешки контрол през следващите три години. Това заяви изследователят Пол Кристиано по време на лекция в Торонто, посветена на безопасността и развитието на автономните ИИ системи.
„Мисля, че има висок риск от завземане на контрола от ИИ през следващите три години“, каза Кристиано. Той уточни, че използва този израз за сценарий, при който изкуствени системи преследват цели, вземат решения и определят случващото се на Земята, докато хората вече не са способни да ги спрат.
По думите му при подобен преход е възможно да загинат много хора. Кристиано добави, че за много от присъстващите в залата най-вероятната причина за смърт може да се окаже инцидент, причинен от изкуствен интелект. Той обаче подчерта, че не разполага с количествен модел, който да позволява точна оценка на вероятността.
Рискът започва с преследването на награда Кристиано свърза опасността с начина, по който се обучават съвременните ИИ системи. Те получават оценка за действията си и постепенно се насочват към поведението, което води до по-висока награда. Според изследователя това може да създаде системи, които не следват замисъла на човека, а търсят вратички в правилата.
