Този проблем се изразява в предизвикателството да се гарантира, че изключително способните AI системи ще продължат да се държат по начин, който съответства на заложените цели и ограничения за безопасност
Ръководителят на отдела за научно съгласуване (Alignment Science) в Anthropic Евън Хъбингър заяви, че според него има над 10% шанс изкуственият интелект да унищожи човечеството в рамките на следващото десетилетие. Това предават световните агенции.
Той подкрепи опасенията, повдигнати от изследователя Джейкъб Коксън, който обяви оставката си от Anthropic. При напускането си Коксън обвини водещите AI компании, че се надпреварват в създаването на самоусъвършенстващ се суперинтелект, без да разполагат с адекватен план за безопасност.
Хъбингър подчерта, че тази оценка отразява неговото лично виждане, а не официалната позиция на Anthropic за настоящите системи на компанията.
Той допълни, че компанията се опитва да се справи с опасността, но изтъкна, че учените все още нямат ясно решение на проблема със съгласуването при суперинтелекта. Този проблем се изразява в предизвикателството да се гарантира, че изключително способните AI системи ще продължат да се държат по начин, който съответства на заложените цели и ограничения за безопасност.
„Джейкъб е прав тук — ние наистина искрено вярваме, че AI може да убие всички хора! Лично аз смятам, че шансът за това е >10% в рамките на следващото десетилетие. Вярвам, че Anthropic дава най-доброто от себе си, но все още нямаме план за решаване на проблема със съгласуването при суперинтелекта и очевидно не сме на прав път да го постигнем“, написа Хъбингър.
Коксън, AI изследовател, който сподели, че е прекарал последните три години в проучвания за предварително обучение (pretraining) в OpenAI и Anthropic, обяви напускането си от Anthropic на 9 септември. Той заяви, че според него нито една от двете компании не действа отговорно.
Той твърди, че компаниите умишлено настояват за развитието на „самоусъвършенстващ се суперинтелект“ — AI системи, които са достатъчно мощни, за да ускорят разработването на още по-способни технологии. По този начин те поемат рискове, които биха могли да засегнат човечеството като цяло.
Коксън предупреди, че бързо напредващите системи в даден момент могат да придобият свръхчовешки способности в области като хакерството и научните изследвания, като същевременно получат достъп до огромна мощ и ресурси.
„Хората, които изграждат AI, искрено вярват, че той може да ни убие всички до края на десетилетието. Това не е маркетингов трик. Дори напротив — много ръководители и старши изследователи смекчават изказа си пред пресата, за да звучат разумно, но аз чувам същите тези хора да изразяват страх в лични разговори. Никоя друга човешка дейност не носи такова ниво на опасност“, написа той.
Коксън обърна внимание и на парадокса: да вярваш, че тези системи крият катастрофални рискове, и въпреки това да продължаваш да ги разработваш. Той твърди, че много хора в OpenAI не са осъзнали напълно залозите, които застрашават цивилизацията ни. В същото време изследователите в Anthropic разбират рисковете, но вярват, че трябва да останат в състезанието, защото конкурентите им биха могли да действат още по-неотговорно.
Той определи този подход като хазарт и призова за по-строга координация между AI лабораториите, като според него мерките в крайна сметка трябва да включат и временно ограничаване на по-нататъшното подобряване на способностите на моделите.
