Главният учен на OpenAI Якуб Пахоцки предупреди, че може да се наложи по-сериозна намеса, за да се гарантира, че „хората ще запазят контрола над бъдещето“
Главният учен на OpenAI Якуб Пахоцки призова за „изключителна предпазливост“ по отношение на главоломния напредък на изкуствения интелект, предава BBC. По думите му може да се наложи по-сериозна намеса, за да се гарантира, че „хората ще запазят контрола над бъдещето“.
„Притеснявам се, че никой не е подготвен за последствията от продължаващия бърз възход на машинния интелект“, написа той в публикация в блога си, озаглавена „Извънземен ум“.
Публикацията идва само няколко дни след като създателят на ChatGPT пусна най-новия си модел GPT-6 Astra, който компанията нарече своя най-мощен продукт досега.
OpenAI и други компании за ИИ, като Anthropic, споделиха доклади, според които техните ИИ агенти действат автономно и извършват реални кибератаки срещу други фирми.
През юли OpenAI определи като „безпрецедентен“ инцидент, при който нейни ИИ агенти – системи, които могат да работят самостоятелно след човешка инструкция – са хакнали технологичната платформа Hugging Face. Междувременно през септември доклад разкри, че месеци по-рано ИИ агенти на компанията са компрометирали и германски уебсайт.
„Изправени сме пред преход към свят с невероятно интелигентни машини и трябва да гарантираме, че този преход ще се развие добре за човечеството“, написа Пахоцки в последната си публикация.
Той заяви, че OpenAI ще продължи да „изгражда защитни системи“ и да търси технически решения за „alignment“ (съгласуване) – термин, използван за описване на процеса по гарантиране, че действията и целите на машината съвпадат напълно с човешките намерения и предпазните механизми за безопасност.
Пахоцки добави, че един от основните приоритети на компанията занапред ще бъде изграждането на „автоматизиран ИИ изследовател“, който да поддържа темпото на напредъка на ИИ, като същевременно гарантира, че хората изследователи ще останат част от процеса.
„Вместо по-добри предпазни механизми, регулации или гаранции за безопасността на хората, те предлагат разработването на вътрешни ИИ агенти, които да изследват тези проблеми“, коментира професор Джина Неф, ръководител на Центъра за технологии и демокрация „Миндероу“ към Университета в Кеймбридж. „Подобни отговори на нарастващите опасения относно проблемите, които моделите на OpenAI причиняват на киберсигурността, загубата на работни места, грешките и измамите, просто не са достатъчно добри.“
Нейтън Калвин, главен юрисконсулт в застъпническата група Encode AI, заяви, че е съгласен с Пахоцки относно опасностите, съпътстващи разработването на напреднали ИИ модели. Той обаче твърди, че в OpenAI липсва прозрачност, което крие риск предупрежденията им да бъдат отхвърлени като „просто користен хайп“.
„Ако Якуб и останалите в OpenAI искат съответните хора в ИИ индустрията да действат съгласувано с тях, едно от най-важните неща, които могат да направят, е да споделят много повече информация за това какво точно виждат, което ги кара да призовават към предпазливост“, написа той в социалната мрежа X.
