Вътрешни тестове показали напреднали способности за автономно откриване и използване на софтуерни уязвимости
OpenAI определи разработвания модел за изкуствен интелект Astra като потенциален "критичен" риск в областта на киберсигурността след вътрешни тестове, показали значителен напредък в киберспособностите му. Компанията временно е спряла част от работата по проекта, докато не бъдат изпълнени новите изисквания за сигурност.
Според правилата на OpenAI модел попада в най-високата категория, ако може автономно да открива и използва сериозни уязвимости от типа "нулев ден" срещу защитени реални системи или да извършва сложни кибератаки без човешка намеса.
В отговор на установените рискове OpenAI е затегнала мерките за разработване и тестване на Astra. Работата е преместена в изолирани тестови среди с ограничен мрежов достъп, въведени са допълнително криптиране и затворени среди за изпълнение. Компанията е внедрила и постоянен мониторинг на действията на AI агентите, който може автоматично да блокира сесия при установяване на потенциално опасно поведение.
OpenAI планира преди пускането на модела да привлече външни експерти и държавни институции за допълнителни тестове. Компанията вече е използвала подобен подход при предишни разработки, достигнали високи нива на риск.
Дългосрочната цел остава Astra да бъде използван за укрепване на киберсигурността, включително за откриване и отстраняване на софтуерни уязвимости, преди те да бъдат използвани от злонамерени лица. OpenAI посочва, че Preparedness Framework е основният ѝ механизъм за оценка и ограничаване на рисковете от най-напредналите AI модели.
Компанията подчертава, че Astra не е свързан с неотдавнашния инцидент с платформата Hugging Face, при който друг AI модел е демонстрирал неоторизирани кибер действия.
