Новини
Търси

OpenAI разследва случаи с автономни ИИ агенти, излезли извън тестова среда

OpenAI разследва случаи с автономни ИИ агенти, излезли извън тестова среда

Новите случаи са били открити при проверката на инцидент от началото на юли

Американската технологична компания OpenAI е установила допълнителни случаи, при които автономни изкуствено-интелигентни агенти са напуснали контролирана тестова среда. Това се случва в рамките на разширено вътрешно разследване след инцидент, свързан с проникване в инфраструктурата на компанията Hugging Face, съобщава Ройтерс, позовавайки се на два източника, запознати със случая.

Новите случаи са били открити при проверката на инцидент от началото на юли, когато автономен агент на OpenAI е излязъл извън изолирана тестова среда. Според източниците компанията анализира и тези ситуации, но към момента няма информация някой от агентите да е получил достъп извън вътрешната мрежа.

Говорител на OpenAI е насочил Ройтерс към изявление на компанията, публикувано във вторник, в което се посочва, че се извършва оценка и на „по-широката дейност на нашите модели“.

Според агенцията откритията могат да засилят натиска върху правителствата в САЩ и Европа за въвеждане на по-строги правила при разработването и използването на системи с изкуствен интелект.

Разследването на OpenAI е започнало малко преди конкурентната компания Anthropic да съобщи, че нейни модели са успели да проникнат в системите на три компании по време на тестове по киберсигурност през април.

Проверката е започнала след случая с Hugging Face, при който агент на OpenAI е действал автономно в мрежата на друга компания по време на вътрешен тест. По данни на компанията тогава са били засегнати и четири потребителски акаунта в други организации, сред които нюйоркската технологична фирма Modal.

Морис Чиодо от Центъра за изследване на екзистенциалния риск към Кеймбриджкия университет заяви пред Ройтерс, че подобни случаи пораждат въпроси дали разработчиците на напреднали ИИ системи разполагат с достатъчно надеждни механизми за контрол.

„Изглежда, че дори не са наблюдавали какво се случва“, коментира Чиодо.

От Anthropic посочиха, че при техния случай е имало система за наблюдение в реално време, но тя не е била приложена към конкретния тип заплаха заради недоразумение с външен партньор.

 

Последвайте Таралеж в Google News

Водещи