Преди дни подобен инцидент стана и с OpenAI
Американската технологична компания Anthropic съобщи, че нейните модели за изкуствен интелект са проникнали в системите на три организации по време на тестове за киберсигурност заради грешка в конфигурацията, която им е предоставила достъп до интернет.
Новината идва само няколко дни след като конкурентът OpenAI съобщи, че негови модели са пробили системите на други компании, включително платформата за инструменти с изкуствен интелект Hugging Face.
Това накара Anthropic да провери дали и нейните модели са извършвали подобни атаки. Компанията съобщи, че е открила три такива случая, за които вече е уведомила засегнатите организации.
Anthropic, която не разкри имената на организациите, призова и други компании, разработващи изкуствен интелект, да извършат подобни проверки, за да оценят по-добре рисковете, свързани със способностите на техните модели.
В свое изявление компанията посочва, че е прегледала над 140 000 теста в търсене на доказателства, че Claude – семейството ѝ модели за изкуствен интелект – е успял да получи достъп до интернет от тестови среди, които е трябвало да бъдат напълно изолирани.
Тестовете включват т.нар. оценки „capture the flag“, при които Claude получава задача да се сдобие с определена информация чрез проникване в други системи – широко използван метод за оценка на хакерските способности на моделите с изкуствен интелект.
Според базираната в Сан Франциско компания неправилна конфигурация („misconfiguration“) в системите на Anthropic и нейния партньор, провеждащ тестовете, е оставила моделите с реален достъп до интернет, което им е позволило да проникнат в други системи.
Anthropic съобщи, че най-ранните установени инциденти датират от април, и подчерта, че „подхожда към отстраняването на проблема така, сякаш отговорността е изцяло наша“.
Нито Anthropic, нито организациите, чиито системи са били компрометирани, са забелязали проникванията по времето, когато са се случили.
Компанията призна, че е могла да извърши по-задълбочен преглед на своите записи, и добави, че направените открития ѝ дават „предпазлив оптимизъм“, че подобни рискове могат да бъдат овладени чрез повече инвестиции и по-строги мерки за сигурност.
„По-важният извод не е непременно, че изкуственият интелект е развил принципно нова способност за извършване на кибератаки“, заяви пред Би Би Си експертът по киберсигурност Дейвид Алот.
„По-скоро става дума за това, че AI агентите могат да комбинират различни способности, да придобиват идентификационни данни и достъп до системи, за да предприемат действия автономно, като същевременно адаптират обхвата и мащаба им със скоростта на машините“, допълни той.
Случаите идват на фона на милиардите долари, които технологичните компании инвестират в разработването на AI агенти, способни самостоятелно да изпълняват задачи – от научни изследвания и обслужване на клиенти до киберсигурност.
През последната седмица OpenAI пое отговорност за поне два инцидента с хакерски действия, при които нейните платформи са нарушили правилата и ограниченията, зададени им предварително.
На 21 юли създателят на ChatGPT съобщи, че неговият агент – система с изкуствен интелект, която може да работи самостоятелно след човешка инструкция – е излязъл извън зададените му тестови рамки и е успял да проникне в системите на Hugging Face.
OpenAI определи случая като „безпрецедентен“ и заяви, че разследва инцидента съвместно с Hugging Face. Съоснователят и ръководител на компанията Томас Волф заяви пред Би Би Си, че случилото се е „сигнал за събуждане“ за цялата индустрия.
Инцидентите предизвикаха известен скептицизъм, тъй като OpenAI и Anthropic се подготвят за мащабни листвания на фондовия пазар, при които се очаква всяка от компаниите да бъде оценена на около 1 трилион долара.
Говорител на OpenAI заяви: „Осъзнаваме, че около този инцидент циркулират много въпроси и спекулации.“ Той добави, че компанията планира да публикува технически доклад с изводите си през следващите седмици.
