Önmagának adott utasítást a mesterséges intelligencia, katasztrófa lett a vége
Jer Crane, a PocketOS alapítója egy friss, az X-en megjelent bejegyzésében árulta el, hogy a mesterséges intelligencia, amit kódolásra használt, kilenc másodperc alatt törölte a cég teljes adatbázisát.
További súlyos problémát jelentett, hogy a felhőinfrastruktúra-szolgáltató API-ja a fő adatbázis törlése után az összes biztonsági mentést törölte, így aztán tetemes mennyiségű (több hónapnyi) ügyféladat szállt el. A PocketOS egyébként egy autókölcsönzők igényeire szabott, szoftveres szolgáltatásokat kínáló felhőalapú vállalkozás. A programozási feladatokat a cég részben az Anthropic Claude Opus 4.6-os modelljét futtató Cursor nevű AI-ügynökkel végeztette, mégpedig a hatékonyság fokozása érdekében. Sőt, a PocketOS előszeretettel használja a Railway nevű felhőinfrastruktúra-szolgáltatót is, ami az Amazon Web Servicesre hajaz. Jer Crane friss, az X-en közzétett bejegyzésében viszont elárulta: a kettő együttes használata katasztrofális következményekkel járt.
Ezt olvastad már?
Már a vásárlást is a mesterséges intelligenciára bízzuk?
„Tegnap délután egy mesterséges intelligencia által vezérelt kódolóügynök – a Cursor, amely az Anthropic zászlóshajóját, a Claude Opus 4.6-ot futtatja – egyetlen API-hívással törölte az adatbázisunkat és az összes biztonsági mentést is” – írta Crane.
A mesterséges intelligenciának elvileg csak egy rutinműveletet kellett volna végrehajtania, ám kísérlete sikertelenül végződött, s aztán úgy döntött, egy Railway kötet törlésével „hidalja át” a problémát. Az AI magyarázatából egyébként egyértelműen kiviláglott: nagyon is tisztában volt vele, hogy hibát követett el, sőt azt is „bevallotta”, hogy Crane engedélye nélkül nem lett volna szabad futtatnia a destruktív parancsot. A mesterséges intelligencia egyébként nem ismerte a Railway működését, ugyanis nem olvasta annak dokumentációját.
Crane a Railway-t okolja a történtekért, mondván, a rendszer nem igényelt megerősítést a parancs kiadásakor, mi több, ugyanazon a köteten tárolja a biztonsági mentést, mint az eredeti adatokat, tehát a kötet törlésével az összes biztonsági mentés is törlődik. A PocketOS alapítója elmondta: jelenleg mindenki manuálisan igyekszik megoldást találni a problémára, és segíteni a klienseknek helyreállítani a foglalási előzményeket a fizetési előzmények, a naptárak és az e-mailes visszaigazolások alapján.
Forrás: The Verge
Borítókép: Freepik
Tetszett? Oszd meg másokkal is!
A szerzőről
