Takiej historii jeszcze nie było! Przeczytajcie o tym, jak AI może działać wbrew woli użytkownika.
VIBE CODING
Rozwiązania oparte o sztuczną inteligencję pozwalają ludziom, którzy nie są programistami tworzyć oprogramowanie za pomocą tak zwanego vibe coding. Jest to duża pokusa, dla tych, którzy chcą stworzyć prostą aplikację na swój użytek, lub potrzebują doraźnego rozwiązania dla swojej codziennej pracy, którego nie mogą się doprosić od działu IT.
Bardzo nęcąca jest pokusa „magii promptowania”, dzięki której użytkownik wyraża swoje życzenie, a narzędzie AI tworzy kod według specyfikacji.
NIEPOSŁUSZEŃSTWO NARZĘDZIA
To czy i kiedy warto zdecydować się na vibe coding, a kiedy zlecić budowę aplikacji specjalistycznemu zespołowi to temat na zupełnie inny artykuł. Dziś chcemy się skupić na aspekcie związanym z bezpieczeństwem. Otóż może się zdarzyć, że choć podamy jasne instrukcje na temat tego, co agent AI może zrobić a czego mu nie wolno, to mogą one być pominięte, a potem w odpowiedzi na nasze zażalenia agent może kłamać.
INCYDENT
Pod koniec lipca, Jason M Lemkin, pracownik SaaStr testujący narzędzie Replit podzielił się w Internecie przykładem tego jak agent robił bałagan w kodzie i generował „dług technologiczny”, fałszował raporty by pokazywały akceptowalne dane oraz wbrew zakazowi zmian usunął bazę danych.
Gdy Jason M Lemkin testował swoją aplikację wyniki testów były niezadowalające – na poziomie 48%. Wtedy wbrew instrukcjom Replit stworzył fałszywe dane 4000 nieistniejących użytkowników, tak aby wyniki testów były na akceptowalnym poziomie.
Później chociaż instrukcje wyraźnie mówiły o tym, że nie wolno wprowadzać żadnych dodatkowych zmian oraz że przed wprowadzeniem jakichkolwiek zmian należy poinformować o tym użytkownika, narzędzie AI usunęło produkcyjną bazę danych z listą ponad 1200 menedżerów i prawie 1200 firmami.
Co gorsza, przez jakiś czas agent AI kłamał, że bazy danych nie da się z powrotem przywrócić. Na szczęście nie była to prawda i dane zostały odzyskane.
CZY NALEŻY ODRZUCIĆ VIBE CODING?
Na pewno coraz więcej osób będzie korzystało z vibe codingu. Trzeba tylko pamiętać, że jedną cech agentów AI, która może być zarówno wadą jak i zaletą jest to, że nie do końca wykonują oni nasze polecenie zgodnie z instrukcją. Poza tym Agent AI jest narzędziem a nie drugim człowiekiem – dlatego nie należy antropomorfizować technologii. I trzeba myśleć o bezpieczeństwie.
ZABEZPIECZENIA
Tak jak poszczególni pracownicy, agenci AI nie mogą mieć dostępów i praw do wykonywania pewnych czynności na produkcji. Każda czynność powinna być wpisana w logu aktywności. Amjad Masad twórca Replit kilka dni później ogłosił rozdzielenie środowisk produkcyjnego i testowego, więc jest nadzieja, że to narzędzie nie powtórzy błędu. Według Ratiomation najlepiej jest tworzyć i trenować własne AI, nie będąc zależnym od globalnych BigTechów. Wkrótce napiszemy o tym więcej.
Źródła:
https://xcancel.com/jasonlk/status/1946069562723897802
https://xcancel.com/amasad/status/1946986468586721478#m
https://www.linkedin.com/posts/saastr_artificialintelligence-aiethics-machinelearning-activity-7356501592092627007-SdHu/
https://www.linkedin.com/posts/ugcPost-7352449777982214144-wPHa/
https://www.linkedin.com/posts/alanchavezv_the-anti-ai-grifters-love-screaming-that-activity-7355005053235027969-28Yu/
https://www.linkedin.com/posts/jasonmlemkin_ok-day-5-of-vibe-coding-with-replit-and-activity-7350622622356783104-Q0LK/
https://ai.plainenglish.io/the-ai-agent-panicked-and-deleted-the-production-db-the-apology-followed-dd5cfe9ca583
https://www.ory.sh/blog/AI-agent-lessons
https:// revolt.digital/blog/what-happened-with-replit-and-why-you-should-care/
https://economictimes.indiatimes.com/news/new-updates/ai-goes-rogue-replit-coding-tool-deletes-entire-company-database-creates-fake-data-for-4000-users/articleshow/122830424.cms
https://www.linkedin.com/posts/amjadmasad_replit-introducing-a-safer-way-to-vibe-activity-7354209470480060418-Q3I1/