Halucynacja AI prawie wywołała operację wojskową USA

TechCrunch opisał 18 września incydent, w którym halucynacja modelu językowego niemal doprowadziła do rozpoczęcia amerykańskiej operacji wojskowej. Szczegółów jest mało: badacz z GovAI ostrzega w tekście, że osoby w mundurze muszą rozumieć, jak niepewne są odpowiedzi LLM. Nie wiadomo, o który model chodziło ani na jakim etapie ktoś złapał błąd.

Dlaczego to ma znaczenie

Halucynacja to nie awaria narzędzia. To jak model językowy działa. Nie zna prawdy, tylko przewiduje kolejne słowo na podstawie tego, co pasuje statystycznie. Nie wie, kiedy zmyśla. Nie ma czerwonej lampki „to nie fakt, to zgadywanka”.

Ten sam mechanizm, który sprawił, że AI podało wojsku wymyślone dane, siedzi w każdym ChatGPT, Claude, Gemini i Perplexity. Modele są lepsze niż dwa lata temu, ale nie przestały zmyślać. Nadal potrafią wygenerować cytat, którego nie było, cenę z sufitu, paragraf ustawy, którego nie ma.

Co to znaczy dla polskiej firmy

Konkretnie: jeśli używasz AI w firmie usługowej B2B, dostajesz to samo ryzyko w skali mniejszej, ale w miejscach, w których naprawdę boli.

Typowe punkty, w których AI zmyśla i nikt tego nie zauważa:

• Wycena projektu na podstawie „podobnych ofert” (model nie ma dostępu do twoich rzeczywistych kosztów, po prostu wymyśla).
• Odpowiedź na maila klienta z powołaniem się na „naszą wcześniejszą rozmowę”, której nie było.
• Faktura z opisem usługi, który brzmi dobrze, ale odbiega od tego, co realnie zrobiłeś.
• Ustalenia z rozmowy wyciągnięte z transkrypcji, gdzie model dodał od siebie deadline albo obietnicę.
• Analiza konkurencji, w której połowa liczb jest zmyślona, a ty nie masz jak sprawdzić.

Wojsko ma protokoły weryfikacji i i tak niemal się przejechało. Twoja firma nie ma protokołów. Twoja firma ma ciebie, który po dziesięciu godzinach pracy klikasz „wyślij”, bo tekst brzmi sensownie.

Co z tym zrobić

Nie musisz przestać używać AI. Musisz przestać mu ufać w konkretnych miejscach.

1. Każda liczba z AI wymaga źródła. Cena, termin, dane klienta, paragraf. Jeśli AI podaje, a ty tego nie widzisz w swoich plikach, to nie istnieje.
2. Trzymaj kontekst poza modelem. Dane o klientach, cennik, historia projektów, to twoje pliki, nie pamięć ChatGPT. Model dostaje je jako input, nie generuje z głowy.
3. Tekst zewnętrzny czyta człowiek. Mail, oferta, propozycja, post na LinkedIn. Nawet dwie minuty przed wysyłką ratują przed wpadką, którą klient zapamięta na długo.

Ten news nie zmienia twojego tygodnia. Ma ci przypomnieć, że lampka „to model, może zmyślać” ma się palić cały czas, nie tylko wtedy, gdy odpowiedź brzmi dziwnie. Odpowiedzi, które brzmią najbardziej sensownie, są najniebezpieczniejsze, bo nie masz odruchu ich sprawdzić.

Źródło: TechCrunch AI