W tej spółce od dawna działo się źle. Widzieliśmy to, ale nikt z zarządu specjalnie nie przejmował się naszymi obawami o reputację – w ich ocenie dla klienta liczyła się wyłącznie cena. Wreszcie skargi klientów doprowadziły do kontroli Urzędu Ochrony Konkurencji i Konsumentów.
Wtedy dostaliśmy zielone światło, żeby przyjrzeć się opiniom, które klienci zostawiali o spółce w różnych miejscach, przede wszystkim w mediach społecznościowych. Narzędzia AI wydawały się już na tyle zaawansowane i sprawdzone w różnych kontekstach badawczych, że bez wahania wysłaliśmy „maszynę” do przeczesywania sieci. Dostaliśmy to, czego szukaliśmy – zbiór przeróżnych opinii. Idealny materiał do analizy i wyciągania wniosków o mocnych i słabych stronach usługi świadczonej przez spółkę.
– Skąd pochodzi ta opinia (…)? Wskaż źródło – zapytała osoba odpowiedzialna za przygotowanie badania.
– To nie jest prawdziwa opinia. To opinia hipotetyczna. Nie mam dostępu do wszystkich zasobów tego medium (…). Ale na podstawie innych materiałów przyjąłem, że tak mogą brzmieć opinie tych klientów – odpowiedziała „sztuczna inteligencja”.
Z taką lub podobną sytuacją stykają się – świadomie lub nie – wszyscy użytkownicy AI. I raczej nic się w tej materii nie zmieni. Profesor Michał Karpowicz, badacz nowych technologii i szef Samsung AI Center w Warszawie, opierając się na własnych badaniach, dowodzi, że halucynacje w dużych modelach językowych (LLM) są zjawiskiem niemożliwym do całkowitego wyeliminowania. Interpretuje je jako niekontrolowaną wyobraźnię ściśle związaną z kreatywnością i zdolnością do tworzenia predykcji. Mówiąc wprost: AI będzie halucynować, bo taka jest cena jej „kreatywności”.
Czy można zaufać AI?
Duże modele językowe po prostu tak mają, że halucynują. Wszyscy to przecież wiedzą. Ale czy wszyscy sprawdzają? W badaniu zrealizowanym przez ZFPR wśród zrzeszonych agencji to pytanie pada wprost.
Dzięki temu wiemy, że 64% pracowników agencji weryfikuje efekty pracy AI zawsze lub bardzo często, a kolejne 35% robi to często. Trudno się zresztą dziwić – 66% pracowników przyznaje, że ich zaufanie do „surowych” treści generowanych przez AI, zanim skoryguje je człowiek, jest niskie lub bardzo niskie. Branża więc sprawdza, bo maszynie nie ufa. I słusznie. A jednocześnie agencje PR – zresztą nie tylko one – już dawno zatrudniły AI do analizy, redakcji, a także kreacji. W istocie wprowadziły więc do swoich zespołów „asystentów ds. zmyślania”, ponieważ nie da się mieć jednego (merytorycznego wsparcia AI) bez drugiego (halucynacji). RAG (Retrieval-Augmented Generation, czyli generowanie wspomagane wyszukiwaniem w zewnętrznych źródłach) i kolejne generacje modeli ograniczają skalę problemu, ale nie zmieniają jego natury.
Kto nie zadaje nietrywialnych pytań?
Przy czym bądźmy precyzyjni: teza Karpowicza dotyczy tzw. pytań nietrywialnych, a więc takich, na które odpowiedź nie jest wprost zapisana w dostępnych źródłach i wymaga od modelu wnioskowania w warunkach niepewności. W pewnych sytuacjach ryzyko zmyślania jest zatem niewielkie, a w praktyce wręcz pomijalne – o autora teorii względności możemy pytać dowolny popularny model i zawsze usłyszymy to samo, bo odpowiedź jest jednoznaczna i utrwalona w danych treningowych. Warto jednak pamiętać, że nawet wtedy model niczego nie sprawdza – on tę odpowiedź za każdym razem generuje na nowo. Jak tłumaczy Karpowicz w rozmowie z Iwo Zmyślonym w podcaście „Limity AI”, jedynie dobrze zaprojektowana baza SQL nie halucynuje, bo odpowiedź albo w niej jest, albo jej nie ma.
Jak pokazuje przywoływane już badanie ZFPR, 88% agencji używa AI do tworzenia treści, natomiast skodyfikowane – w całości lub częściowo – zasady korzystania z tej technologii ma 53% z nich. Luka na dziś jest zatem spora i stanowi kolejny dowód na to, że prawo nigdy nie nadąża za technologią. Można powiedzieć, że branża zawodowo odpowiedzialna za prawdę zautomatyzowała zmyślanie, zanim zautomatyzowała sprawdzanie. W konsekwencji kryzysy reputacyjne wywołane halucynacją są jedynie kwestią czasu i jest wielce prawdopodobne, że szybciej wywoła je sama agencja niż jej klient, którego pracownicy – na mocy korporacyjnych polityk – mają zablokowany dostęp do narzędzi AI.
Za co zapłaci klient?
Skoro zmyślanie AI jest nieusuwalne, co udowadnia matematyka, kluczowa staje się weryfikacja. Teoretycznie sprawdzenie prawdomówności maszyny wydaje się proste. Podobnie jak proste wydaje się napisanie informacji prasowej. Ale tak jak nie wszyscy dobrze radzą sobie z pisaniem informacji, tak nie wszyscy poradzą sobie z weryfikacją AI.
Sam Karpowicz podpowiada zresztą kierunek: zdrowy sceptycyzm, porządna inżynieria, testowanie i „dekompozycja problemów”. Halucynacje można ograniczać, a kreatywność modeli kontrolować – profesor nazywa to „skrępowaną kreatywnością” – jednak wyznaczanie granic tej kreatywności pozostanie zadaniem dla ludzi.
Doświadczymy zatem podziału branży na agencje sprzedające „jakąś” treść i agencje sprzedające „poręczenie bezbłędności”. W tym drugim wypadku klient nie będzie płacił za tekst – zapłaci za to, że ktoś weźmie odpowiedzialność za zgodność z faktami i wiarygodnymi źródłami.
Co to znaczy dla agencji?
Słynne już i do pewnego stopnia wyświechtane sformułowanie human in the loop stanie się standardem w umowach o współpracy między agencją a klientem. Kwestia używania AI w agencji – o którą klienci zwykle jeszcze nie pytają nawet mimochodem – już za chwilę będzie musiała być obwarowana adekwatną polityką (chociażby deklaracją stosowania Warsaw Principles) i wytycznymi operacyjnymi. Tym bardziej że klienci nie oglądają się na agencje, tylko robią swoje: ponad połowa z nich (52%) wprowadziła już formalne regulacje dotyczące wykorzystania AI w komunikacji.
Agencje już teraz powinny śmiało dopisywać do katalogu świadczonych usług – obok GEO – poczciwy fact-checking. A dla zainteresowanych dorzucać redakcję i wdrożenie polityki AI w organizacji.
Dokąd zaprowadzą nas halucynacje?
Katastrofy zatem nie będzie. AI nie odeśle PR do lamusa. Już 53% agencji ma swoje polityki AI i wie, jak okiełznać „asystentów ds. zmyślania”. Jednocześnie AI już zmieniło PR – tak samo jak social media zmieniły tradycyjne media i tradycyjny PR. Nawet Elon Musk będzie potrzebował – przynajmniej od czasu do czasu – kontaktu z odpowiedzialną i asertywną osobą, która, patrząc mu prosto w oczy, kompetentnie odniesie się do jego planów kolonizacji innych planet. Grok tego nigdy nie zrobi.
Waldemar Leszczyński, managing partner, Human Signs
Ten tekst pochodzi z raportu “Zaufanie w czasach AI” przygotowanego przez Związek Firm Public Relations. Cały raport można pobrać z tego miejsca: https://zfpr.pl/zaufanie-w-czasach-ai/
