Patrząc na to, co ostatnio pojawia się w ekspresowym tempie na Amazon można by wysnuć wniosek, że tak... Czy jednak książki te będą tak samo dobre, a w szczególności tak samo ciekawe i przede wszystkim unikalne, jak pisane przez "interfejsy białkowe" w postaci całkiem człekopodobnego autora?
Na to pytanie usiłują odpowiedzieć autorzy dostępnego w ramach OpenReview artykułu z 24.09.2024 (ostatnia modyfikacja 02.12.2024) pod tytułem "AI as Humanity’s Salieri: Quantifying Linguistic Creativity of Language Models via Systematic Attribution of Machine Text against Web Text".
W ramach opracowania przedstawiają oni coś, co sami określają jako "creativity index" i wyznaczają go zarówno dla prac stworzonych przez AI, jak i przez samego człowieka. Efekty są dość ciekawe...
Wielkie modele językowe bardzo często nazywane są przez zajmujących się nimi naukowców "stochastycznymi papugami" - od terminu używanego w matematyce, statystyce i teorii prawdopodobieństwa określającego coś opierającego się na przypadkowych, często losowych lub niepewnych zmiennych. W szczególności odnosi się to do odpowiedzi czy dłuższych wypowiedzi ChatGPT, Copilot, Gemini czy innych popularnych modeli, które bardziej lub mniej ślepo mieszają słowa oraz frazy, na których wcześniej były trenowane.
Jak dalece to stwierdzenie jest prawdziwe lub fałszywe trudno ocenić bez zbadania poziomu kreatywności w ten sposób stworzonych wynurzeń - a to wyzwanie nie jest wcale tak trywialne, jakby mogło się wydawać.
Naukowcy podchodzą do tego problemu w dwojaki sposób: albo wykorzystując systemy antyplagiatowe, przy czym brak znaków plagiatu nie implikuje jednoznacznie kreatywności; albo zlecając ludziom określenie poziomu oryginalności, godząc się przy tym na subiektywność oceny.
Ximming Lu z University of Washington wraz ze swoim zespołem postanowiła przedstawić może nie tyle nową, co łączącą powyższe metodę. Stworzone przez nich oprogramowanie pobiera jak najkrótsze frazy z wypowiedzi AI, a następnie przeszukuje pod ich kątem gigantyczne bazy online - zarówno w dziedzinie dopasowań dokładnych, jak i podobnych, w szczególności w kontekście tego samego znaczenia. Po tym etapie usuwa wszystkie odnalezione fragmenty, a następnie oblicza stosunek pozostałych fraz czy określeń, traktując go jako wskaźnik nowatorskości tekstu względem wykorzystanych źródeł. Oczywiście sam proces może być stosowany na różnych długościach fraz - we wspomnianym wcześniej dokumencie wykorzystywane są ciągi o minimum 5 słowach.
Pytanie, czy nazwa "creativity index" w tym przypadku jest właściwa budzi pewne wątpliwości - niektórzy (z którymi się poniekąd zgadzam) twierdzą, że określenie "lingwistyczna nowatorskość" mogłoby być bardziej adekwatne. Sama metoda bowiem nie sprawdza kreatywności jako takiej, a poziom unikalności samego tekstu (losowe ciągi słów mogą być uznane za nowatorskie, choć niekoniecznie kreatywne).
Niezależnie czy będziemy to nazywać testem na kreatywność, czy lingwistyczną nowatorskość, wyniki są dość ciekawe, choć nie do końca może pozytywne dla AI. Okazuje się, że wyliczony wskaźnik dla tekstów stworzonych przez ludzi nadal pozostaje o 80% wyższy w przypadku poezji, 100% wyższy w przypadku powieści i aż 150% wyższy dla przemówień czy wystąpień. Oczywiście pomiędzy nami samymi są również różnice, choć nie tak wysokie - przeprowadzono porównanie, na podstawie stwierdzono, że "Igrzyska Śmierci" mają o 35% wyższy indeks lingwistycznej nowatorskości, aniżeli "Zmierzch" (oczywiście w obydwu przypadkach użyto wersji oryginalnych powieści).
Bardzo ciekawą jest nazwa samego oprogramowania, które przeprowadza te analizy - DJ Search. Pomimo, że na pierwszy rzut oka może ona się nie kojarzyć z literaturą, a bardziej z muzyką, jest ona bardzo adekwatna do tłumaczenia sposobu działania AI używanego przez Ximming Lu: "They copy, paste, chop, and put together pieces from existing writing to make something amazing (...) It’s like a DJ remixing existing music. This is definitely valuable, but it’s different from a composer.". Według mnie jest to zdecydowanie bliższe obecnego stanu LLM, aniżeli wcześniej wspominana "stochastyczna papuga".
Czy oznacza to, że mimo ostatniego wysypu pisanych przez AI książek na Amazon praca pisarza nadal pozostaje niezagrożona? No cóż, odpowiedź na to pytanie niestety nie ogranicza się do tego, jak kreatywny i nowatorski jest ludzki mózg. Opiera się raczej na tym jak kreatywne i nowatorskie powieści czytelnicy chcą czytać - czy zadowalają się jedynie mixem opisów, bohaterów, scen czy schematów połączonych ze sobą, czy szukają czegoś całkowicie nowego, kreatywnego?
