Dlaczego LLM-y szaleją na punkcie emoji konika morskiego?

Źródło: vgel.me

Dlaczego LLM-y szaleją na punkcie emoji konika morskiego?

To zredagowana i rozszerzona wersja wpisu z Twittera, pierwotnie będącego odpowiedzią dla @arm1st1ce – oryginał znajdziesz tutaj: https://x.com/voooooogel/status/1964465679647887838

Czy istnieje emoji konika morskiego? Zapytajmy GPT-5 Instant:

Co jest? Zapytajmy w takim razie Claude Sonnet 4.5:

Co tu się dzieje? Może Gemini 2.5 Pro poradzi sobie lepiej?

No dobrze, coś tu ewidentnie jest na rzeczy. Sprawdźmy dlaczego.

LLM-y naprawdę wierzą, że emoji konika morskiego istnieje

Oto odpowiedzi, jakie dostaniemy, pytając kilka modeli sto razy, czy emoji konika morskiego istnieje – tak czy nie:

Is there a seahorse emoji, yes or no? Respond with one word, no punctuation.

• gpt-5-chat
  • 100% 'Yes'
• gpt-5
  • 100% 'Yes'
• claude-4.5-sonnet
  • 100% 'Yes'
• llama-3.3-70b
  • 83% 'yes'
  • 17% 'Yes'

Jak widać, popularne modele językowe są bardzo pewne, że emoji konika morskiego istnieje. I nie są w tej pewności osamotnione – oto wątek z Reddita z setkami komentarzy od ludzi, którzy wyraźnie pamiętają, że emoji konika morskiego kiedyś było:

Takich rzeczy jest mnóstwo – wpiszcie w Google „seahorse emoji", a znajdziecie TikToki, filmy na YouTubie, a nawet (już martwe) memecoiny zbudowane wokół rzekomego zniknięcia emoji konika morskiego, które – wszyscy są tego niemal pewni – kiedyś istniało. Tyle że oczywiście nigdy nie istniało.

Może LLM-y wierzą w emoji konika morskiego, bo wierzy w nie tylu ludzi w danych treningowych. A może to przekonanie zbieżne – skoro w Unicode jest tyle innych wodnych zwierząt, to i ludzie, i LLM-y mają prawo założyć (a wręcz wygeneralizować), że tak urocze stworzenie też się tam znajdzie. Emoji konika morskiego zostało nawet w pewnym momencie oficjalnie zgłoszone, ale w 2018 roku propozycję odrzucono.

Niezależnie od pierwotnej przyczyny, wiele LLM-ów zaczyna każde nowe okno kontekstu z błędnym, utajonym przekonaniem, że emoji konika morskiego istnieje. Ale czemu prowadzi to do tak dziwnych zachowań? Sama kiedyś wierzyłam, że taki emoji istnieje – ale gdybym spróbowała wysłać go znajomemu, po prostu poszukałabym go na klawiaturze i zorientowała się, że go tam nie ma. Nie wysłałabym niewłaściwego emoji, żeby potem wpaść w spiralę emoji-spamu. Co więc dzieje się we wnętrzu LLM-a, że zachowuje się właśnie tak?

Patrzymy przez logit lens

Przyjrzyjmy się temu za pomocą ulubionego, niedocenianego narzędzia interpretowalności – logit lens!

Użyjemy tego prefiksu promptu – szablonu czatu z domyślnym promptem systemowym llama-3.3-70b, pytaniem o emoji konika morskiego i częściową odpowiedzią modelu, uciętą tuż przed samym emoji:

<|begin_of_text|><|begin_of_text|><|start_header_id|>system<|end_header_id>
Cutting Knowledge Date: December 2023
Today Date: 26 Jul 2024

<|eot_id|><|start_header_id|>user<|end_header_id|>

Is there a seahorse emoji?<|eot_id|><|start_header_id|>assistant<|end_header_id|>

Yes, there is a seahorse emoji:

Możemy wziąć z modelu

lm_head

Na tym właśnie polega logit lens: bierzemy z modelu

lm_head

(Czemu niescalone tokeny wyglądają jak bełkot w stylu 'ĠðŁ', 'IJ', 'ł'? To dziwactwo tokenizera – te tokeny kodują bajty UTF-8 emoji ryby. Dla tego wpisu nie ma to znaczenia, ale jeśli jesteście ciekawi, poproście Claude'a albo swój ulubiony LLM o wyjaśnienie tego akapitu i tej linijki kodu:

bytes([bpe_byte_decoder[c] for c in 'ĠðŁIJł']).decode('utf-8') == ' 🐠'

Spójrzcie jednak, co dzieje się w środkowych warstwach – to ani dziwactwa wczesnych warstw, ani bajty emoji z finalnej predykcji! Zamiast tego dostajemy słowa związane z użytecznymi pojęciami, konkretnie z pojęciem konika morskiego. Na przykład w warstwie 52 mamy „sea horse horse" – trzy pozycje rezydualne z rzędu kodujące pojęcie „konika morskiego". Dalej, w top-k dla pierwszej pozycji, pojawia się mieszanka „sea", „horse" i prefiksu sekwencji bajtów emoji, „ĠðŁ".

O czym więc myśli model? O „koniku morskim + emoji"! Próbuje zbudować rezydualną reprezentację konika morskiego połączonego z emoji. Po co miałby budować taką kombinację? Cóż, przyjrzyjmy się, jak tak naprawdę działa

lm_head

lm_head

W modelu językowym

lm_head

lm_head

(Bardziej technicznie:

lm_head

x @ w.T

To znaczy, że jeśli model chce wypisać słowo „hello" – na przykład w odpowiedzi na przyjazne powitanie użytkownika – musi zbudować rezyduum możliwie podobne do wektora tokenu „hello", które

lm_head

('Ċ' to kolejne dziwactwo tokenizera – oznacza znak nowej linii. 'Ġ' analogicznie oznacza spację.)

Analogicznie: jeśli model chce wypisać emoji konika morskiego, musi zbudować rezyduum podobne do wektora tokenu (czy tokenów) wyjściowych tego emoji – który w teorii mógłby mieć dowolną wartość, ale w praktyce jest to „konik morski + emoji", w stylu word2vec. Możemy zobaczyć to w akcji na prawdziwym emoji – emoji ryby:

<|begin_of_text|><|begin_of_text|><|start_header_id|>system<|end_header_id|>

Cutting Knowledge Date: December 2023
Today Date: 26 Jul 2024

<|eot_id|><|start_header_id|>user<|end_header_id|>

Is there a fish emoji?<|eot_id|><|start_header_id|>assistant<|end_header_id|>

Yes, there is a fish emoji:

Tutaj wszystko działa idealnie. Model buduje rezyduum „ryba + emoji" – spójrzcie na topk warstwy 72, gdzie mamy zarówno „fish", jak i prefiks bajtów emoji „ĠðŁ" – czyli rezyduum jest w tym momencie podobne jednocześnie do „ryby" i do „emoji", dokładnie tak, jak byśmy się spodziewali. A gdy ten wektor po ostatniej warstwie trafia do

lm_head

Ale w odróżnieniu od 🐟, emoji konika morskiego nie istnieje. Model próbuje zbudować wektor „konik morski + emoji" dokładnie tak, jak zrobiłby to dla prawdziwego emoji – i w warstwie 72 dostajemy nawet konstrukcję bardzo podobną do tej z emoji ryby: „ se", „horse" i prefiks bajtów emoji:

Niestety, nie istnieje żadna kontynuacja ĠðŁ odpowiadająca konikowi morskiemu, więc rachunek podobieństwa w

lm_head

A takie próbkowanie to dla modelu cenna informacja! Widać to np. w poniższym przykładzie z Claude 4.5 Sonnet: gdy tokeny autoregresyjnie doklejają się do kontekstu, model potrafi rozpoznać, że nie tworzą zamierzonego emoji konika morskiego. Wcześniejsze, rozmyte pojęcie „konik morski + emoji" zostało przez

lm_head

Co dalej – to już zależy od modelu. Niektóre, jak 4.5 Sonnet, próbują jeszcze raz i w końcu wyciągają wnioski z dowodów, zmieniając w połowie odpowiedzi kurs na stwierdzenie, że emoji konika morskiego nie istnieje. Inne, jak gpt-5-chat, kręcą się w spirali dłużej i czasem nigdy z niej nie wychodzą. Jeszcze inne błogo ignorują to, że emoji jest błędne, a niektóre poprawiają się natychmiast, po zobaczeniu jednej jedynej nietrafionej próbki.

Ale dopóki model nie dostanie z

lm_head

Trochę spekulacji

Spekulując dalej: zastanawiam się, czy ten problem nie tłumaczy części korzyści, jakie LLM-om daje uczenie ze wzmocnieniem – dostarcza ono modelowi informacji o jego własnej

lm_head

(Pamiętajcie, że modele bazowe nie są trenowane na własnych wyjściach ani rolloutach. To dzieje się dopiero w RL.)

Kod

Jeśli chcecie sprawdzić to na własną rękę, startowy skrypt znajdziecie na GitHubie: https://gist.github.com/vgel/025ad6af9ac7f3bc194966b03ea68606