Limity AI: #12 Dlaczego LLMy nie mogą przestać kłamać?

Tzw. halucynacje (zwane też konfabulacjami) to ryzyko, którego nie da się wyeliminować. Niby to wiemy od początku istnienia LLM-ów, ponieważ sam sposób ich trenowania i "rozproszonego" przechowywania przez nie informacji oraz ich przetwarzania przy pomocy tzw. embeddingów (funkcji wektorowych) powoduje, że każda treść generowana przez nie w interakcji z nami (każda odpowiedź na prompta) nie jest zwykłym przywoływaniem dostępnych danych, ale ich statystycznym uogólnieniem.

Niektórzy łudzili się jednak, że to tylko przejściowy, tymczasowy problem – że uda się w końcu wypracować rozwiązanie, które wyeliminuje treści nieprawdziwe, zachowując zalety generatywności. Dziś już wiemy, że to niemożliwe – że nie jest to problem techniczny, który by można rozwiązać lepszą inżynierią, ale cecha matematyczna systemów jakimi są LLMy.

Co to oznacza w praktyce? Nie masz żadnej gwarancji (i nie możesz mieć nigdy!), że informacja podana przez LLMa nie jest nieprawdziwa. Tam więc, gdzie ryzyko fałszywej informacji jest biznesowo nieakceptowalne, nie możesz polegać wyłącznie na LLMie – musisz wprowadzić do decyzyjnej pętli ludzkiego eksperta (tzw. "man in the loop").

A zatem: czym są halucynacje? Jakie ich typy najczęściej występują? Z czego wynikają? Dlaczego tzw. RAGi (Retrieval Augmented Generation) czy browsing, choć ograniczają ich ryzyko, nie mogą tego ryzyka wyeliminować? I co na ten temat myślą twórcy LLMów?

• On the Fundamental Impossibility of Hallucination Control in Large Language Models
• Dlaczego modele językowe halucynują?