[lumberjack]

Ponoć pojawiło się już zjawisko psychozy AI - ludzie uczłowieczają chatboty, przyjaźnią się z nimi, romansują, uzależniają decyzje finansowe. Trudno mi to sobie wyobrazić

Znajomy moich rodziców pod wpływem rad wróżki zlikwidował firmę, odszedł od żony i zaczął inne życie. Jeśli ludzie w ważnych kwestiach, m.in. finansowych i osobistych, słuchają się jakichś wróżek, księży, coachów personalnych to i chatbotów będą się słuchać.

[Kontestator]

Widziałem jakiś filmik o gościu, który całe dnie spędzał na chatowaniu z ChatGPT i gdy wprowadzili nową wersję to płakał bo uważał, że jego osobowość się zmieniła a więc stary chat nie żyje

[kmat]

Taki świat. Koniec końców to tylko zautomatyzowany chiński pokój, ustrojstwo do przetwarzania tekstów, których tak naprawdę nie rozumie, bo tam w środku literalnie nie ma niczego, co by mogło je rozumieć. To się może sprawdzić jako sprawna wyszukiwarka internetowa. Ale o wszechświecie, życiu i całej reszcie z tym nie pogadasz. Znaczy pogadasz, ale to będzie kompletne echo chamber, gadanie do samego siebie.

[Slup]

Koniec końców to tylko zautomatyzowany chiński pokój, ustrojstwo do przetwarzania tekstów, których tak naprawdę nie rozumie, bo tam w środku literalnie nie ma niczego, co by mogło je rozumieć. 

Co jest w mózgu takiego, co sprawia, że mózg "naprawdę" rozumie tekst?

Weźmy abstrakcyjny sumator binarny czyli bramkę XOR. Taka bramka jest abstrakcją matematyczną, idealizacją. Jej fizyczne realizacje są tylko niedoskonałymi przybliżeniami. W elektronicznych realizacjach bity są przedziałami napięć, które czytane są przez obarczone niedokładnościami urządzenia pomiarowe. Mamy szum, wpływ temperatury otoczenia itd. Rzadko to się zdarza, bo technologia cyfrowa jest bardzo rozwinięta, ale czasem coś idzie nie tak i pojawiają się błędy. Stąd dosyć banalny wniosek, że nawet tej elementarnej idealizacji matematycznej nie jesteśmy w stanie fizycznie dokładnie odwzorować.  

Mózg też jest urządzeniem fizycznym. Skąd więc wiadomo, że my "naprawdę" rozumiemy działanie abstrakcyjnej bramki XOR? Nie możemy mieć przecież dokładnej realizacji tej bramki w mózgu, bo to jest niemożliwe. Raczej tylko wydaje nam się, że rozumiemy to działanie. Tzn. gdy o tym myślimy, to odczuwamy pewność – wzbudzenie odpowiednich neuronów w naszym mózgu.

[fciu]

Skąd więc wiadomo, że my "naprawdę" rozumiemy działanie abstrakcyjnej bramki XOR? Nie możemy mieć przecież dokładnej realizacji tej bramki w mózgu, bo to jest niemożliwe. Raczej tylko wydaje nam się, że rozumiemy to działanie.

No to jest znany od dawna problem — że nie możemy udowodnić samej logiki, bo aby ją udowodnić musielibyśmy okrężnie odwołać się do logiki (historyjka "Co powiedział żółw do Achillesa" Lewisa Carrola o tym mówi). Tym niemniej jeśli my nie przyjmiemy założenia, że możemy coś rozumieć, to tym bardziej nie możemy wykazać, że cokolwiek rozumie LLM. Więc to nie jest argument na rzecz "prawdziwego rozumienia" przez LLM-y.

[Slup]

No to jest znany od dawna problem — że nie możemy udowodnić samej logiki, bo aby ją udowodnić musielibyśmy okrężnie odwołać się do logiki (historyjka "Co powiedział żółw do Achillesa" Lewisa Carrola o tym mówi).

To jest trochę inny problem. Dotyczy tego, że fizyczna rzeczywistość nie może zrealizować wyidealizowanych form, które (jak nam się wydaje) są dostępne naszemu myśleniu. To jest obserwacja Platona. Problem, który rodzi ta obserwacja, można jednak rozwiązać (wbrew Platonowi) w ten sposób, że istnienie tych wyidealizowanych form w umyśle jest iluzją, którą wytwarza na własny użytek skomplikowany fizyczny system – ludzki mózg.

Tym niemniej jeśli my nie przyjmiemy założenia, że możemy coś rozumieć, to tym bardziej nie możemy wykazać, że cokolwiek rozumie LLM. Więc to nie jest argument na rzecz "prawdziwego rozumienia" przez LLM-y.

To jest argument na rzecz tego, że "prawdziwe rozumienie" może być pewnym mitem, iluzją. Stąd mówienie o "prawdziwym rozumieniu" w kontekście ludzi i odmawianie go innym systemom fizycznym jest po prostu wyrazem dobrego samopoczucia komórek glejowych i nerwowych w danym mózgu.

Istnieje natomiast pojęcie "rozumienia" w słabszym sensie behawioralnym i je można jak najbardziej przypisać Chińskiemu Pokojowi oraz LLM-owi.

[fciu]

To jest trochę inny problem. Dotyczy tego, że fizyczna rzeczywistość nie może zrealizować wyidealizowanych form, które (jak nam się wydaje) są dostępne naszemu myśleniu.

A jednak ludzie parają się arytmetyką w sposób powtarzalny i konsekwentny.

To jest argument na rzecz tego, że "prawdziwe rozumienie" może być pewnym mitem, iluzją. Stąd mówienie o "prawdziwym rozumieniu" w kontekście ludzi i odmawianie go innym systemom fizycznym jest po prostu wyrazem dobrego samopoczucia komórek glejowych i nerwowych w danym mózgu.

Rozumienie zagadnienia możemy zdefiniować tak, że posiadamy pewien model tego zagadnienia, który pozwala nam na przewidywanie. W tym znaczeniu model LLM "rozumie zasady języka", a model gry planszowej "rozumie tę grę". Ale LLM nie zrozumie już o czym gada.

Istnieje natomiast pojęcie "rozumienia" w słabszym sensie behawioralnym i je można jak najbardziej przypisać Chińskiemu Pokojowi oraz LLM-owi.

A rzutowi monetą?

[Slup]

A jednak ludzie parają się arytmetyką w sposób powtarzalny i konsekwentny.

Kalkulatory też. Są nawet bardziej konsekwentne niż ludzie, bo ludziom częściej zdarzają się arytmetyczne pomyłki. Przy czym zarzut, że kalkulatory "naprawdę" nie dodają i nie mnożą, można również zastosować wobec ludzi – mózg też musi mieć wbudowany neuronalny kalkulator.

Rozumienie zagadnienia możemy zdefiniować tak, że posiadamy pewien model tego zagadnienia, który pozwala nam na przewidywanie. W tym znaczeniu model LLM "rozumie zasady języka", a model gry planszowej "rozumie tę grę". Ale LLM nie zrozumie już o czym gada.

Stwierdzono, że potrafi przeczytać e-mail o tym, że zostanie wyłączony, i potem temu wyłączeniu przeciwdziałać (za pomocą drastycznych środków). Patrząc na to z perspektywy behawioralnej zrozumiał treść tego e-maila, bo podjął związane z nią działania.

A rzutowi monetą?

Raczej nie. Natomiast termostatowi już tak. Termostat ma (bardzo szczątkowe) rozumienie świata zewnętrznego.

Prawdę mówiąc, odgrywam tutaj rolę adwokata diabła, bo żadne rozwiązanie problemu fizycznej nierealizowalności idealnych form mnie nie przekonuje,

[fciu]

Przy czym zarzut, że kalkulatory "naprawdę" nie dodają i nie mnożą

Nie ma za bardzo podstaw, choćby według tej definicji, którą podałem. Kalkulatory mają model liczby w postaci binarnej i z tego modelu korzystają, otrzymując rezultaty zwykle bardzo zbliżone do rzeczywistości.

Stwierdzono, że potrafi przeczytać e-mail o tym, że zostanie wyłączony, i potem temu wyłączeniu przeciwdziałać

Czyli potrafi dokończyć dość sztampową historię science-fiction. Już o tym pisałem. Nie ma tutaj żadnego dowodu, że owe LLM-y miały jakikolwiek model siebie, swoich operatorów, czy w ogóle otaczającej ich rzeczywistości. Oczywiście możesz dalej powtarzać swoje, ale fajnie gdybyś jednak się odniósł do argumentów.

Raczej nie.

A dlaczego? Zachowanie na podstawie rzutu monetą może być tak samo behawioralnie sensowne, jak zachowanie na podstawie przewidywań tokenów w LLM.

Termostat ma (bardzo szczątkowe) rozumienie świata zewnętrznego.

No bo znowu — termostat ma gdzieś zapisaną wartość temperatury, która to jest modelem pewnego aspektu rzeczywistości. Wszystko się zgadza.

[Slup]

Czyli potrafi dokończyć dość sztampową historię science-fiction. Już o tym pisałem. Nie ma tutaj żadnego dowodu, że owe LLM-y miały jakikolwiek model siebie, swoich operatorów, czy w ogóle otaczającej ich rzeczywistości. Oczywiście możesz dalej powtarzać swoje, ale fajnie gdybyś jednak się odniósł do argumentów.

Twój model otaczającej rzeczywistości to prawdopodobnie pewne obwody nerwowe w mózgu, które odpowiadają za "umiejętność kończenia historii". Na chwilę obecną zakończenia historii w Twoim wypadku są mniej sztampowe niż w przypadku LLM-a, ale to tylko różnica stopnia.

Poza tym sorry, ale obserwacja zachowania jest naukowo dopuszczalnym i powszechnie stosowanym dowodem (evidence).

A dlaczego? Zachowanie na podstawie rzutu monetą może być tak samo behawioralnie sensowne, jak zachowanie na podstawie przewidywań tokenów w LLM.

W podanym eksperymencie model wykonał racjonalne działanie (próbował zatrzymać własne wyłączenie) w 90% przypadków. Przy rzucie monetą tylko w 50% przypadków.

[fciu]

Twój model otaczającej rzeczywistości to prawdopodobnie pewne obwody nerwowe w mózgu, które odpowiadają za "umiejętność kończenia historii".

Nie wiem dokładnie, jak w moim mózgu mają się do siebie obszary odpowiedzialne za język i odpowiedzialne za modele przestrzenne. Ale posiadam w moim mózgu model rzeczywistości, która mnie otacza. W przypadku LLM-ów nie ma żadnych przesłanek, by wierzyć, aby taki model posiadały. Ich wyjście da się wytłumaczyć twierdząc, że są tym czym są — modelami językowymi.

Poza tym sorry, ale obserwacja zachowania jest naukowo dopuszczalnym i powszechnie stosowanym dowodem (evidence).

Ale ja nie twierdzę, że tak nie jest. Tylko że evidence w naukach empirycznych to coś innego niż proof w naukach dedukcyjnych. Jeśli to co generuje LLM jest spójne z dwiema teoriami, z których jedna jest prostsza i nie wprowadza niepotrzebnych bytów, to tę teorię należy przyjąć.

No chyba że ktoś przeprowadzi eksperyment, który rzeczywiście wykluczy iż LLM generuje tylko zdania pasujące do kontekstu i rzeczywiście posiada jakiś model siebie, czy rzeczywistości. Ale przecież nie taki był cel tej ustawki.

W podanym eksperymencie model wykonał racjonalne działanie (próbował zatrzymać własne wyłączenie) w 90% przypadków. Przy rzucie monetą tylko w 50% przypadków.

Czyli różnica jest ilościowa? To ja jednak wolę moją definicję opartą na istnieniu modelu.

[Slup]

Ty też generujesz wyjścia, które są spójne z tezą, że nie różnisz się (za wyjątkiem stopnia i złożoności) od LLM-a lub termostatu. Poza tym z fizyki i neurologii wiem, że strukturalnie jesteście automatami o skończonej liczbie stanów. Czemu mam więc zakładać, że Ty posiadasz jakiś wyjątkowy model zewnętrznej rzeczywistości, którego LLM rzekomo ma nie mieć? Mogę uwierzyć, że Twój model jest bardziej złożony i multimodalny, ale dlaczego miałby być jakościowo inny? 

No chyba, że tak nie twierdzisz i wtedy właściwie się zgadzamy.

[fciu]

Ty też generujesz wyjścia, które są spójne z tezą, że nie różnisz się (za wyjątkiem stopnia i złożoności) od LLM-a lub termostatu.

Co to znaczy "stopnia złożoności"? Ja mówię o tym, co jest przez danego agenta modelowane — LLM modeluje język. Termostat modeluje temperaturę (nawet lepiej niż ludzki intuicyjny model). Natomiast człowiek posiada model języka oraz model rzeczywistości. Ludzkich zachowań nie da się wyjaśnić tylko faktem modelowania języka, bo ludzie są w stanie opisać rzeczywistość i wejść w interakcję z otoczeniem, o który nigdy im nie opowiedziano. Potrafią opisać swoje przeżycia wewnętrzne i zachowywać się stosownie do nich w sposób, który również nie jest wyjaśnialny tylko tym, że czytali poezję.

Więc jeśli uważasz, że to iż posiadam modele, których LLM nie posiada to tylko kwestia "stopnia złożoności", to niech ci będzie.

Czemu mam więc zakładać, że Ty posiadasz jakiś wyjątkowy model zewnętrznej rzeczywistości, którego LLM rzekomo ma nie mieć?

Już wyjaśniłem.

Mogę uwierzyć, że Twój model jest bardziej złożony i multimodalny, ale dlaczego miałby być jakościowo inny?

No nie — na pewno jest jakościowo inny. Bo jednak neurony działają inaczej niż matematyczne struktury w uczeniu maszynowym. Poza tym zdolność używania języka jest wtórna względem poznawania rzeczywistości u zwierząt; zaś u LLM-ów jeśli istnieje jakiś model rzeczywistości (choć nic na to nie wskazuje), to jest on, na odwrót, wtórny wobec modelu języka i stanowi emergencję modelu językowego.

[Slup]

Weźmy automatycznego robota sprzątającego połączonego z aplikacją sterowaną przez LLM-a. Przy czym ten LLM ma zarządzać robotem, informować właściciela domu o stanie robota i jego awariach, wysyłać robota do serwisu, zamawiać przez internet części itd. Taki połączony system też jest w stanie opisać swoją rzeczywistość, wejść w interakcję z otoczeniem, o którym nigdy mu nie opowiedziano (wcześniej nie znał domu – robot sprzątający musiał go najpierw zmapować), potrafi też opisać swoje problemy i zachowywać się stosownie do nich.

Wygląda, że ten system ma (prosty) model rzeczywistości w Twoim sensie.

Jak podłączymy LLM-a do bardziej skomplikowanego robota (o większej liczbie stopni swobody i czujników), to ten model rzeczywistości też się rozszerzy. Wytrenujemy lepszego LLM-a, to rozszerzy się bardziej. Połączymy taki system z modułami dedykowanymi do konkretnych przydatnych w życiu codziennym dziedzin. W końcu uzyskamy roboty, które w sensie behawioralnym, będą bardzo podobne do przeciętnego człowieka.

[fciu]

Weźmy automatycznego robota sprzątającego połączonego z aplikacją sterowaną przez LLM-a.

No to już inna bajka, bo przecież roboty sprzątające posiadają uproszczony model sprzątanej przestrzeni.

Taki połączony system też jest w stanie opisać swoją rzeczywistość

No jest. Ale nie na takiej zasadzie, na jakiej ludzie wierzą, że LLM-om nagle wyrosła świadomość.

Jak podłączymy LLM-a do bardziej skomplikowanego robota (o większej liczbie stopni swobody i czujników), to ten model rzeczywistości też się rozszerzy.

Pytanie jednak, czy sam LLM będzie potrafił ten model rzeczywistości prawidłowo wykorzystać. Bo karmienie LLM-ów, będących modelami językowymi danymi matematycznymi (jakimi będzie wyjście z jakichś czujników) to głupota. Prawdopodobnie zatem AGI nie będzie LLM-em, a będzie może posiadać LLM jako jakiś swój, niecentralny komponent.

[Slup]

Ok. Podsumuję.
1. Nie ma potrzeby i być może w ogóle nie ma sensu (również w kontekście ludzi) mówić o platońskich formach i magicznych jakościach: "prawdziwym rozumieniu tekstu", "prawdziwym wykonywaniu operacji arytmetycznych", "prawdziwej świadomości".
2. Potrafimy dziś zbudować agenta z (prostym) modelem rzeczywistości poprzez połączenie LLM-a z innymi łatwo dostępnymi systemami.
2. Człowiek to automat ze skończoną liczbą stanów. Zasadnicza różnica między agentem z poprzedniego punktu i człowiekiem to kwestia złożoności tego modelu rzeczywistości.

[fciu]

1. Nie ma potrzeby i być może w ogóle nie ma sensu (również w kontekście ludzi) mówić o platońskich formach i magicznych jakościach

Oczywiście że nie ma. Ale w kwestii istnienia modelu już ma sens.

2. Potrafimy dziś zbudować agenta z (prostym) modelem rzeczywistości poprzez połączenie LLM-a z innymi łatwo dostępnymi systemami.

Potraficie? To zbudujcie. Tu akurat mogę Ci oferować wiedzę branżową — sprzężenie LLM z systemem który dysponuje bardziej analityczną, ustrukturyzowaną wiedzą jest nietrywialne w cholerę.

2. Człowiek to automat ze skończoną liczbą stanów. Zasadnicza różnica między agentem z poprzedniego punktu i człowiekiem to kwestia złożoności tego modelu rzeczywistości.

Nie tylko. Bo taki agent ogranicza się tylko do takiego modelu, jaki mu podpięto i umie korzystać z niego tylko w takim stopniu, w jakim dało się stworzyć interfejs LLM-jakiś inny system. Natomiast człowiek potrafi budować nowe modele, do których pojmowania ewolucja go nie przystosowała.

[Slup]

1. Nie ma potrzeby i być może w ogóle nie ma sensu (również w kontekście ludzi) mówić o platońskich formach i magicznych jakościach

Oczywiście że nie ma. Ale w kwestii istnienia modelu już ma sens.

Opinia. Nie rozwinąłeś, co masz na myśli.

Potraficie? To zbudujcie. Tu akurat mogę Ci oferować wiedzę branżową — sprzężenie LLM z systemem który dysponuje bardziej analityczną, ustrukturyzowaną wiedzą jest nietrywialne w cholerę.

Może być nietrywialne. Jednak nie powiesz mi, że zespół programistów nie potrafiłby połączyć LLM-a z robotem sprzątającym? 

Natomiast człowiek potrafi budować nowe modele, do których pojmowania ewolucja go nie przystosowała.

Kontrowersyjna opinia.

[fciu]

Opinia bez rozwijania, co masz na myśli.

Przecież już napisałem kilkakrotnie. Zgadzam się, że koncepcja "prawdziwego rozumienia" jest niejasna i może być zrozumiana magicznie. Ale koncepcja "modelu" jest już znacznie bardziej konkretna i jak najbardziej jest sens dyskutować nad tym, czy dany byt rzeczywiście coś tam modeluje, czy w ogóle nie modeluje i jego zachowanie da się wytłumaczyć bez zakładania, że ma określony model.

Może być nietrywialne. Jednak nie powiesz mi, że zespół programistów nie potrafiłby połączyć LLM-a z robotem sprzątającym?

Pewnie by potrafił. Pytanie, jak daleko szłoby to sprzężenie zwrotne. Jak dużo pracy trzeba by wykonać, aby np. model potrafił opisać ludzkim językiem układ domu. A i tak:

1. Byłoby to tylko jedno zadanie, a nie zdolność do generycznego rozwiązywania problemów
2. Nie miałoby to związku ze zdolnością samego LLM-a, który nadal by nie posiadał żadnego modelu rzeczywistości, a jedynie model interakcji z jakimś API.

Kontrowersyjna opinia.

Zupełnie niekontrowersyjna. Teoria kwantowa powstała długo po tym, jak człowiek osiągnął dominację intelektualną. Człowiek był w stanie ją jednak stworzyć.

[Slup]

jedynie model interakcji z jakimś API.

Ty też posiadasz "jedynie model interakcji z jakimś API".  Oczywiście w Twoim przypadku jest to API bardzo, bardzo skomplikowane. Dużo bardziej skomplikowane niż API jakiegoś LLM-a sterującego odkurzaczem.

Zupełnie niekontrowersyjna. Teoria kwantowa powstała długo po tym, jak człowiek osiągnął dominację intelektualną. Człowiek był w stanie ją jednak stworzyć.

Weźmy de Broglie'a, który wprowadził "fale materii", i uwzględnijmy wiedzę zgromadzoną w jego społeczności, która była podstawą jego osiągnięć. Porównajmy to z Eratostenesem, który obliczył obwód Ziemi, i uwzględnijmy wiedzę zgromadzoną w jego społeczności. Weźmy jakiegoś Sumera, który wymyślił, że można pisać na kamieniach znaki i w ten sposób przekazywać sobie informację (również międzypokoleniowo). Za każdym razem mamy osiągnięcie, które w relacji do bieżącej bazy społeczno-naukowej wymagało podobnego wysiłku intelektualnego. W ten sposób dojdziemy do gostka, który 200_000 lat temu skumał, że można tłuc o siebie krzemieniami, co powoduje powstanie iskry i rozwiązuje podstawowy problem techniczny z jakim się borykała jego grupa łowiecka.