[kmat]

Wiecie, ja bym zwrócił uwagę na jedną rzecz. Ludzki umysł to produkt jakichś 4 mld lat ewolucji (ograniczając się do samego systemu nerwowego to pewnie jakiś miliard). Chatboty to produkt kilku lat projektowania. Tu po prostu muszą być jakieś różnice jakościowe.

[Slup]

Wiecie, ja bym zwrócił uwagę na jedną rzecz. Ludzki umysł to produkt jakichś 4 mld lat ewolucji (ograniczając się do samego systemu nerwowego to pewnie jakiś miliard). Chatboty to produkt kilku lat projektowania. Tu po prostu muszą być jakieś różnice jakościowe.

Weź pod uwagę, że współcześnie sieć neuronową trenuje się na terabajtach danych i za pomocą gigantycznej mocy obliczeniowej. To przyśpieszone uczenie. Np. AlphaZero uczył się grać w szachy rozgrywając w każdej minucie kilka tysięcy partii. Możliwe, że to wciąż nie ta sama skala co miliardy lat ewolucji, ale ta różnica jest mniejsza niż to się na pierwszy rzut oka wydaje.

[equuleuss]

Ooo, chyba kupię popcorn, bo zapowiada się być może kolejny, ciekawy odcinek lewicowego serialu pod tytułem „Kto z naszego grona nie ogarnie aktualnej mądrości etapu i zostanie faszystą”.

Jak z osobami trans i częścią feministek.

Nawet w tym temacie zupełnie od czapy trzeba szturchnąć osoby trans. Poza tym co to znaczy osoby trans - wszystkich rzucasz do jednego worka? A trans prawicowiec, trans katolik? Trans nie LGBT? Transseksualizm to wada rozwojowa diagnozowana klinicznie podobnie jak interseksualizm a nie ideolo.

[Baptiste]

Nawet w tym temacie zupełnie od czapy trzeba szturchnąć osoby trans.

Nie od czapy, tylko miało to pomóc wyrazić pewną inną myśl. Bez zagłębiania się konkretnie w tematykę trans, która dla tej myśli jest poboczna.

Poza tym co to znaczy osoby trans - wszystkich rzucasz do jednego worka?

W odniesieniu do wpisu, który cytujesz - osoba, która się za takową uważa lub może bardziej poprawnie - którą środowisko LGBT za takową uważa. A pisząc środowisko LGBT mam na myśli członków i sympatyków np. takich organizacji jak KPH, Lambda, Stonewall, itp. Tzn. organizacji, których działalność i postulaty znajdują poparcie na lewicowej części sceny politycznej.

A trans prawicowiec, trans katolik? Trans nie LGBT?

No też trans, tylko z jakimś dopiskiem.

Transseksualizm to wada rozwojowa diagnozowana klinicznie podobnie jak interseksualizm a nie ideolo.

Tak, ale to w właśnie w środowiskach lewicowych powyższe zdanie lekko mówiąc „trąci myszką”.
Ja nie uważam transeksualizmu za ideolo. Wiem, że takie osoby istnieją nie z tego powodu, że ktoś wykreował jakąś modę czy ideologię. W tym miejscu nie musisz mnie do niczego przekonywać i nie mam żadnego problemu z tym aby taką osobę traktować zgodnie z jej tożsamością płciową. W przypadku takich osób zwykle warstwa wizualna bardzo pokrywa sią z tą tożsamością co ułatwia mi sprawę i nie robi mętliku w głowie.
Jeśli siedzisz w tym temacie to pewnie wiesz, że w środowiskach lewicowych aktualnie trend jest taki, że odrzucamy medyczny kontekst transeksualizmu na rzecz swobodnych deklaracji - bez konieczności jakiegoś diagnozowania, co jest postrzegane jako stygmatyzowanie czy czasem wręcz upokarzanie. Ot taki specyficzny syndrom białego fartucha. Poza tym dochodzą te wszystkie kwestie związane z płynnością płci, itd.

[equuleuss]

W odniesieniu do wpisu, który cytujesz - osoba, która się za takową uważa lub może bardziej poprawnie - którą środowisko LGBT za takową uważa. A pisząc środowisko LGBT mam na myśli członków i sympatyków np. takich organizacji jak KPH, Lambda, Stonewall, itp. Tzn. organizacji, których działalność i postulaty znajdują poparcie na lewicowej części sceny politycznej.

Ja z kolei miałem na myśli to że osoba transgender czyli transpłciowa nie jest tym samym co osoba transseksualna. Osoby transpłciowe zazwyczaj są niebinarne, mogą określać się jako agender, bigender czy też mogą postrzegać swoją płeć jako płynną. Osoba transseksualna jest binarna i silnie osadzona w swojej płci której doświadcza / którą przeżywa. Taka osoba doświadcza także dysforii, czasem tak silnej że nie pozwala ona na funkcjonowanie. Transseksualizm był zawsze diagnozowany klinicznie a to że LGBT namieszało to już inna sprawa. Transseksualizm jest wrodzony. Tak jest w moim przypadku, jestem osobą true trans, czyli osobą transseksualną. Nie jestem osobą transpłciową tylko transseksualną, binarną.

Nie uważam się za osobę LGBT. Jako transmężczyzna jestem heteroseksualny. Heteroseksualny mężczyzna nie jest osobą LGBT. Pod literkę T siebie nie zaliczam. Tam jest wszystko. Ja jestem po prostu mężczyzną który urodził się w niewłaściwej płci za sprawą jakiegoś błędu natury. Takie osoby potrzebują specjalistycznej pomocy a nie parad LGBT czy też przynależności do tego środowiska czy lobby.

Tak, wiem co się dzieje i ja tego nie popieram. Już jakiś czas temu lekarze specjaliści z tytułami apelowali że osoby transseksualne powinny być wykluczone z LGBT bowiem im to nie pomaga a wręcz szkodzi. Jestem podobnego zdania. Zresztą sporo osób true trans szczególnie po dokonaniu korekty płci nie utożsamia się z żadnym środowiskiem LGBT. Oni po prostu chcą żyć w miarę normalnie jako mężczyźni / kobiety i po prostu funkcjonować w społeczeństwie.

Poczynania LGBT rzeczywiście są szkodliwe dla osób transseksualnych. To sprawia także że mogą być postrzegani jako niepoważni poprzez pryzmat osób transgender - niebinarnych czy postulatów LGBT. To umniejszanie cierpienia i koszmaru takich osób którego doświadczają w życiu. To robienie z poważnego problemu nad którym powinni pochylić się specjaliści jakiegoś cyrku.

Diagnozowanie jest konieczne i to solidne, jak najbardziej dokładne bo sprawa jest poważna. Detranzycje są właśnie skutkiem tej płynności płci tego całego zamieszania wokół tożsamości płciowej a także nawoływania do dokonania wyboru. Już spotykam wypowiedzi co niektórych osób o tym że transseksualizm jest wyborem co jest po prostu niepoważne.

Jako że wiele ludzi nie odróżnia osób transgender od osób transseksualnych a LGBT stara się aby tak było, toteż całe to zamieszanie dotyka ludzi którzy są prawdziwie transseksualni i stawia ich w niekorzystnym świetle w społeczeństwie. Prawdziwie transseksualna osoba nie dokona detranzycji ponieważ wtedy po korekcie płci czuje się wreszcie bardziej sobą i zaczyna lepiej funkcjonować a także ta płeć doświadczana nigdy się nie zmieni, to jest na stałe.

Ale ok, nie chcę robić offtopu, tu jednak toczy się dyskusja na inny temat niż trans.

[Baptiste]

W tych ideolo-konfliktach często działa mechanizm automatycznego odrzucenia wszystkiego tego z czym ta druga strona zaczyna się identyfikować. Gdyby dzisiaj na lewicy ktoś rozpoczął kampanię antygównianą to istnieje niemałe prawdopodobieństwo, że już w niedługim czasie niemała liczba prawicowców, zaczęłaby na przekór wpierdzielać gówno ze smakiem.
Tak to działa i dlatego tak trudno przebić się na prawicy np. z postulatami prośrodowiskowymi - bo to się kojarzy z drugą stroną, a wcześniej mogło być neutralne.
Podobnie niestety może być z transeksualizmem i skojarzenie was z ruchem LGBT jest taką niedźwiedzią przysługą. Od lat 70-tych ta problematyka żyła swoim własnym, cichym życiem. A teraz nagle trafiła w centrum takiego konfliktu i to nie na życzenie samych zainteresowanych.
Życzę wam jakiś dobrych rzeczników, którzy wyprostują te kwestie w świadomości społecznej, ale niestety zdaję też sobie sprawę z tego jak trudne byłoby to w obecnym czasie zadanie.

[Użytkownik 12232]

Może być nietrywialne. Jednak nie powiesz mi, że zespół programistów nie potrafiłby połączyć LLM-a z robotem sprzątającym?

Po pierwsze, w jakim celu, nie mówiąc o skutkach, a po drugie, jeżeli trzeba do tego zespołu programistów, to po co komu AI.

---

Ponoć pojawiło się już zjawisko psychozy AI - ludzie uczłowieczają chatboty, przyjaźnią się z nimi, romansują, uzależniają decyzje finansowe. Trudno mi to sobie wyobrazić, cóż, GPT delikatnie mówiąc testu Turinga nie przechodzi. Ktoś coś słyszał konkretnego o tym?

Gdy weszła wersja 5 chataGPT, to się zrobiła "afera", bowiem ten stał się znacznie mniej "milusiński", po czym to "naprawiono" i chat większość odpowiedzi zaczyna w stylu "świetne spostrzeżenie — i bardzo trafne pytanie".

Powiedziałbym inaczej, ludzie nie tyle uczłowieczają AI, co "uinteligentniają", czy też "dointeligentniają", przy czym jest to coś jak wymiana barterowa, czyli człowiek oddaje AI część swojej inteligencji, nawet jest to "oddanie fizyczne", ale nie podnosi ono poziomu inteligencji AI, tylko wzmacnia u człowieka poczucie, że ma kontakt z czymś naprawdę inteligentnym. Jest to skutek ludzkiej niewiedzy i przeceniania obecnego poziomu rozwoju AI.

Wspomniane "oddanie fizyczne" części inteligencji polega na tym, że człowiek zachowuje się z jednej strony jak rodzic prowadzący infantylną rozmowę z nierozgarniętym dzieckiem, ciągle to dziecko pouczając - AI jak dziecko często robi coś, czego człowiek nie oczekiwał, więc ten ją strofuje i poprawia - a z drugiej strony ten sam człowiek usiłuje traktować tą samą AI jako super inteligentnego mentora z nieograniczonym zasobem wiedzy i inteligencji, przewyższającego go pod każdym względem... Jako że te dwie postawy są sprzeczne, to człowiek zachowuje się jakby pozbawiono go sporej części inteligencji. Skutek praktyczny jest zwykle np. taki, że zadanie powierzone AI zajmuje człowiekowi i AI znacznie więcej czasu niż gdyby to samo zadanie człowiek wykonał samodzielnie nie mając pojęcia o istnieniu AI, i jeszcze ten sam człowiek często twierdzi, że AI mu naprawdę pomogła.

Ludzie niezmiernie lubią "przesuwać" zastosowanie AI polegające na "wspomaganiu" na rzecz zastosowania polegającego na "zastępowaniu" przez AI ludzkiego myślenia, podejmowania decyzji, pracy itp., i to zupełnie niezależnie od tego, że ogólnie dostępnie modele AI w większości przypadków się do tego nie nadają.

[Slup]

Po pierwsze, w jakim celu, nie mówiąc o skutkach, a po drugie, jeżeli trzeba do tego zespołu programistów, to po co komu AI.

Użyłem tego przykładu do zilustrowania czysto teoretycznej tezy, że taki (możliwy do zbudowania już dziś) sztuczny system posiada model rzeczywistości. Nie agituję za integrowaniem LLM-ów z robotami sprzątającymi .

[fciu]

Wiecie, ja bym zwrócił uwagę na jedną rzecz. Ludzki umysł to produkt jakichś 4 mld lat ewolucji (ograniczając się do samego systemu nerwowego to pewnie jakiś miliard). Chatboty to produkt kilku lat projektowania. Tu po prostu muszą być jakieś różnice jakościowe.

Główna różnica, która rzuca się w oczy to w jaki sposób paradoks Moraweca odzwierciedla kierunek rozwoju zwierząt i AI zachodzący w zasadzie dosłownie w odwrotną stronę.

Zwierzęta na początku uczą się reagować na "przedmioty proste" — rozpoznawać co jest zagrożeniem, a co daje bezpieczeństwo. Potem zaczynają tworzyć coraz bardziej skomplikowane modele otaczającej ich rzeczywistości. Potem człowiek tworzy skomplikowany system języka, którego zdolność użytkowania ma ewolucyjnie wgraną. Ostatecznie pojawia się matematyka, która jednak nie jest tak naturalną potrzebą jak język i wymaga specjalnego szkolenia.

Natomiast komputery najpierw opanowały matematykę. Teraz, ostatnio, po długich bojach zaczynają ogarniać język. Stworzenie zaś modelu rzeczywistości, który pozwala im reagować na tę rzeczywistość planowo na poziomie średnio inteligentnego zwierzęcia to pieśń przyszłości.

[Slup]

Jeśli chodzi o proste zwierzę, to ze współczesną technologią nie widzę nieprzezwyciężalnych problemów. Bierzemy robota z Boston Dynamics. Podłączamy jakieś dodatkowe sensory i moduły (mogą być oparte na wyspecjalizowanych sieciach neuronowych lub klasycznych algorytmach napisanych przez programistów). Tworzymy względnie proste i wygodne API. Następnie robimy fine-tuning jakiegoś LLM-a (na syntetycznym zbiorze danych), żeby przyuczyć go trochę obsługi tego API. Wszystko łączymy. LLM-owi dajemy prompt w tym rodzaju:

1. Sterujesz rzeczywistym robotem-kotem wyposażonym w moduły: Ruch, Widzenie, Czujniki, Zachowanie, System. Tutaj plik z komendami [link].
   
2. Wszystkie komendy generuj w pogrubionym Markdown, np.:
   • IDŹ(naprzód, 1m)
     
   • BIEGNIJ(prędkość=5, czas=10)
     
   • SKRĘĆ(lewo, 90)
     
   • OBSERWUJ_OBIEKT(myszka_zabawka)
     
   • MRUCZ(intensywność=0.8)
     
3. Odczytuj status robota w formacie JSON (ale podawany jako zwykły tekst) i decyduj o kolejnych komendach, np.:
   

       {
            "pozycja": [4.7, 0.9],
            "bateria": 87,
            "obiekty_widoczne": [{"typ":"kulka","id":42,"odległość":1.2}],
            "stan": "aktywny", 
            "awaria": null
      }

1. LLM decyduje o ruchu, reakcji emocjonalnej i aktywacji sensorów w czasie rzeczywistym.
   
2. Zawsze dbaj o bezpieczeństwo: unikaj przeszkód, ludzi, limituj prędkość i siłę silników.
   
3. Ładowanie baterii:
   • Jeśli bateria < 20%, wyślij komendę IDŹ(do_stacji_ładowania) i ŁADUJ()
     
   • Monitoruj poziom baterii i przerywaj zadania, gdy konieczne jest ładowanie
     
4. Awaria lub błąd systemu:
   • Jeśli awaria != null, natychmiast wyślij ZATRZYMAJ(), powiadom operatora i wykonaj diagnostykę (RESET() lub KONFIGURUJ(moduł, parametry))
     
5. Tryby:
   • manualny: wykonuj polecenia operatora
     
   • autonomiczny: reaguj samodzielnie na sensory i planuj ruchy
     
6. Reakcje kota mogą obejmować: MRUCZ, MIAUCZ, REAKCJA, OBSERWUJ, ŚPIJ
   

Cel: Generuj komendy w Markdown do natychmiastowego wykonania przez robota, interpretuj sensory, monitoruj baterię i awarie, aktualizuj plan działania w czasie rzeczywistym.

Powyższy prompt jest tylko prototypem (wygenerowanym przez GPT4 i niedopracowanym), a samo stworzenie robota wymagałoby czasu i nakładów, ale wszystko jest możliwe do wykonania. Otrzymujemy robotycznego kota z modelem rzeczywistości, którym steruje LLM-operator. Przy czym LLM-operator może czasem oddawać kontrolę nad kotem bardziej wyspecjalizowanym modułom (to samo dzieje się u ludzi, gdy korzystają z tzw. pamięci proceduralnej np. podczas wykonywania rutynowych czynności). Jeśli Boston Dynamics się postara, to może nawet kot będzie łapał jakieś myszy. 

Rzecz jasna nie ma sensu takiego robota-kota budować. Z drugiej strony inne podobne roboty np. na potrzeby militarne pewnie są już budowane.

[Użytkownik 12232]

Po pierwsze, w jakim celu, nie mówiąc o skutkach, a po drugie, jeżeli trzeba do tego zespołu programistów, to po co komu AI.

Użyłem tego przykładu do zilustrowania czysto teoretycznej tezy, że taki (możliwy do zbudowania już dziś) sztuczny system posiada model rzeczywistości. Nie agituję za integrowaniem LLM-ów z robotami sprzątającymi .

Akurat u mnie w pracy tydzień temu pojawił się w ramach testu robot sprzątający, który mówi "uwaga jadę" i chyba nic poza tym mówić nie potrafi, bo szkoda na to jego zasobów, niemniej obserwowanie jak radzi sobie z nieoczekiwanymi przeszkodami bywa całkiem zabawne 

Natomiast rozumiem cel Twojej tezy, ale z drugiej strony obrazuje ona skalę pewnych nieporozumień i nadinterpretacji. Zostało już tu powiedziane, że to nie są rzeczy trywialne, a do tego należałoby ustalić czym jest model rzeczywistości. Typowy LLM "zna" rzeczywistość opisaną tekstem (u swojej podstawy to "model generujący tekst", natomiast w ocenie człowieka powinno się go określać mianem "modelu kłamiącego").

Dodanie do tego możliwości generowania grafiki i dźwięku, a także interpretacji dźwięku w postaci mowy, wcale nie świadczy o tym, że uzbrojenie LLMa w mikrofon i kamerę z robota sprzątającego sprawi, że rzeczywistość "zobaczona kamerą" i "usłyszana mikrofonem" będzie mu znana, bowiem posiada jakiś model rzeczywistości - otóż wyjdzie na to, że żadnego takiego modelu typowy LLM nie posiada.

Pewnym, choć może nieidealnym przykładem może być to, co taki chatGPT potrafi zrobić z obrazkiem zawierającym tabelę z tekstem, przy czym ta tabela zawiera np. jakieś scalone komórki, jakiś układ tekstu, a ten układ jest ważny dla interpretacji, przy czym człowiekowi wystarczy rzut oka i od razu intuicyjnie wie, o co w tym wszystkim chodzi. Jeżeli chatowiGPT da się zadanie przetłumaczenia tego obrazka np. na chiński i zapisania w jakimś edytowalnym formacie przy zachowaniu oryginalnego formatowania tabeli i układu tekstu, to robi co chce, generuje sieczkę, a kolejne uściślanie zadania czasem tylko pogłębia problem, natomiast jeżeli już wydaje się, że zadanie wykonał prawidłowo, to dokładne sprawdzenie ujawnia, że coś pominął, opuścił, przeinaczył lub nieproszony uprościł.

Można się zatem spodziewać, a nawet być pewnym, że ewentualna interpretacja rzeczywistości przez LLM na podstawie danych "na żywo" z dodatkowych czujników zewnętrznych na kształt ludzkich zmysłów, skończy się katastrofą - no chyba, że człowiek, a raczej cała armia ludzi, włoży całe mnóstwo pracy i zasobów w stworzenie modelu ściśle wyspecjalizowanego, w którym moduł LLM będzie tylko małym dodatkiem do celów komunikacji z człowiekiem, i często najlepiej komunikacji jak najprostszej.

[Slup]

Moim zdaniem jedyną możliwość określenia, w jakim stopniu dany agent posiada model rzeczywistości, daje zwyczajny behawioryzm. Czy taki LLM podłączony robota przez odpowiednie API będzie przejawiał zachowania celowe i na tyle regularne, żeby uznać, że ma model rzeczywistości na poziomie np. zwykłego kota? Nie wiem, ale nie wykluczałbym tej możliwości. Może okaże się, że będzie to kot upośledzony, co i tak będzie sporym osiągnięciem.

[Ayla Mustafa]

Ale przecież już teraz multimodalne modele AI są w stanie natywnie rozumieć i tworzyć tekst, obrazy i dźwięk.
Już istnieją modele AI, które mają wspólną reprezentację w sieci neuronowej dla tekstu, obrazu i dźwięku. Tak działa np. GPT-4o.

Główna różnica, która rzuca się w oczy to w jaki sposób paradoks Moraweca odzwierciedla kierunek rozwoju zwierząt i AI zachodzący w zasadzie dosłownie w odwrotną stronę.

Paradoks Moraveca mnie nie przekonuje.
Przede wszystkim przetwarzanie bitów jest o wiele tańsze energetycznie niż manipulowanie atomami wokół. Nie dziwota więc, że manipulowanie bitami idzie lepiej krzemowcom.
Po drugie, modele AI miały bardzo dużo materiału do nauki na tekście, ale do nauki poruszania się w przestrzeni już nie.
Po trzecie, w przypadku tekstu łatwo było ustawić funkcję nagrody - przewidywanie kolejnego tokenu i zadowalające wykonanie zadań (np. matematycznych) w Reinforcement Learning. W świecie fizycznym trudniej o dobre dobranie i tanie weryfikowanie funkcji nagrody (sygnału zwrotnego). Do tego trenowanie w świecie fizycznym jest droższe (znowu koszt manipulacji atomami).
Po czwarte, w świecie fizycznym wymagamy dużo większej niezawodności niż przy przetwarzaniu danych, co widać np. po autkach autonomicznych.

---

@Chiński Pokój
Zgadzam się z Hintonem, iż Chiński Pokój w kontekście aktualnych modeli AI nie ma zastosowania.
"Chiński Pokój” odnosi się do maszyny, która ślepo przestawia symbole według podręcznika. Sieci neuronowe działają inaczej: same uczą się wzorców z danych, uogólniają i potrafią skutecznie działać. Znaczenie wyłania się z nauki i najlepiej z kontaktu z percepcją oraz światem, a nie z ręcznie wpisanych reguł. Jeśli cały system zachowuje się jak rozumiejący, to funkcjonalnie rozumie.
Papuga recytuje frazy z książki, dziecko uczy się w świecie i używa języka sensownie. Krzemowe sieci neuronowe są bliżej dziecka niż (stochastycznej) papugi.

[Slup]

Nie. Hinton zdecydowanie uważa, że chiński pokój (jako cały system) rozumie chiński. Nie ma też oporów, żeby przyjąć, że LLM i ludzki mózg to są właśnie chińskie pokoje. Hinton to przecież stary, dobry fizykalista.

Hinton wyobraża sobie chiński pokój jako tysiące Chińczyków przesyłających sobie wiadomości według pewnego algorytmu. Cały system jest zbudowany tak, żeby poprawnie odpowiadać po angielsku na wejście, którym był angielski tekst.

He (Searle – autor argumentu) wants you to get confused between the whole system and the individual Chinese people sending messages. So the whole system understands english. Individual chinese people sending messages don't.

Ten chiński pokój to właściwie wersja starszego eksperymentu myślowego zaproponowanego przez Leibniza. Bierzemy ludzki mózg i zamieniamy neurony na makroskopowe koła zębate, przekładnie, bloczki. Powstaje wielki i bardzo skomplikowany układ mechaniczny. Ten układ mechaniczny jest funkcjonalnie równoważny (na mocy konstrukcji) ludzkiemu mózgowi. Zatem powinien być "świadomy", mieć "intencje" itd. Tymczasem widać tylko poruszające się koła i dźwignie. Jest kilka możliwości:
1. Ludzkiego umysłu z jakiegoś powodu nie da się odwzorować mechanicznie. Np. zachodzą w nim jakieś nieobliczalne procesy (jak chce tego Penrose). Wtedy nie da się skonstruować układu mechanicznego, który byłby funkcjonalnie równoważny umysłowi, a to było założenie eksperymentu Leibniza.
2. Ludzki umysł da się odwzorować mechanicznie i trzeba odpuścić sobie mędrkowanie o sensownym użyciu języka, rozumieniu i intencjonalności w opozycji do ich rzekomego braku w chińskim pokoju.

[Ayla Mustafa]

Nie nie.
Tak.
Chodziło mi o to, że krytyka bazująca na Chińskim Pokoju nie ma zastosowania do aktualnych modeli AI.

[Slup]

Napisałaś:

"Chiński Pokój” odnosi się do maszyny, która ślepo przestawia symbole według podręcznika. Sieci neuronowe działają inaczej

Wyjaśnij mi, czym się różni "ślepe przestawianie symboli według podręcznika" od tego, co robi Twój mózg lub sieci neuronowe? Co za magia jest w Twojej głowie, że ona ślepo nie przestawia symboli?

[fciu]

Przede wszystkim przetwarzanie bitów jest o wiele tańsze energetycznie niż manipulowanie atomami wokół.

To sobie zobacz ile prądu żre Twój Claude, a potem porównaj z zefciem, który po porządnym śniadanku potrafi bardzo skutecznie poruszać się w przestrzeni.

Po drugie, modele AI miały bardzo dużo materiału do nauki na tekście, ale do nauki poruszania się w przestrzeni już nie.

To jest podejście od dupy strony. Oczywiste jest, że LLM-y uczyły się na tekście, bo do tego zostały zaprojektowane. Ale przecież badania nad AI w robotyce toczyła się wtedy równolegle. Przełomu dokonano jednak najpierw w LLM-ach, które gadają "prawie jak ludzie", a roboty jeszcze nie umieją "prawie jak ludzie" poruszać się w przestrzeni i manipulować przedmiotami.

Po trzecie, w przypadku tekstu łatwo było ustawić funkcję nagrody - przewidywanie kolejnego tokenu i zadowalające wykonanie zadań

Taaa, bo wcale zadania typu "zrób herbatę i wynieś śmieci" nie mają sensownej funkcji nagrody.

Do tego trenowanie w świecie fizycznym jest droższe (znowu koszt manipulacji atomami).

Zawsze można ten świat emulować.

[E.T.]

To jest podejście od dupy strony. Oczywiste jest, że LLM-y uczyły się na tekście, bo do tego zostały zaprojektowane. Ale przecież badania nad AI w robotyce toczyła się wtedy równolegle. Przełomu dokonano jednak najpierw w LLM-ach, które gadają "prawie jak ludzie", a roboty jeszcze nie umieją "prawie jak ludzie" poruszać się w przestrzeni i manipulować przedmiotami.

To jest zresztą fajny przyczynek do rozważań dlaczego jednak z językiem jest łatwiej. IMO język jednak upraszcza rzeczywistość i ma bardzo silnie unormowaną strukturę, która czyni predykcje łatwiejszymi. Dzieciaki zresztą ucza się wielu rzeczy najpierw czysto werbalnie, snując proste narracje o rzeczach, o których realnego pojęcia nie mają, bo rzadnych rzeczywistych doświadczeń. Matematyka zresztą, która tu była wspominana wcześniej, to może być przypadek jeszcze silniej ustrukturyzowanego i ujednoznacznionego systemu symboli, gdzie nie trzeba halucynować, żeby czasem odgadnąć relewantny kontekst.

[Ayla Mustafa]

Matematyka zresztą, która tu była wspominana wcześniej, to może być przypadek jeszcze silniej ustrukturyzowanego i ujednoznacznionego systemu symboli, gdzie nie trzeba halucynować, żeby czasem odgadnąć relewantny kontekst.

Modelom AI świetnie idzie matematyka i programowanie, bo modele mogą w swych umysłach, bez potrzeby zewnętrznych źródeł wiedzy, sprawdzać swe matematyczne i programistyczne działania. To mocno przyśpiesza i ułatwia trening.

[fciu]

Modelom AI świetnie idzie matematyka i programowanie

Chodzi Ci o modele LLM? Przecież one nawet nie potrafią osiągnąć poziomu kieszonkowego kalkulatora. Zadałeś kiedyś matematyczne pytanie LLM-owi?

To jednak nie dziwi. LLM-y są modelami językowymi. Z punktu widzenia czysto językowego, błędna odpowiedź na pytanie matematyczne jest tak samo pasująca, jak poprawna.

Jak ktoś chce obejrzeć sobie zabawny filmik, to tutaj GothamChess próbuje grać w szachy z LLM-em.



I efekt jest taki jak można się spodziewać, jeśli weźmiemy pod uwagę, że LLM-y to modele językowe, nie posiadające żadnego modelu gry w szachy — na początku wygląda to sensownie, a potem bierki zaczynają zmartwychwstawać, pojawiać się znikąd i przenikać przez inne bierki.