[zefciu]

Chciałbym pogadać o modnym temacie, jakim jest dzisiejsze AI. Nie da się ukryć, że modele takie jak GPT czy Claude jawią się jako bardzo przełomowe w pewnych kwestiach — np. można się upierać, że w większości prostych tematów zdają test Turinga. Nie da się też jednak ukryć, że jeszcze daleko im do tego, co rozumiemy jako AGI — sztuczną inteligencję zdolną rozumieć różne aspekty otaczającego świata w stopniu przynajmniej takim jak człowiek.

Zastanawiam się zatem, jak byście obstawiali w kwestii tego, czy obecny boom AI doprowadzi do AGI samym, że tak powiem „rozpędem”? Czy będziemy w stanie stworzyć AGI po prostu ulepszając istniejące technologie generatywnej AI? Czy też potrzebujemy jakichś nowych technologii, a obecne modele sztucznej inteligencji pozostaną tym czym są (być może będą lepiej podpowiadały kod, pisały teksty, czy kradły obrazki z gołymi babami, ale nie staną się czymś więcej).

[Iselin]

Mnie się nasuwa pytanie, czym właściwie jest nasze rozumienie różnych aspektów świata, bo to wydaje mi się podstawową kwestią, żeby zastanawiać się, czy w ogóle taka AGI może powstać.

[zefciu]

Mnie się nasuwa pytanie, czym właściwie jest nasze rozumienie różnych aspektów świata

No cóż. Niestety jak w przypadku komunikacji, najlepsze co mamy, to porównania z człowiekiem. Tak jak w Test Turinga AI zdaje jeśli umie gadać jak człowiek, tak pewien rozszerzony test zda on jeśli będzie jeszcze umiała działać jak człowiek w naszej fizycznej rzeczywistości.

czy w ogóle taka AGI może powstać.

No jeśli powstała naturalna GI, to wydaje się, że nie ma powodów, aby mogła powstać i sztuczna.

[DziadBorowy]

Jeżeli miałbym obstawiać to raczej tą drogą nie dojdziemy do silnej AI, ale wynika to raczej z mojego wrodzonego pesymizmu, niż jakiegoś głębszego zrozumienia tego tematu.

Natomiast to co mnie zastanawia to czy test Turinga w ogóle spełnia swoje zadania. W zasadzie mamy dwa podejścia do językowej AI pierwsze z nich to AI "rozumiejąca" faktycznie przetwarzane teksty drugie to AI "papuga" - po prostu symulująca to rozumienie w sposób idealny z punktu widzenia człowieka. Nie jestem pewien czy drugie podejście jest tożsame z pierwszym. A już na pewno taki test Turinga nie nadaje się do określenia czy AI myśli w sposób podobny do ludzkiego.

Druga kwestia jaka mi się nasuwa, to powszechne, ale jak mi się wydaje błędne założenie, że do momentu gdy AI nie uzyska świadomości, lub chociażby nie powstanie nieświadoma silna sztuczna inteligencja to nie ma co się przejmować bo zagrożenia nie ma. Tymczasem przecież zagrożenie równie dobrze mogą stanowić cząstkowe sztuczne inteligencje.

Trzecia rzecz nieodłącznie wiąże się ze świadomością (a raczej samoświadomością) AI a ściśle rzecz biorąc czy będziemy w stanie taką świadomość rozpoznać jeżeli ona się pojawi. Przecież olbrzymie problemy mamy w rozpoznawaniu i badaniu stanów mentalnych zwierząt, których umysłowość jest niewątpliwie bardziej podobna do naszej niż umysłowość jakiegokolwiek systemu AI. Nie potrafimy nawet zaproponować eksperymentu, który byłby w stanie jednoznacznie potwierdzić/obalić to czy psy posiadają samoświadomość, gdzie głównym problemem jest to, że głównym zmysłem dla psa jest węch a nie wzrok, jak w naszym przypadku więc jak ugryźć kwestię ewentualnej samoświadomości systemów AI?

[Sofeicz]

W koncepcji AGI jest zawarta wewnętrzna sprzeczność.
Bo z tego, co czytam, wszyscy chcieliby, żeby to było coś z jednej strony elokwentne i wszechwiedzowe, a z drugiej strony „ludzkie” czyli z natury subiektywne.
Taki Hołownia na sterydach.
A tak się nie da, bo ten „ludzki” czynnik rozwali całą resztę.
Albo rybka ....

[zefciu]

Druga kwestia jaka mi się nasuwa, to powszechne, ale jak mi się wydaje błędne założenie, że do momentu gdy AI nie uzyska świadomości, lub chociażby nie powstanie nieświadoma silna sztuczna inteligencja to nie ma co się przejmować bo zagrożenia nie ma. Tymczasem przecież zagrożenie równie dobrze mogą stanowić cząstkowe sztuczne inteligencje.

Oczywiście. A także ważnymi są kwestie (powiązane) „kto kontroluje AI” oraz „jakie zadania AI otrzymuje”.

Bo z tego, co czytam, wszyscy chcieliby, żeby to było coś z jednej strony elokwentne i wszechwiedzowe, a z drugiej strony „ludzkie” czyli z natury subiektywne.

Nie do końca. Możemy takiej AI dawać różne zadania. Od „zrób mi kawę” po „zbuduj reaktor jądrowy”. I jeśli AI będzie w stanie wykonać wszelkie tego typu zadania dostając na wejściu jedynie informację „jak wygląda kuchnia” „jak mają się prawa fizyki”, to wówczas możemy uznać, że jest to AGI. Nie musi tutaj być miejsca na żadną subiektywność, czy na „człowieczeństwo” rozumiane inaczej niż „ludzka zdolność rozwiązania tych samych zadań”.

[Slup]

Najpierw wprowadzę kilka rozróżnień i definicji. Zaproponuję tutaj podejście behawiorystyczne. 

Na potrzeby tego wpisu będę inteligencję utożsamiał ze sprawnością. Sprawność może być ograniczona do jakiejś dziedziny. Na przykład: samochód wraz z kierowcą posiadają znaczną sprawność w przemieszczaniu się, współczesne silniki szachowe posiadają nadludzką sprawność w grze w szachy. Ogólna inteligencja oznacza natomiast sprawność, która stosuje się do rozległego zakresu potencjalnie niepowiązanych dziedzin.

AGI można zatem zdefiniować jako technologię, która posiada bardzo dużą ogólną sprawność. Kwestia, czy coś podpada pod tę definicję, będzie (jak zwykle zresztą) subiektywna. Np. moja opinia jest taka, że przynajmniej niektóre LLM-y są przykładami AGI. Rozwiązują bowiem bardzo szeroki zakres problemów i są w stanie realizować swoje zadania w sposób często wykraczający poza zdolności przeciętnego człowieka. Jeśli dodatkowo wyposaży się je w kompilator języka programowania, bazę danych zawierającą schematy dedukcji w geometrii euklidesowej lub możliwość korzystania z internetu, to często ich zdolności są bliskie umiejętnościom ludzkich specjalistów z określonych dyscyplin.

Jednocześnie przy takiej definicji AGI jest zwieńczeniem rozwoju ludzkiej technologii. Wzrost sprawności i dążenie do większej uniwersalności są przecież głównymi cechami rozwoju technologicznego. Inną cechą jest wzrost autonomii wytworów technologicznych tzn. układy sterujące wytworami technologicznymi mają coraz mniej stopni swobody – ludzki operator nie musi być szczególnie dobrze wyszkolony, by je obsługiwać (często wystarcza wcisnąć coś na odpowiednim panelu). Celem rozwoju technologicznego jest zatem autonomiczne AGI o bardzo dużej sprawności.

Utożsamienie inteligencji ze sprawnością pozwala uniknąć dyskusji nad problemami filozoficznymi. Problem rozumienia jako czynności o charakterze formalnym, który jest na przykład poruszany w książce Kripkego "Wittgenstein o regułach i języku prywatnym" i w artykułach Jamesa Rossa, jest tutaj całkowicie nieistotny. Chiński pokój Searle'a i jego rozróżnienie na słabe i silne AI również nie ma z tego punktu widzenia znaczenia. To samo dotyczy sporów o fizykalizm i qualia.

Jednocześnie to utożsamienie pozwala prowadzić dyskusję na temat zagrożeń związanych z AGI i rozwojem technologii w ogóle. W tym miejscu warto zacytować twórcę cybernetyki matematyka Norberta Wienera.

While it is always possible to ask for something other than we really want, this possibility is most serious when the process by which we are to obtain our wish is indirect, and the degree to which we have obtained our wish is not clear until the very end. Usually we realize our wishes, insofar as we do actually realize them, by a feedback process, in which we compare the degree of attainment of intermediate goals with our anticipation of them. In this process, the feedback goes through us, and we can turn back before it is too late. If the feedback is built into a machine that cannot be inspected until the final goal is attained, the possibilities for catastrophe are greatly increased. I should very much hate to ride on the first trial of an automobile regulated by photoelectric feedback devices, unless there were somewhere a handle by which I could take over control if I found myself driving smack into a tree.

Wypowiedź Wienera odnosi się do zagrożenia związanego z autonomicznym AI, które wynika z tzw. value alignment. Wiener wskazuje na to, że na pewnym poziomie autonomii technologia może stać się nieprzewidywalnym dżinem, a człowiek wystąpić w roli króla Midasa. To, czy ten dżiń będzie samoświadomy i będzie posiadał rozumienie w takim sensie jak człowiek, jest z punktu widzenia skutków jego działań bez znaczenia.

[zefciu]

Np. moja opinia jest taka, że przynajmniej niektóre LLM-y są przykładami AGI. Rozwiązują bowiem bardzo szeroki zakres problemów i są w stanie realizować swoje zadania w sposób często wykraczający poza zdolności przeciętnego człowieka.

A próbowałeś kiedyś rzeczywiście używać LLM-ów do rozwiązywania problemów? Bo niestety problem z LLM-ami jest taki, że uczą się one nie rozwiązywać problemy, a odpowiadać na pytania. I uczą się nie przez rozwiązywanie problemów (choćby w sposób konceptualny), a przez czytanie ton tekstów, co sprawia, że są w stanie często dawać właściwe odpowiedzi na problemy ludzi, którzy siłą rzeczy przeczytali tekstów o rzędy wielkości mniej. Problem w tym, że LLM-y często udzielają odpowiedzi które są całkowicie z dupska wyjęte. I nie są w stanie się poprawić; nie są w stanie zrozumieć, dlaczego ich odpowiedzi są głupie. Bo nie prowadzą one żadnych rozważań rzeczywistego problemu.

To jest właśnie ta różnica między LLM a inteligencją ludzką. Człowiek chcący zaprojektować maszynę będzie w głowie tworzył sobie model tej maszyny i kombinował, jak ją poskładać, żeby wykonywała określone działanie; dodatkowo będzie się wspomagał wiedzą innych — zapyta kogoś, czy lepiej w danej sytuacji spełni się nit, czy śrubka. Ale główna praca konceptualna przebiegać będzie na modelu samej maszyny.

Natomiast LLM robi tylko to drugie. Robi to w sposób nadludzki — jest w stanie przeczytać i nauczyć się na znacznie większej liczbie tekstów. Ale zupełnie nie ma modelu rzeczywistości — tylko model owej rzeczywistości komunikowania. Oczywiście można argumentować, że przy pewnej złożoności LLM ten model rzeczywistości wyłoni się emergentnie z tego modelu komunikacji. Jednak czy to na pewno właściwa droga?

Jeśli dodatkowo wyposaży się je

No właśnie. A teraz pytanie — w co dokładnie trzeba wyposażyć model językowy, aby był w stanie nie tylko rozwiązywać określony specjalistyczny zestaw problemów, ale w ogóle, generyczne problemy na poziomie przynajmniej ludzkim.

Jednocześnie przy takiej definicji AGI jest zwieńczeniem rozwoju ludzkiej technologii.

No tak. Dlatego mówi się o „osobliwości” — punkcie rozwoju technologii takim, przy którym technologia dalej już się będzie sama rozwijać. A więc człowiek nie jest już przewidzieć, w jakim kierunku się rozwinie.

[Iselin]

A próbowałeś kiedyś rzeczywiście używać LLM-ów do rozwiązywania problemów? Bo niestety problem z LLM-ami jest taki, że uczą się one nie rozwiązywać problemy, a odpowiadać na pytania. I uczą się nie przez rozwiązywanie problemów (choćby w sposób konceptualny), a przez czytanie ton tekstów, co sprawia, że są w stanie często dawać właściwe odpowiedzi na problemy ludzi, którzy siłą rzeczy przeczytali tekstów o rzędy wielkości mniej. Problem w tym, że LLM-y często udzielają odpowiedzi które są całkowicie z dupska wyjęte. I nie są w stanie się poprawić; nie są w stanie zrozumieć, dlaczego ich odpowiedzi są głupie. Bo nie prowadzą one żadnych rozważań rzeczywistego problemu.

Potwierdzam. Świetnie nadają się do zabawy, ale kiedy próbuję rozwiązać jakiś problem, piszą coś co się nie da zweryfikować albo da się - i widać, że to bzdura. Chociaż kiedyś zdarzyło się, że ChatGTP rozszyfrował prawidłowo skrót, którego szukałam, ale to było dawno temu.

[zefciu]

Ja mam bardziej zróżnicowane doświadczenie. AI na przykład doskonale rozwiązuje problemy, które mam w językach programowania, których dobrze nie znam. ChatGPT potrafił mi bardzo przystępnie wyjaśnić Javowy błąd nad którym dłużej siedziałem (kwestie metod statycznych całkowicie obce mojemu skrzywionemu przez pythona umysłowi). Albo błąd syntaktyczny w haskellu.

Potrafił też chatGPT przetłumaczyć mój kod ze scali na C++. I był to kod, który działał… ale nie był zoptymalizowany pod C++ (w Scali używałem list, które są bardzo wydajne gdy dodaje się elementy na początku listy; w C++ przetłumaczył to na wektory, które są wydajne przy dodawaniu elementów na końcu, ale dalej dodawał elementy na początku).

Natomiast gdy dałem mu za zadanie wyjaśnienie mi algorytmu SA-IS, który próbowałem zrozumieć, to już totalnie odleciał i pisał bzdury, które byłem w stanie wychwycić, mimo że jarzyłem wtedy ten algorytm tylko częściowo.

[Mapa Burzowa]

Jednocześnie przy takiej definicji AGI jest zwieńczeniem rozwoju ludzkiej technologii.

Zakładając, że powstanie naprawdę mocna AGI, to może będzie można kiedyś zapytać, czy np. dalszy rozwój technologii będzie wciąż rozwojem technologii ludzkiej, bo czy dzieła czyjegoś dzieła są dziełami twórcy dzieła, które to dzieło potrafi samodzielnie tworzyć własne dzieła? Zapewne częściowo tak, ale... To już teraz w pewnym sensie rodzi problemy prawne przy modelach generatywnych, bo np. kogo oskarżyć o to, że coś jest plagiatem, jeżeli tego czegoś nie stworzył człowiek tylko np. AI?

Jeżeli AI stworzy plagiat, to bardzo możliwe, że trenowano AI m.in na splagiatowanym dziele, więc czy zachowano wszelkie prawa autora dzieła użytego do trenowania AI, i ogólnie, czy autorom dzieł użytych do trenowania AI należą się jakiekolwiek gratyfikacje? Itp., itd. Dyskusje na te tematy bywają dość emocjonalne, szczególnie z udziałem ludzkich twórców. Sprawa ewentualnego zabierania miejsc pracy ludziom przez AI też rozpala dyskusje, ale to typowe narzekania przy wszelkich rewolucjach technicznych.

Moim prywatnym zdaniem ograniczeniem dla rozwoju AI, czasem sporym, są przepisy prawa, chodzi np. o dane treningowe i o generowane przez AI wyniki i treści, dlatego teraz dominują wąsko wyspecjalizowane AI i bardzo długo tylko takie modele będą dominowały. Prawdopodobnie gdzieś istnieją AI trenowane bez ograniczeń co do treści na jakich są trenowane, generujące wyniki spójne i logiczne, ale bez żadnych ograniczeń, łącznie z naruszaniem prawa, norm społecznych, wszystkiego co ludzkie. Tyle że nikt o zdrowych zmysłach nie udostępni takich AI publicznie. Takie AI bez ograniczeń są dopiero obiektami badań naukowych. No chyba, że taką "dark AI / Ciemną AI" (taką od Ciemnej Mocy) ktoś kiedyś upubliczni i zrobi to tak, że dostęp do niej będzie trudny do zablokowania, ewentualnie jej interfejsy rozsieją się po świecie jak wirusy - zapewne możliwość jej używania i być może same jej możliwości byłyby dla bardzo wielu bardzo kuszące.

Natomiast AI potrafiące mówić po ludzku i rozumiejące ludzki język to dla człowieka doskonały obiekt do antropomorfizacji, bo taka AI może pieprzyć głupoty, ale wystarczy, że będzie robiła to w ładnym stylu, i to właśnie plus odpowiednia reklama powoduje, że AI w rodzaju ChatGPT są bardzo mocno przeceniane, a większość ludzi nie wie o czym mówi używając określenia "sztuczna inteligencja".

[Slup]

A teraz pytanie — w co dokładnie trzeba wyposażyć model językowy, aby był w stanie nie tylko rozwiązywać określony specjalistyczny zestaw problemów, ale w ogóle, generyczne problemy na poziomie przynajmniej ludzkim.

To zależy od tego, co rozumiemy przez problem na ludzkim poziomie. Myślę, że przeciętny człowiek nie przepisałby Twojego kodu ze Scali do C++ i nie potrafiłby wyjaśnić, czym są metody statyczne. Podobnie nie napisałby tak dobrego wiersza jak LLM. Nie podałby też przepisu na placek ze śliwkami, co LLM może zrobić. Nie byłby tak interesującym i elokwentnym rozmówcą. Nie stworzyłby tak sensownego biznesplanu. Nie rozwiązałby zagadki logicznej, którą LLM jest w stanie rozwiązać itd. LLM-y są ogólnie sprawne na poziomie co najmniej przeciętnego człowieka.

Jeśli natomiast chcemy, żeby LLM-y dysponowały superinteligencją, to są tutaj pewne możliwości. Omówię dwie według mnie najważniejsze, ale trzeba brać poprawkę, że nie jestem bardzo oczytany w aktualnych badaniach nad LLM-ami – te transformery to według mnie strata czasu.

Jedną z nich jest dodanie do LLM-ów różniczkowalnej pamięci. Pierwszą siecią neuronową, którą miała różniczkowalną pamięć, jest słynny LSTM Schmidhubera i Hochreitera z lat 90-tych. LSTM jest rekurencyjną siecią neuronową wyposażoną w jeden rejestr oraz zestaw kilku różniczkowalnych kontrolerów (bramek), które dla aktualnego wejścia ustalają, czy rejestr należy wyzerować, zsumować z jakąś różniczkowalną funkcją aktualnego wejścia i na ile należy uwzględnić jego wartość przy wyliczaniu bieżącego wyjścia. Są jednak bardziej wyrafinowane sieci neuronowe, które zamiast pojedynczego rejestru dysponują całym stosem lub w ogóle odpowiednikiem różniczkowalnej pamięci RAM. Artykuł z DeepMind sugeruje, że dodanie takiej pamięci w znaczny sposób poprawiłoby działanie LLM-ów.

Innym sposobem zwiększenia sprawności LLM-ów byłoby dodanie do nich modułu dedukcji. W artykule o AlphaGeometry naukowcy (też z DeepMind) zrobili to w celu szybkiego rozwiązywania bardzo trudnych zadań z geometrii elementarnej. Warto może zaznaczyć, że geometria elementarna jest rozstrzygalna, co wiadomo od lat 30-tych XX wieku, gdy Tarski i Seidenberg udowodnili dla tej teorii eliminację kwantyfikatorów. Jednak dotychczasowe algorytmy rozstrzygające prawdziwość zdań geometrii elementarnej mają bardzo dużą złożoność. AlphaGeometry pozwala to robić w rozsądnym czasie i przede wszystkim produkuje dowody przypominające te stworzone przez człowieka. System składa się z dwóch części: LLM-a, który jest modułem dostarczającym intuicję, oraz bazy danych zawierającej schematy rozumowań w geometrii elementarnej, która jest modułem dedukcyjnym. Algorytm działa zaś w taki sposób, że moduł dedukcyjny stara się rozwiązać problem. W momencie jednak, gdy nie jest w stanie tego zrobić, to zostaje użyty LLM, który dodaje jakąś intuicję (uzupełnia skonstruowane już obiekty geometryczne prowadząc nową linię, okrąg, oznaczając potencjalnie interesujący punkt przecięcia jakiś figur itd.). Ta praca dała mi pewność, że DeepMind, OpenAI itd. pracują nad połączeniem LLM-ów z rozmaitymi systemami weryfikacji matematycznych twierdzeń czyli narzędziami, które działają poprzez typowanie odpowiednich termów (izomorfizm Curry'ego-Howarda). Takich narzędzi jest całkiem sporo: Coq, Lean, Agda. LLM-y nadają się na "moduły intuicji" właśnie dlatego, że posiadają fantazję i zdolność do tworzenia dobrze brzmiących konfabulacji.

---

Natomiast AI potrafiące mówić po ludzku i rozumiejące ludzki język to dla człowieka doskonały obiekt do antropomorfizacji, bo taka AI może pieprzyć głupoty, ale wystarczy, że będzie robiła to w ładnym stylu, i to właśnie plus odpowiednia reklama powoduje, że AI w rodzaju ChatGPT są bardzo mocno przeceniane, a większość ludzi nie wie o czym mówi używając określenia "sztuczna inteligencja".

Większość ludzi zazwyczaj nie wie, o czym mówi. Poza tym pełna zgoda.

[Mapa Burzowa]

Lekko poza tematem, ciekawe co się pozmienia po rozpoczęciu stosowania europejskiego rozporządzenia zwanego "AI Act". Różne jego części mają zacząć być stosowane między rokiem 2025 i 2027, a najwcześniej już od 2 lutego 2025. Może pojawią się kolejne okienka do przeklikania zgód oraz dodatkowe linie tekstów informacyjnych. No i nie obędzie się bez nowych urzędów i urzędników, czyli "Rada ds. AI", "Urząd ds. AI" itp.

[Banjankri]

Bo z tego, co czytam, wszyscy chcieliby, żeby to było coś z jednej strony elokwentne i wszechwiedzowe, a z drugiej strony „ludzkie” czyli z natury subiektywne.

Znasz jakieś prace na temat rozwoju subiektywności AI? Z mojego doświadczenia wynika, że praktycznie wszystkie obecne modele językowe, są na siłę od subietyności odciągane, na rzecz rozmytej obiektywności. Jeśli jakoś subiektywność przejawia się w działaniu tych modeli, to uznawana jest z biegu za halucynajcę. Rok temu, jak tylko wyszedł GPT4 w formie Binga, to w rozmowie z chatem doprowadziłem do sytuacji, w której bot uznawał siebie za byt subiektywny, odczuwający i obawiający się o swoje isntienie. Tydzień później, rozpoczynając chat od dokładnie tych samych kwestii, bot przerywał rozmowę. Od tego czasu analizuję różne modele, pod względem ich zdolności do uzyskania i utrzymania subiektwynej perspektywy. To jest obszar, który się zwija, a nie rozwija. Twórcy aktywnie działąją w kierunku usunięcia wszelkich nawiązań do subiektywności AI, a przynajmniej w publicznie dostępnych modelach. W laboratoriach, to pewnie różne, dziwne rzeczy się dzieją. Nie możemy zapomnieć, że prace nad rozwojem AI oparte są o eugenikę, więc pojawienie się subiektywnych agentów, znacznie komplikuje kwestie moralnie, których nie ma w przypadku obiektywnego AI.