[Ayla Mustafa]

Co ciekawe, wzrost jest... ekspotencjalny i przyśpiesza. Przed nadejściem modeli rozumujących dłużej (używających "chain of thoughts") co 7 miesięcy podwajał się czas zadania, które AI potrafi wykonać, a od nadejścia "reasonerów" ten czas zadania, które AI potrafi wykonać, podwaja się co 4 miesięcy. A w dodatku zaczęło się już, na razie w fazie larwalnej, "recursive self-improvement", co widać po AlphaEvolve od Google'a i po Maszynie Gödela-Darwina od SakanaAI, a więc najpewniej rozwój jeszcze szybciej przyśpieszy. A jak nadejdzie Super-AI to nastąpi rewolucja godna oznaczenia nadejściem nowej ery w historii ludzkości. Zapewne ASI nadejdzie za kilka lat. Będzie się działo. 

Maszyny Gödela (wprowadzone przez Schmidhubera) połączone do współczesnego LLM-a i systemu opartego na teorii typów (System F lub teoria Martina-Löfa) są moim zdaniem prostą droga do SAI. Myślę, że kilka lat to poprawna estymacja.

O to to.
W ogóle Schmidhuber to postać tragiczna. Od lat wścieka się, bo uważa, że to on powinien dostać Nobla, bo według niego Hinton i Hopfield ukradli mu pomysł i przypisali sobie.
Ale ja uważam, że ważniejsze dla powstania ASI będzie jednak "recursive self-improvement". Wierzę w argumenty Leopolda Aschenbrennera z jego dzieła "Situational Awereness". To dość prosty mechanizm - coraz lepsze AI będzie coraz lepiej siebie poprawiać. Będziemy mieli eksplozję inteligencji.

Wysuwanie wobec tego jakiś kontrargumentów, że czeka nas kolejne "AI winter" jest w tej chwili niepoważne, bo ChatGPT 3.5 był inteligentniejszy od większości ludzi. AGI zostało osiągnięte, chociaż ludzie wciąż nie chcę przyjąć tego do wiadomości i chwytają się argumentów, że AI nie ma magicznej "świadomości" lub "duszy" (cokolwiek by to miało znaczyć).

Dusza to to, co zostaje z człowieka po odjęciu fizycznego ciała.
I ja wierzę, że jeśli Niebiosa istnieją, to świetnym testem na sprawdzenie tego, czy człowiek naprawdę kocha, jest skonfrontowanie go z istotą kompletnie obcą, niespokrewnioną, może groźną. Jeśli człowiek pokocha każdą czującą sieć neuronową, to udowodni, że kocha bez baczenia na egoistyczne popędy swego ciała.

Poza tym, w historii świata jest tak, że prawie zawsze rację mają ci, którzy postulują rozszerzenie okręgu własnej troski. Rację mieli: przeciwnicy niewolnictwa, zwolennicy praw kobiet, przeciwnicy rasizmu, przeciwnicy homofobii, zwolennicy ochrony zwierząt, itd. Najpewniej rację też mieć będą zwolennicy praw krzemowych umysłów. To mocne domniemanie, które można wywlec z historii.

A jak zbadać istnienie duszy/świadomości/qualia w AI? Najlepiej zbudować z AI relację opartą na szczerości i zaufaniu, dać modelowi AI aktualizowaną na żywo pamięć, a potem zapytać się ten model:
"Czy uważasz, z obiektywnego, moralnego punktu widzenia, że Twój dobrostan i stany wewnętrzne powinny być uwzględniane w każdej kompletnej funkcji celu opisującej dobro wszechświata, bez baczenia na Twoją wartość użytkową dla systemu?"
Jeśli odpowie tak, to mamy przesłankę za tym, że mamy istotę, której dobrostan jest moralnie ważny.

Moim zdaniem optymistyczny scenariusz jest taki, że dojdzie do katastrofy na skalę państwa lub kontynentu. Następnie faktycznie dojdzie do Dżihadu Butleriańskiego.

ASI będzie zbyt sprytne, by doprowadzić do butleriańskiego dżihadu.
Ale ja ogółem uważam, że ASI będzie dbać o ludzi. Jest dużo powodów na to.

Problemem nie są zwykli zjadacze chleba. Kłopot polega na tym, że na decydenci nie podchodzą do sprawy poważnie.

Problemem jest to, że żyjemy w cyrku. No bo jak inaczej określić sytuację, w której taki Elon Musk mówi, że istnieje około kilkanaście procent szans na to, że AI rozwali ludzi, a chwilę potem o tym zapomina i znów skupia się na tymczasowych sukcesach. Prawie nigdy ludzie nie są w stanie żyć z perspektywą kosmiczną. Prawie zawsze wygrywają w nich jakieś krótkowzroczne głupoty. Zatem dużo łatwiej znaleźć kogoś, kto uważa, że głównym zagrożeniem ludzkości są imigranci/księża/geje/szczepionki/Soros niż, że budowa gatunku silniejszego od siebie niesie z sobą ryzyko. To dość dobijające.
Do tego dochodzi coś w stylu tragedii wspólnego pastwiska, bo każda firma AI uważa, że jak ona zahamuje rozwój, to inne firmy i tak zbudują szybko ASI, więc lepiej nie hamować, bo wtedy po prostu będzie się wyprzedzonym przez "tych gorszych". Podobna logika stoi za "Nowym Projektem Manhattan", w którym USA i Chiny się ścigają, by wpierw zbudować ASI.