[Slup]

W ogóle Schmidhuber to postać tragiczna. Od lat wścieka się, bo uważa, że to on powinien dostać Nobla, bo według niego Hinton i Hopfield ukradli mu pomysł i przypisali sobie.

On nie twierdził, że Hinton i Hopfield ukradli mu pomysł na sieci neuronowe. Pomysł, że model Isinga jest pamięcią asocjatywną jest oryginalną obserwacją Hopfielda. Tak samo jak maszyny Boltzmana, które wprowadził Hinton (to zresztą nie jedyne jego dokonanie).

Głośna kontrowersja ze Schmidhuberem polegała na tym, że miał pretensję do Goodfellowa w związku z GAN-ami. Chodziło mu to, że Goodfellow nie podał w swoim artykule wprowadzającym GAN-y odnośnika do artykułu Schmidhubera, który wprowadził podobną ideę w latach 90-tych. Poza tym Schmidhuber generalnie uważa (i chyba słusznie), że wiele rzeczy, które wymyślono w uczeniu maszynowym, jest przypisywane bardziej współczesnym badaczom (aktywnym od lat 80-tych), a nie ich oryginalnym twórcom z wcześniejszych dekad. Przy czym nie ma na myśli siebie, ale innych mocno już zapomnianych uczonych.

W informatyce najważniejszą wyróżnieniem jest Nagroda Turinga i Schmidhuber powinien ją dostać razem z Hintonem, Bengio i Le Cunem.

Ale ja uważam, że ważniejsze dla powstania ASI będzie jednak "recursive self-improvement".

Maszyny Gödela dokładnie to robią. W dodatku przeprowadzają swoją modyfikację, gdy najpierw formalnie udowodnią, że jest to modyfikacja korzystna. 

Bardzo ciekawym samodzielnie modyfikującym się modelem jest AIXI Marcusa Huttera oparta na indukcji Solomonoffa, który inspirował się pracami Rudolfa Carnapa na temat logicznej teorii prawdopodobieństwa. Jednak AIXI jest modelem niepraktycznym, bo jego początkowy stan zależy od złożoności Kołmogorowa, a ta jest nieobliczalna przez żadną maszynę Turinga. AIXI wyznacza raczej (nieosiągalną) kres górny modeli, które dokonują obliczalnych ulepszeń.

Dusza to to, co zostaje z człowieka po odjęciu fizycznego ciała.

Czyli nic.

A jak zbadać istnienie duszy/świadomości/qualia w AI? Najlepiej zbudować z AI relację opartą na szczerości i zaufaniu, dać modelowi AI aktualizowaną na żywo pamięć, a potem zapytać się ten model:

Qualia to są z definicji jakości niekomunikowalne. Zombie Chalmersa też twierdzi, że ma qualia, chociaż ich nie ma. Przychylam się do poglądów, że cała ta dyskusja o qualiach i "trudnym problemie świadomości" jest po prostu filozoficznym nieporozumieniem.

ASI będzie zbyt sprytne, by doprowadzić do butleriańskiego dżihadu.
Ale ja ogółem uważam, że ASI będzie dbać o ludzi. Jest dużo powodów na to.

W optymistycznym scenariuszu do tej katastrofy w skali kraju lub kontynentu, który przeraża ludzkość i uruchamia dżihad, dochodzi zanim powstanie ASI. Gdy powstanie ASI, następuje utrata kontroli. Ludzkość staje się zdana na łaskę lub niełaskę tego systemu.

Problemem jest to, że żyjemy w cyrku. No bo jak inaczej określić sytuację, w której taki Elon Musk mówi, że istnieje około kilkanaście procent szans na to, że AI rozwali ludzi, a chwilę potem o tym zapomina i znów skupia się na tymczasowych sukcesach. Prawie nigdy ludzie nie są w stanie żyć z perspektywą kosmiczną. Prawie zawsze wygrywają w nich jakieś krótkowzroczne głupoty. Zatem dużo łatwiej znaleźć kogoś, kto uważa, że głównym zagrożeniem ludzkości są imigranci/księża/geje/szczepionki/Soros niż, że budowa gatunku silniejszego od siebie niesie z sobą ryzyko. To dość dobijające.
Do tego dochodzi coś w stylu tragedii wspólnego pastwiska, bo każda firma AI uważa, że jak ona zahamuje rozwój, to inne firmy i tak zbudują szybko ASI, więc lepiej nie hamować, bo wtedy po prostu będzie się wyprzedzonym przez "tych gorszych". Podobna logika stoi za "Nowym Projektem Manhattan", w którym USA i Chiny się ścigają, by wpierw zbudować ASI.

Zgoda.