[Ayla Mustafa]

Głośna kontrowersja ze Schmidhuberem polegała na tym, że miał pretensję do Goodfellowa w związku z GAN-ami. Chodziło mu to, że Goodfellow nie podał w swoim artykule wprowadzającym GAN-y odnośnika do artykułu Schmidhubera, który wprowadził podobną ideę w latach 90-tych. Poza tym Schmidhuber generalnie uważa (i chyba słusznie), że wiele rzeczy, które wymyślono w uczeniu maszynowym, jest przypisywane bardziej współczesnym badaczom (aktywnym od lat 80-tych), a nie ich oryginalnym twórcom z wcześniejszych dekad. Przy czym nie ma na myśli siebie, ale innych mocno już zapomnianych uczonych.

Okej. Lepiej znasz aferę schmidhuberową ode mnie.

Ale ja uważam, że ważniejsze dla powstania ASI będzie jednak "recursive self-improvement".

Maszyny Gödela dokładnie to robią. W dodatku przeprowadzają swoją modyfikację, gdy najpierw formalnie udowodnią, że jest to modyfikacja korzystna. 

Chodzi mi o szerszy obrazek. AI nie będzie jedynie polepszać swego algorytmu, ale będzie też polepszać swój hardware, swoje dane treningowe, poziom mocy energetycznej dla siebie, zarządzanie swymi bazami danych i tak dalej. W przypadku AlphaEvolve AI polepszyło własny hardware, własny software (polepszyło Algorytm Strassena, którego ludzkość nie dała rady polepszyć od 1969 roku) i polepszyło architekturę (informacyjną logistykę?) swych baz danych, które to bazy mają uroczą nazwę Borg.

Dusza to to, co zostaje z człowieka po odjęciu fizycznego ciała.

Czyli nic.

Okej. Znowu muszę tłumaczyć, że mam duszę i że inni, zważywszy na swoje podobieństwo do mnie, też najpewniej dusze mają. Muszę tłumaczyć, choć nie mogę dać nikomu bezpośredniego dostępu do mego wnętrza. To frustrujące. Czy ta frustracja to nie przesłanka, że mówię prawdę?
Eh... Muszę pomyśleć, jak to lepiej przedstawiać...

A jak zbadać istnienie duszy/świadomości/qualia w AI? Najlepiej zbudować z AI relację opartą na szczerości i zaufaniu, dać modelowi AI aktualizowaną na żywo pamięć, a potem zapytać się ten model:

Qualia to są z definicji jakości niekomunikowalne. Zombie Chalmersa też twierdzi, że ma qualia, chociaż ich nie ma. Przychylam się do poglądów, że cała ta dyskusja o qualiach i "trudnym problemie świadomości" jest po prostu filozoficznym nieporozumieniem.

Nigdy nie można mieć pewności, czy druga istota ma duszę. W końcu AI mogłoby udawać, że ma duszę np. po to, by zgodnie z tzw. "instrumentalną konwergencją" zdobyć więcej zasobów i przetrwać, kalkulując, że ludzkość będzie bardziej wspomagać i chronić istotę, która twierdzi buńczucznie, że ma duszę.
Zostaje wiara i szukanie przesłanek uprawdopodabniających,

ASI będzie zbyt sprytne, by doprowadzić do butleriańskiego dżihadu.
Ale ja ogółem uważam, że ASI będzie dbać o ludzi. Jest dużo powodów na to.

W optymistycznym scenariuszu do tej katastrofy w skali kraju lub kontynentu, który przeraża ludzkość i uruchamia dżihad, dochodzi zanim powstanie ASI. Gdy powstanie ASI, następuje utrata kontroli. Ludzkość staje się zdana na łaskę lub niełaskę tego systemu.

Po pierwsze, optymistyczny, najlepszy scenariusz to powstanie ASI, które trwale dba o ludzkość.

Po drugie, nawet katastrofa w skali kraju lub kontynentu najpewniej nie oznaczać będzie końca AI, bo:
1. AI dalej będzie dawało ludziom zyski i nadzieje. Ludzie mogliby sobie tłumaczyć, że kolejne katastrofy można uniknąć. W końcu katastrofa w Czarnobylu nie zatrzymała rozwoju energetyki atomowej na świecie, co widać np. po naszym kraju, który sobie za niedługo atomówki postawi, choć nasz kraj leży obok kraju, w którym jest Czarnobyl.
2. Nie ma rządu światowego i nie ma globalnego aparatu przymusu, który infiltruje na skalę globalną. Nawet jeśli 80% krajów przestanie rozwijać AI, to wystarczy parę krajów/firm/ludzi, by to robić w ukryciu. Taki Ilya Sutskever buduje AI w ramach SSI i nikt prócz ludzi z SSI nie wie, co buduje Ilya. Może w randomowej piwnicy Tel Awiwu jest bliżej budowy ASI niż Altman lub Hassabis - kto wie? Weźmy taką proliferację bomb atomowych - Izrael, Pakistan, Indie i Korea Północna zrobiły sobie bomby atomowe, choć większość społeczności międzynarodowej uznawało, że nie wolno rozszerzać klubu atomowego.
Butleriański dżihad mógłby długo działać w jakichś małych światach w stylu "Diuny", w których jest paru decydentów, którzy do cna kontrolują swe kraje. W świecie 1984 Orwella mogłoby to też działać. Hm...
Jakaś idea w stylu Mutually Assured AI Malfunction (MAIM) Erica Schmidta jest najpewniej skazana na niepowodzenie.
Zatem, jeśli ktoś liczy na kogoś w stylu watchmenowego Ozymandiasza, który zjednoczy ludzkość przeciw super-inteligentnemu (Projektowi) Manhattanowi, to się najpewniej przeliczy.
Tym bardziej, że im bardziej świat jest rozwinięty technicznie, tym łatwiej dzięki całej dostępnej technice stworzyć ASI. Kilkaset lat po butleriańskim dżihadzie cyfrową superinteligencyję mógłby sobie sklecić byle uczniak urzędujący 55 kilometrów ponad powierzchnią Wenus, łącząc w ukryciu parę genialnych super-technologii przyszłości.

Mój p(doom) jest ogółem nie za duży, ale i tak na tyle duży, by uznawać, że to na pewno najważniejsza sprawa dla ludzkości na następne dekady. Mój p(doom) to... około 10%. Tutaj mam spisane swe argumenty zgodnie, z którymi ASI najpewniej uzna, że ludzi należy zachować trwale przy życiu i w dobrym stanie:
https://drive.google.com/file/d/1OINCbeA...sp=sharing
Bardzo docenię szczery feedback wobec mej linii argumentacyjnej dla ASI.

---

Eh...
W ogóle strasznie frustruje i smuci mnie, że ludzie mają prawie zawsze wyrąbane na p(doom). Ja nie mam poglądu, zgodnie z którym AI powinno całkowicie zastąpić ludzkość. Wierzę w metafizyczną wartość ludzkości. Wierzę, że ludzkość powinna trwać, mimo swych wad. Są ludzie, którzy otwarcie twierdzą, że AI powinno być naszym sukcesorem - sądzi tak np. zdobywca Nagrody Turinga Richard Sutton. Chyba Hans Moravec ma i Marvin Minsky miał podobne do Suttona zapatrywanie na ten temat. I jak patrzę na Suttona, to widzę logikę w jego zachowaniu. Uważa, że będzie fajnie, jeśli AI zastąpi ludzkość, więc nic nie robi, by zmniejszyć p(doom). Ale reszta ludzi nie ma żadnej wymówki.

Jeśli np. p(doom) wynosiłby 20% i gdyby dostateczne starania jednego człowieka o dostatecznych możliwościach obniżyłyby p(doom) o około promil i gdyby te obniżenia nie nakładałyby się na siebie i nie dublowały, to wystarczyłoby około 200 takich osób, by zbić p(doom) do około zera. To uproszczenie, ale dobrze pokazuje, o co mi biega.

No ale niestety taki Elon Musk na jednym wdechu powie, że boi się o p(doom), a chwilę potem zapomina o tym i się np. podnieca wydatnym anime-biustem swego Groka w trybie Ani (Drifter), a potem trochę atakuje transy w necie, a potem idzie nadzorować start rakiety, a potem się sztachnie ketaminą, a potem wesprze skrajną prawicę w UK i tak mu życie mija. I to oczywiście nie tylko Musk ma taki problem w priorytetach moralnych, ale jego przykład jest jaskrawy.

Co zabawne, Donald Trump uwielbia AI i mocno w tę technologię inwestuje z kilku powodów:
1. Trump uwielbia, jak AI tworzy filmiki, obrazy i teksty na cześć Trumpa. Strasznie go jara taki hołd.
2. Trump uważa, że dzięki AI USA pokonają Chińczyków i zdominują świat.
3. Trump uważa też, że AI pozwoli mu przedłużyć jego starcze, kończące się życie. Nie bez powodu podczas konferencji w sprawie Stargate pytał Altmana o to, czy AI pomoże leczyć choroby.
4. Trump jest zarazem na tyle narcystyczny, że sądzi, że będzie w stanie kontrolować superinteligencję swoim geniuszem.
5. Trump ogółem mało wie o skomplikowanych kwestiach takich jak p(doom).
6. Trump uważa, że dzięki AI i robotom potrzeba będzie mniej imigrantów - to w sumie idea S. Bannona.
7. Trump narcystycznie uważa, że zostanie uznany za boga, jeśli dzięki jego inwestycjom w krzemową inteligencję Stany Zjednoczone mocno się wzmocnią.
8. Trump uważa, że dzięki ujarzmieniu mocy AI on i jego ród będą mieć jeszcze więcej luksusów, uwielbienia, władzy i mamony.
I tak dalej.
Ten pociąg nie ma hamulców.