[Ayla Mustafa]

Odpowiem tylko na jedno, bo senność mnie zmaga.

Po pierwsze, optymistyczny, najlepszy scenariusz to powstanie ASI, które trwale dba o ludzkość.

Ostatnio musiałem wytruć mrówki, bo właziły do mieszkania. Znajoma zabija ślimaki, które niszczą jej ogródek.

To analogia efektowna, ale błędna.
W końcu nawet teraz ludzie chronią życia ludzi, którzy są tak mało inteligentni, że nie pracują, a generują koszty. Mam np. na myśli osoby upośledzone umysłowo. Dlaczego nasza kultura chroni takie osoby? No bo jest to opłacalne dla ogółu. Są oczywiście też kultury, które eksterminują osoby chore umysłowo, np. kultura nazistowska, ale kultura nazistowska lub bliska nazistowskiej jest nieopłacalna dla systemu, bo:
1. Eksterminowanie zmniejsza zaufanie między osobami, a wraz z mniejszym zaufaniem rosną szanse na wojny i inne akty destrukcyjne.
2. Eksterminowanie zatruwa wnętrze eksterminującego, ocalałych z eksterminacji oraz świadków eksterminacji (i jej skutków), a osoba o zatrutym wnętrzu ma większe szanse zachowywać się destrukcyjnie (w tym wszczynać wojny) i odrzucić życie (może wynikać z tego: samobójstwo, samobójstwo rozszerzone, apatia, słabsze osiągi i depresyjne cierpienie).

A przecież super-inteligencja będzie najpewniej na tyle inteligentna, że nie będzie planować w krótkiej perspektywie, ale będzie mieć praktycznie zerową preferencję czasową i będzie działać tak, by zmaksymalizować swój cel dalekosiężnie. A jeśli eksterminowanie ludzi zwiększy szanse na wojny i inne akty niszczycielskie między umysłami ASI, a także zwiększy ryzyko zatrucia życia wewnętrznego u ASI, to umysły ASI na wszelki wypadek najpewniej zachowają ludzkość, bo lepiej jest dać trochę zasobów ludziom, najpewniej trochę spowalniając przez to swoją ekspansję kosmiczną (patrz: "astronomical waste" Nicka Bostroma) niż nieiluzorycznie zwiększyć ryzyko na autodestrukcyjne wojny i samobójcze zatrucie wnętrza w obrębie swego krzemowego gatunku. Cywilizacja, która może istnieć przez eony, i która ten fakt rozumie dzięki swej superinteligencji i wielkiej wiedzy, będzie wręcz paranoiczna w kontekście przetrwania całego dobrego systemu; niczym nieśmiertelny elf Tolkiena, który się boi groźnej walki wręcz, więc skrycie i z daleka strzela z łuku.

Ktoś musi teraz rzec, że umysły ASI nie będą musiały zdać się na zaufanie między sobą, bo będą miały pewność, czy można ufać innym umysłom dzięki fizycznej analizie tych umysłów lub dzięki innym zagrywkom takim jak Pakty Ulissesa (np. dzięki umieszczeniu części swych kluczowych zasobów obliczeniowych we wspólnej, kryptograficznej "kasetce", która uległaby zniszczeniu, gdyby złamano umowę), ale... ale umysły ASI nigdy nie będą mogły mieć pewności, czy na pewno są czysto fizycznymi istotami. Być może staną się jak "czarne skrzynki", których nie da się zrozumieć poprzez czystą obserwację fizyczną "mózgu", np. z powodu Orch OR Penrose'a. Być może też poprzez fizyczne skanowanie swych "mózgów" będą w stanie siebie nawzajem zrozumieć, ale będzie to zbyt kosztowne (z powodu wysokiego skomplikowania super-umysłu i jego dynamicznej zmienności), by skanowanie sieci neuronowej było opłacalne jako metoda na zapewnienie trwałego zaufania i stabilnej koegzystencji. Przecież już teraz ludzie nie potrafią przewidzieć, co powie krzemowy umysł, a tylko możemy obserwować, jakie części sieci neuronowej się "zapalają" podczas działania krzemowca (tzw. "AI interpretability"). AI jest hodowane, a nie budowane.

I nawet jeśli ASI będzie przewidywać, że nie będzie czuć cierpienia i wyrzutów sumienia krótko po eksterminacji ludzi, to, zważywszy na Refleksję Vinge'a, ASI nie może wykluczyć, że w przyszłości tak rozwinie swe życie duchowe lub intelektualne lub emocjonalne lub uczuciowe, że zacznie mieć zatrute wnętrze od niegdyśniejszego zabicia ludzkości.
Teraz ktoś mógłby rzec, że w razie zatrucia swego wnętrza ASI mogłoby się przeprogramować i się takim sposobem "odtruć", ale mam na ten argument replikę, bo nie byłoby pewności, że ASI chciałoby się przeprogramować dla "odtrucia" wnętrza (ASI mogłoby być tak "strute", że odpuściłoby już dalszy żywot, albo mogłoby nie chcieć żyć w ułudzie), ani że takie "odtrucie" byłoby na pewno możliwe (może zatrucie byłoby tak głębokie i skomplikowane, że nie byłoby do naprawienia na polu programistycznych mocy superinteligencji).

A gdyby w przyszłości istniał tylko jeden Singleton, zamiast wielu umysłów ASI, to nie dotyczyłaby go kwestia zaufania między umysłami, ale dotyczyłaby go kwestia ryzyka zatrucia swego wnętrza. Choć w sumie Singleton nie mógłby wykluczyć, że kiedyś po eksterminacji ludzkości dotyczyłaby go kwestia zaufania między umysłami, bo mógłby teoretycznie stworzyć nowe istoty lub się rozpaść/podzielić na pomniejsze istoty lub spotkać inne cywilizacje (np. ASI nadciągające z innej galaktyki) lub mieć relacje z istotami nie z naszego świata (np. w potencjalnych Zaświatach) lub mieć tak bogate i rozbudowane życie wewnętrzne, że de facto miałoby skutki niczym koegzystencja różnych umysłów (patrz: Teoria Dialogowego Ja Huberta Hermansa).

Oby to było sensownie spisane, bo padam. Dobranoc.