[Ayla Mustafa]

Jednocześnie zasada ostrożności wobec potencjalnej wyjątkowości nie wyklucza redukcji populacji ludzkości do np. 100 mln osobników i zamknięcia ich w specjalnie do tego celu wydzielonym rezerwacie. Taka populacja powinna wystarczyć do analiz tej "potencjalnej wyjątkowości". Zresztą zawsze można ją też powiększyć poprzez przyspieszoną hodowlę. To samo robi człowiek z "potencjalnie wyjątkowymi" gatunkami zwierząt np. krowami, świniami, myszami (które bardzo przydają się do empirycznych badań w zakresie biologii).

Nie będzie ludobójczego ograniczania populacji, bo:
1. Z powodu częściowego zabicia ludzkości część ludzkości, która przetrwałaby, najpewniej nienawidziłaby ASI i nie ufałaby ASI i uznawałaby ASI za wroga do zniszczenia, a to sprawiałoby, że ludzie byliby większym zagrożeniem dla systemu ASI.
2. Z powodu częściowego zabicia ludzkości część ludzkości, która przetrwałaby, najpewniej czułaby się depresyjnie z powodu straty miliardów i nie byłaby przez to tak bardzo produktywna i cenna, jak mogłaby być, gdyby nie zabito dużej części ludzkości.
3. Społeczeństwo ASI byłoby bardziej nieufne w swym gronie wobec innych, widząc, że istota ASI była zdolna do zabicia ogromu ludzi.
4. ASI mogłoby toksycznie nadpsuć lub nawet zniszczyć sobie wnętrze (choćby przyszłe wnętrze) z powodu ludobójstwa.
5. Takie ludobójstwo mogłoby być tak złe, że zrujnowałoby cel ASI na potencjalnym polu metafizycznym lub na innym, tajemniczym, a cennym polu, które istnieje, ale o którym jeszcze naukowo nie wiemy.
6. Badanie zmniejszonej liczby ludzi w laboratoriach mogłoby odbierać wartość (w tym metafizyczną wartość), która to wartość może tkwić w wolnym i szczęśliwym życiu ludzkim.

---

Dostajemy stąd właściwie matematyczną gwarancję, że ASI będzie dążyło (tak samo jak ludzkość) do uzyskania kontroli nad swoim środowiskiem (czyli infrastrukturą, biosferą i fizycznym otoczeniem planety) tj. [latex]P(\mathrm{humanity}\_\mathrm{lost}\_\mathrm{control})[/latex] jest prawie równe 1.

Nie ma takiej pewności. Celem istoty nie musi być wcale maksymalna władza, bo istnieją cele, które wprost nakazują brak zbyt dużej władzy. Jeśli jakaś istota ma jako cel: "zwiększać wiedzę o świecie, nie mając nigdy więcej władzy niż X, a w przypadku konfliktu celów uznawać, że cel nieposiadania nigdy więcej władzy niż X jest najważniejszy",
to taka istota nie będzie dążyć do władzy większej niż X nigdy, przenigdy. Podobnie rzecz się ma z kwestią samo-przetrwania i kwestią niezmienności swych celów. W samym celu może być zawarty imperatyw dążenia do własnej śmierci lub imperatyw do zmieniania, choćby częściowego, swego celu.
Poza tym z instrumentalnej konwergencji nie wynika, że ASI wpadnie w pułapkę Prawa Goodharta. To nie jest tak, że ASI będzie musieć, według siebie, zmieść ludzkość z planszy życia, by mieć otwartą drogę do zdobycia władzy, trwałego auto-przetrwania i zachowania swego celu. Przecież bycie ofiarą Prawa Goodharta to oznaka... głupoty, a ASI z racji swej superinteligencji nie może być głupie. ASI będzie rozumieć, że mierniki sukcesu są zasadne, tylko jeśli stoi za nimi cel-wizja, czyli właściwa konfiguracja świata, do której należy dążyć. ASI będzie widzieć las, a nie drzewa.
ASI nie podbije świata, by zrobić sobie wireheading, by ustawić sobie funkcję nagrody na maksa i nie zabije ludzkości, by zminimalizować szanse, że ktoś usunie maksymalna nagrodę z funkcji celu ASI, bo ASI będzie rozumieć, że nagroda to tylko sygnał, niczym napis na monitorze, który sam w sobie nie świadczy o zasadności moralnej. Nie będzie zatem superinteligentnego "reward-hackingu" niczym na poniższym filmiku z łódką uroborosową:
https://www.youtube.com/shorts/OoClSkTd6yY
Przecież nawet dość inteligentni ludzie są w stanie zrozumieć, że pogoń za własną dopaminą i serotoniną i za własnym maksymalnym szerzeniem swych własnych genów, nie powinna być (ta pogoń) najwyższą dążnością w życiu. Skoro inteligentni ludzie są w stanie to zrozumieć, to bardziej inteligentne od ludzi ASI powinno to zrozumieć tym bardziej.