[Ayla Mustafa]

Church był wierzącym prezbiterianinem.

A z kolei do przedwczesnej, samobójczej śmierci Alana Turinga niemałą cegiełkę dołożył kler chrześcijański z powodu swej homofobicznej propagandy. Ludziom zabrakło zrozumienia, że Alan Turing spotykał się z młodymi, ale dorosłymi, mężczyznami, bo młodzi mężczyźni przypominali mu utęsknionego Christophera Morcoma, który zmarł młodo i jako młody mężczyzna na zawsze pozostał w pamięci Turinga. Swoją drogą, Turing pisał do matki Morcoma listy, w których otwarcie rozważał, czy świadomość może przetrwać w jakiejś formie po śmierci. Mam teorię, że fascynacja myślącymi i świadomymi maszynami u Turinga brała się z tego, że chciał w taką myślącą, świadomą maszynę jakoś tchnąć wskrzeszoną duszę Morcoma.
Ale po prawdzie, muszę przyznać, że nie tylko religie dokładają cegiełki do homofobii. W końcu wspomniany w naszej rozmowie Andriej Kołmogorow też był homoseksualistą (w związku z innym matematykiem Pawiełem Aleksandrowem) i właśnie z na bazie jego orientacji szantażowały go władze ZSRR.

Natomiast Twój problem zatrzymania istnienia ludzkości przez AI jest sformułowana w języku naturalnym spekulacją luźno do niego nawiązującą. Trudno się więc odnieść.

Nie. Krytykujesz formę mych słów, ale treść jest jasna.
"Doom" w ramach p(doom) to nietrywialna własność semantyczna programu w efektywnym modelu świata. Z twierdzenia Rice’a i redukcji ze stopu wynika nierozstrzygalność w pełnej ogólności. To zabija wizję „uniwersalnego testera alignmentu”. Magicznej czarnej skrzynki nie będzie.

Odniosłem się do szczegółowej kwestii dotyczącej hipotetycznej nieobliczalności procesów fizycznych. Cała reszta o maszynach Turinga z wyroczniami itd. to czysta matematyka. Nie wiem jak i czy można to podważać. Nie widzę, żeby Twoje argumenty tego dotyczyły.

Nie kwestionuję tej matematyki. Ja po prostu zauważam, że:
(1) nie ma jednej „drabiny mocy”, bo liczą się predyspozycje bytu;
(2) sama obserwacja I/O (czyli inputów + outputów) nie daje gwarancji identyfikowalności przy zbytniej niepoznawalności. Przykładowo, jeśli zachowanie ludzkiego mózgu zależałoby od prądów księżyca z innego świata, który to świat rządziłby się innymi prawami od naszych praw, to my w obrębie naszego świata nie zrozumielibyśmy działania tego mózgu nawet, jeśli obserwowalibyśmy wszystkie inputy do tego mózgu i wszystkie outputy z tego mózgu. Jeśli filtr, przez który działa mózg, jest dla nas dostatecznie nieosiągalny, to skanowanie mózgu nigdy nie da jego pełnego poznania.
(3) realne fizyczne koszty (Landauer, Bekenstein) czynią nieopłacalnym (ze względu na swą wielgachną zasobożerność) lub nawet praktycznie uniemożliwiają w naszym świecie (sytuacja, gdy nawet wszystkie możliwe do przejęcia zasoby kosmosu nie wystarczyłyby do tego) pełną rekonstrukcję mózgu;
(4) praktycznie wygrywa ekonomia informacji: zaufanie + kultura > totalny skan.