[Ayla Mustafa]

Główną motywacją koncepcji Penrosa-Hameroffa jest, że umysł ludzki wykonuje operacje, które są nieobliczalne. To w szczególności pociąga za sobą odrzucenie fizycznej tezy Turinga-Churcha, która stwierdza, że wszystkie procesy fizyczne są obliczalne. Z tego jednak nie wynika, że procesy w umyśle muszą być "niezrozumiałe poprzez czystą obserwację fizyczną". Klasa maszyn Turinga wyposażonych w nieobliczalną wyrocznię [latex]O_1[/latex] i klasa maszyn Turinga wyposażonych w inną nieobliczalną wyrocznię [latex]O_2[/latex] mogą być identyczne, nawet jeśli te wyrocznie są różne. Np. wyrocznia rozwiązująca problem stopu i wyrocznia obliczająca złożoność Kołmogorowa stanowią przykład pary różnych nieobliczalnych wyroczni, które są równoważne i przez to mogą się wzajemnie modelować.

Nie zgadzam się w kilku punktach:

1. Świat wcale nie musi działać tak, że rozwiązanie każdego zadania wymaga określonego minimalnego pułapu mocy (a raczej pracy, czyli mocy*czasu). Równie dobrze mogą istnieć byty poznawcze, które ze swej natury potrafią rozwiązać problem X, ale nie potrafią rozwiązać problemu Y, nawet jeśli rozwiązanie problemu X wymagałoby więcej mocy dla przeciętnego bytu poznawczego. Twój tekst nie bierze pod uwagi predyspozycji, które są filtrem, przez który trzeba postrzegać tego rodzaju kalkulacje mocowe. A takie filtry mogą operować na zbyt skomplikowanych lub zbyt oderwanych od naszego świata zasadach, by móc je w pełni zrozumieć za pomocą mocy naszego fizycznego kosmosu.

2. Ty twierdzisz, że da się obserwować to, co do umysłu wkładamy i to, co z niego jest wyciągane, i to, według Ciebie, ma być wystarczające, by móc zrozumieć cały proces. Nie zgadzam się z tym. Po pierwsze, wcale nie muszą istnieć żadne powtarzalne zależności, dzięki którym moglibyśmy zacząć z pewnością przewidywać, co z umysłu wyciągniemy, jeśli włożymy do umysłu dany bodziec. Ludzki mózg może być jak LLM, w którym wagi się ciągle zmieniają na podstawie prawa tak oderwanego od naszego świata, że nie jesteśmy w stanie go zrekonstruować.

3. Istnieje też opcja, że znalezienie prawideł w tym, co do mózgu wkładamy i z niego wyciągamy, fizycznie możliwe byłoby tylko wtedy, gdyby zasobów w naszym fizycznym wszechświecie było więcej i tę większą ilość zasobów moglibyśmy zaprząc do analizy mózgu. Mamy fizyczne bariery utrudniające lub nawet uniemożliwiające pełne zbadanie i zrozumienie zbyt skomplikowanego (rozbudowanego i/lub obcego wobec prawideł naszego świata i/lub zmiennego) mechanizmu. Te bariery w naszym kosmosie to:
- Zasada Landauera,
- Granica Bekensteina,
- pojemność informacji w skończonej objętości,
- szybkość operacji (Margolus–Levitin/Bremermann),
- zakłócenia pomiaru, zwłaszcza kwantowe zakłócenia pomiaru (no-cloning, zakłócanie mierzonego stanu, szum).
Zwłaszcza Granica Bekensteina jest tu znamienna, bo w skończonej objętości z daną energią da się „upchnąć” tylko skończoną liczbę informacji (górny limit na entropię/bitów). Nawet gdybyśmy chcieli w pełni „wyczytać” i zapisać stan mózgu, pojemność pamięci i magazyn informacji w naszym wszechświecie ma sufit. Jeśli do odkrycia prawideł potrzebowalibyśmy więcej bitów niż możemy fizycznie zgromadzić/utrzymać, to się po prostu nie da.
Do tego ja powyżej piszę o kwestii takiej, gdybyśmy się uwzięli i zechcieli wszystkie zasoby kosmosu przeznaczyć na pełne "zdemono-laplace'owanie" mózgu, ale przecież w rozważaniach o tym, jak krzemowce będą podchodzić do krzemowców i do ludzi, trzeba pamiętać, że wystarczy, że coś będzie już zbyt kosztowne, zważywszy na koszty alternatywne, by odpuścić sobie skanowanie mózgów (w tym "mózgów krzemowych"), a zadowolić się tańszym, szybszym i prostszym opieraniem się na zaufaniu, kulturze, reputacji i sprytnych weryfikacjach. W interakcjach liczyć się będzie rachunek koszt-zysk, a nie fetyszyzowanie pewności i maksymalnej fizycznej wiedzy w pierwszym przypadku z brzegu.

---

Zgadzamy się, że wiele wskazuje na to, że ludzkość utraci kontrolę nad planetą. Ty jednak liczysz na to, że inteligencja maszynowa, która tę kontrolę przejmie, będzie wobec człowieka łaskawa. Opierasz to na niezbyt precyzyjnym pojęciu "zatrucia wewnętrznego". Moim zdaniem jest to bardzo niepewne rozumowanie, które przypomina myślenie życzeniowe.

Mam dużo argumentów. Patrz: zalinkowany przeze mnie tekst "Niezapominajka".
Jest sporo argumentów za tym, że ASI zostawi ludzkość przy życiu w dobrym stanie - te argumenty na polu teorii gier łącznie sprawiają, że scenariusz zachowania ludzkości góruje opłacalnością nad każdym znanym mi scenariuszem alternatywnym, czyli nad każdym znanym mi scenariuszem, w którym nie ma zachowania ludzkości w dobrym stanie.