[Slup]

No nie. Taka próba modelowania realnego komputera podłączonego do sieci przy pomocy MT nie ma sensu. 

We wszystkich (chyba) komputerach sterowanie urządzeniami peryferyjnymi (np. kartą sieciową) odbywa się poprzez dedykowane rejestry pamięci. Chyba domyślam się jednak, przeciwko czemu protestujesz. Chciałbyś, żeby manipulacja rejestrami, które obsługują kartę sieciową, była wyjściem z maszyny. Na to wskazywałoby to, co tutaj napisałeś:

Jeśli zatem chcesz stworzyć sensowny model, to będzie to MT, która:

1. Ma pewien stan początkowy
2. Jest uruchamiana
3. Po wykonaniu operacji HALT, na taśmie są zapisane jakieś pakiety sieciowe, który wysyłamy
4. Odbieramy pakiety z sieci
5. Zapisujemy je na taśmie maszyny
6. GOTO 2

W tej sytuacji w ogóle nie potrzebujesz punktów 4,5,6. One tylko oddalają Cię od zastosowania twr. Rice'a, bo ono nie mówi o maszynach działających w jakimś trybie sprzężenia zwrotnego z otoczeniem. W każdym razie nadal opisany przez Ciebie przykład zależy od zewnętrznego kontekstu. Np. te pakiety mogą być wysyłane na port, który jest czasem zamknięty, lub np. mogą być wysyłane na otwarty port serwera, który jednak je z jakiegoś powodu ignoruje.

Podczas tej dyskusji Ayla sformułowała taki kontekst, w którym (chyba) można zastosować twr. Rice'a. Wymagało to potraktowania maszyny i środowiska jako obliczalnej całości. To moim zdaniem najbardziej obiecujące, ale wymaga silnych założeń. Samo twierdzenie Rice'a nie wystarcza.   

W ten sposób twierdzenie Rice'a pokazuje, że każdy pakiet, jaki generuje maszyna może być nierozstrzygalny i może teoretycznie prowadzić do zagłady ludzkości.

Pakiety generowane przez maszynę nie mogą być nierozstrzygalne. Nierozstrzygalne mogą być problemy decyzyjne czyli podzbiory [latex]\mathbb{N}^k[/latex].

W zasadzie cała moja obiekcja ogranicza się do tego, że próby użycia twierdzenia Rice'a do ASI w tym wątku, to
1. nadużycia
2. jeśli nie są to nadużycia, to wymagają dodatkowych założeń, co do kontekstu w jakim działa dana maszyna i tego jak jest połączona z fizycznym światem (może nawet wymaga obliczalności fizycznego świata, jak w kontekście Ayli).

Bardzo przypomina mi to popularne rozważania na temat twierdzeń Gödla.

Pierwszy jest praktyczny — już teraz genAI, któremu do AGI pewnie wiele brakuje jest nieprzewidywalne i w praktyce badane jest na sposób empiryczny. Nikt nie umie praktycznie przewidzieć, co napisze LLM, albo co namaluje model dyfuzyjny.

Drugi wynika z samej definicji AGI. AGI to przecież taka AI, która wykonuje wszystkie zadania ludzkie przynajmniej tak dobrze jak człowiek. Więc jeśli ktoś jest w stanie przewidzieć, jak zachowa się AGI, to jest przynajmniej geniuszem, który posiadł wszystkie zdolności dane ludziom. Biorąc zaś pod uwagę, że już teraz AI w pewnych dziedzinach człowieka przewyższa, to potencjalna AGI też będzie. No a jeśli umiem przewidzieć jak zachowa się AlphaGo Zero, to znaczy, że umiem grać w Go tak jak AlphaGo Zero.

I to są bardzo dobre argumenty za tym, że ASI jest zagrożeniem. Nie trzeba żadnego mędrkowania na temat abstrakcyjnych rezultatów z teorii obliczalności. Zresztą cała ta dyskusja na temat Rice'a bierze się stąd, że Ayli się skojarzył językowo "problem stopu" i "problem zatrzymania ludzkości przez AI".