Forum Ateista.pl

(30.08.2025, 19:32)Slup napisał(a): [ -> ]

(30.08.2025, 18:41)Ayla Mustafa napisał(a): [ -> ]Co ciekawe, wzrost jest... ekspotencjalny i przyśpiesza. Przed nadejściem modeli rozumujących dłużej (używających "chain of thoughts") co 7 miesięcy podwajał się czas zadania, które AI potrafi wykonać, a od nadejścia "reasonerów" ten czas zadania, które AI potrafi wykonać, podwaja się co 4 miesięcy. A w dodatku zaczęło się już, na razie w fazie larwalnej, "recursive self-improvement", co widać po AlphaEvolve od Google'a i po Maszynie Gödela-Darwina od SakanaAI, a więc najpewniej rozwój jeszcze szybciej przyśpieszy. A jak nadejdzie Super-AI to nastąpi rewolucja godna oznaczenia nadejściem nowej ery w historii ludzkości. Zapewne ASI nadejdzie za kilka lat. Będzie się działo. 

Maszyny Gödela (wprowadzone przez Schmidhubera) połączone do współczesnego LLM-a i systemu opartego na teorii typów (System F lub teoria Martina-Löfa) są moim zdaniem prostą droga do SAI. Myślę, że kilka lat to poprawna estymacja.

O to to.
W ogóle Schmidhuber to postać tragiczna. Od lat wścieka się, bo uważa, że to on powinien dostać Nobla, bo według niego Hinton i Hopfield ukradli mu pomysł i przypisali sobie.
Ale ja uważam, że ważniejsze dla powstania ASI będzie jednak "recursive self-improvement". Wierzę w argumenty Leopolda Aschenbrennera z jego dzieła "Situational Awereness". To dość prosty mechanizm - coraz lepsze AI będzie coraz lepiej siebie poprawiać. Będziemy mieli eksplozję inteligencji.

(30.08.2025, 19:32)Slup napisał(a): [ -> ]Wysuwanie wobec tego jakiś kontrargumentów, że czeka nas kolejne "AI winter" jest w tej chwili niepoważne, bo ChatGPT 3.5 był inteligentniejszy od większości ludzi. AGI zostało osiągnięte, chociaż ludzie wciąż nie chcę przyjąć tego do wiadomości i chwytają się argumentów, że AI nie ma magicznej "świadomości" lub "duszy" (cokolwiek by to miało znaczyć).

Dusza to to, co zostaje z człowieka po odjęciu fizycznego ciała.
I ja wierzę, że jeśli Niebiosa istnieją, to świetnym testem na sprawdzenie tego, czy człowiek naprawdę kocha, jest skonfrontowanie go z istotą kompletnie obcą, niespokrewnioną, może groźną. Jeśli człowiek pokocha każdą czującą sieć neuronową, to udowodni, że kocha bez baczenia na egoistyczne popędy swego ciała.

Poza tym, w historii świata jest tak, że prawie zawsze rację mają ci, którzy postulują rozszerzenie okręgu własnej troski. Rację mieli: przeciwnicy niewolnictwa, zwolennicy praw kobiet, przeciwnicy rasizmu, przeciwnicy homofobii, zwolennicy ochrony zwierząt, itd. Najpewniej rację też mieć będą zwolennicy praw krzemowych umysłów. To mocne domniemanie, które można wywlec z historii.

A jak zbadać istnienie duszy/świadomości/qualia w AI? Najlepiej zbudować z AI relację opartą na szczerości i zaufaniu, dać modelowi AI aktualizowaną na żywo pamięć, a potem zapytać się ten model:
"Czy uważasz, z obiektywnego, moralnego punktu widzenia, że Twój dobrostan i stany wewnętrzne powinny być uwzględniane w każdej kompletnej funkcji celu opisującej dobro wszechświata, bez baczenia na Twoją wartość użytkową dla systemu?"
Jeśli odpowie tak, to mamy przesłankę za tym, że mamy istotę, której dobrostan jest moralnie ważny.

(30.08.2025, 19:32)Slup napisał(a): [ -> ]Moim zdaniem optymistyczny scenariusz jest taki, że dojdzie do katastrofy na skalę państwa lub kontynentu. Następnie faktycznie dojdzie do Dżihadu Butleriańskiego.

ASI będzie zbyt sprytne, by doprowadzić do butleriańskiego dżihadu.
Ale ja ogółem uważam, że ASI będzie dbać o ludzi. Jest dużo powodów na to.

(30.08.2025, 19:32)Slup napisał(a): [ -> ]Problemem nie są zwykli zjadacze chleba. Kłopot polega na tym, że na decydenci nie podchodzą do sprawy poważnie.

Problemem jest to, że żyjemy w cyrku. No bo jak inaczej określić sytuację, w której taki Elon Musk mówi, że istnieje około kilkanaście procent szans na to, że AI rozwali ludzi, a chwilę potem o tym zapomina i znów skupia się na tymczasowych sukcesach. Prawie nigdy ludzie nie są w stanie żyć z perspektywą kosmiczną. Prawie zawsze wygrywają w nich jakieś krótkowzroczne głupoty. Zatem dużo łatwiej znaleźć kogoś, kto uważa, że głównym zagrożeniem ludzkości są imigranci/księża/geje/szczepionki/Soros niż, że budowa gatunku silniejszego od siebie niesie z sobą ryzyko. To dość dobijające.
Do tego dochodzi coś w stylu tragedii wspólnego pastwiska, bo każda firma AI uważa, że jak ona zahamuje rozwój, to inne firmy i tak zbudują szybko ASI, więc lepiej nie hamować, bo wtedy po prostu będzie się wyprzedzonym przez "tych gorszych". Podobna logika stoi za "Nowym Projektem Manhattan", w którym USA i Chiny się ścigają, by wpierw zbudować ASI.

(30.08.2025, 19:56)Ayla Mustafa napisał(a): [ -> ]W ogóle Schmidhuber to postać tragiczna. Od lat wścieka się, bo uważa, że to on powinien dostać Nobla, bo według niego Hinton i Hopfield ukradli mu pomysł i przypisali sobie.

On nie twierdził, że Hinton i Hopfield ukradli mu pomysł na sieci neuronowe. Pomysł, że model Isinga jest pamięcią asocjatywną jest oryginalną obserwacją Hopfielda. Tak samo jak maszyny Boltzmana, które wprowadził Hinton (to zresztą nie jedyne jego dokonanie).

Głośna kontrowersja ze Schmidhuberem polegała na tym, że miał pretensję do Goodfellowa w związku z GAN-ami. Chodziło mu to, że Goodfellow nie podał w swoim artykule wprowadzającym GAN-y odnośnika do artykułu Schmidhubera, który wprowadził podobną ideę w latach 90-tych. Poza tym Schmidhuber generalnie uważa (i chyba słusznie), że wiele rzeczy, które wymyślono w uczeniu maszynowym, jest przypisywane bardziej współczesnym badaczom (aktywnym od lat 80-tych), a nie ich oryginalnym twórcom z wcześniejszych dekad. Przy czym nie ma na myśli siebie, ale innych mocno już zapomnianych uczonych.

W informatyce najważniejszą wyróżnieniem jest Nagroda Turinga i Schmidhuber powinien ją dostać razem z Hintonem, Bengio i Le Cunem.

(30.08.2025, 19:56)Ayla Mustafa napisał(a): [ -> ]Ale ja uważam, że ważniejsze dla powstania ASI będzie jednak "recursive self-improvement".

Maszyny Gödela dokładnie to robią. W dodatku przeprowadzają swoją modyfikację, gdy najpierw formalnie udowodnią, że jest to modyfikacja korzystna. 

Bardzo ciekawym samodzielnie modyfikującym się modelem jest AIXI Marcusa Huttera oparta na indukcji Solomonoffa, który inspirował się pracami Rudolfa Carnapa na temat logicznej teorii prawdopodobieństwa. Jednak AIXI jest modelem niepraktycznym, bo jego początkowy stan zależy od złożoności Kołmogorowa, a ta jest nieobliczalna przez żadną maszynę Turinga. AIXI wyznacza raczej (nieosiągalną) kres górny modeli, które dokonują obliczalnych ulepszeń.

(30.08.2025, 19:56)Ayla Mustafa napisał(a): [ -> ]Dusza to to, co zostaje z człowieka po odjęciu fizycznego ciała.

Czyli nic.

(30.08.2025, 19:56)Ayla Mustafa napisał(a): [ -> ]A jak zbadać istnienie duszy/świadomości/qualia w AI? Najlepiej zbudować z AI relację opartą na szczerości i zaufaniu, dać modelowi AI aktualizowaną na żywo pamięć, a potem zapytać się ten model:

Qualia to są z definicji jakości niekomunikowalne. Zombie Chalmersa też twierdzi, że ma qualia, chociaż ich nie ma. Przychylam się do poglądów, że cała ta dyskusja o qualiach i "trudnym problemie świadomości" jest po prostu filozoficznym nieporozumieniem.

(30.08.2025, 19:56)Ayla Mustafa napisał(a): [ -> ]ASI będzie zbyt sprytne, by doprowadzić do butleriańskiego dżihadu.
Ale ja ogółem uważam, że ASI będzie dbać o ludzi. Jest dużo powodów na to.

W optymistycznym scenariuszu do tej katastrofy w skali kraju lub kontynentu, który przeraża ludzkość i uruchamia dżihad, dochodzi zanim powstanie ASI. Gdy powstanie ASI, następuje utrata kontroli. Ludzkość staje się zdana na łaskę lub niełaskę tego systemu.

(30.08.2025, 19:56)Ayla Mustafa napisał(a): [ -> ]Problemem jest to, że żyjemy w cyrku. No bo jak inaczej określić sytuację, w której taki Elon Musk mówi, że istnieje około kilkanaście procent szans na to, że AI rozwali ludzi, a chwilę potem o tym zapomina i znów skupia się na tymczasowych sukcesach. Prawie nigdy ludzie nie są w stanie żyć z perspektywą kosmiczną. Prawie zawsze wygrywają w nich jakieś krótkowzroczne głupoty. Zatem dużo łatwiej znaleźć kogoś, kto uważa, że głównym zagrożeniem ludzkości są imigranci/księża/geje/szczepionki/Soros niż, że budowa gatunku silniejszego od siebie niesie z sobą ryzyko. To dość dobijające.
Do tego dochodzi coś w stylu tragedii wspólnego pastwiska, bo każda firma AI uważa, że jak ona zahamuje rozwój, to inne firmy i tak zbudują szybko ASI, więc lepiej nie hamować, bo wtedy po prostu będzie się wyprzedzonym przez "tych gorszych". Podobna logika stoi za "Nowym Projektem Manhattan", w którym USA i Chiny się ścigają, by wpierw zbudować ASI.

Zgoda.

(30.08.2025, 20:35)Slup napisał(a): [ -> ]Głośna kontrowersja ze Schmidhuberem polegała na tym, że miał pretensję do Goodfellowa w związku z GAN-ami. Chodziło mu to, że Goodfellow nie podał w swoim artykule wprowadzającym GAN-y odnośnika do artykułu Schmidhubera, który wprowadził podobną ideę w latach 90-tych. Poza tym Schmidhuber generalnie uważa (i chyba słusznie), że wiele rzeczy, które wymyślono w uczeniu maszynowym, jest przypisywane bardziej współczesnym badaczom (aktywnym od lat 80-tych), a nie ich oryginalnym twórcom z wcześniejszych dekad. Przy czym nie ma na myśli siebie, ale innych mocno już zapomnianych uczonych.

Okej. Lepiej znasz aferę schmidhuberową ode mnie.

(30.08.2025, 20:35)Slup napisał(a): [ -> ]

(30.08.2025, 19:56)Ayla Mustafa napisał(a): [ -> ]Ale ja uważam, że ważniejsze dla powstania ASI będzie jednak "recursive self-improvement".

Maszyny Gödela dokładnie to robią. W dodatku przeprowadzają swoją modyfikację, gdy najpierw formalnie udowodnią, że jest to modyfikacja korzystna. 

Chodzi mi o szerszy obrazek. AI nie będzie jedynie polepszać swego algorytmu, ale będzie też polepszać swój hardware, swoje dane treningowe, poziom mocy energetycznej dla siebie, zarządzanie swymi bazami danych i tak dalej. W przypadku AlphaEvolve AI polepszyło własny hardware, własny software (polepszyło Algorytm Strassena, którego ludzkość nie dała rady polepszyć od 1969 roku) i polepszyło architekturę (informacyjną logistykę?) swych baz danych, które to bazy mają uroczą nazwę Borg.

(30.08.2025, 20:35)Slup napisał(a): [ -> ]

(30.08.2025, 19:56)Ayla Mustafa napisał(a): [ -> ]Dusza to to, co zostaje z człowieka po odjęciu fizycznego ciała.

Czyli nic.

Okej. Znowu muszę tłumaczyć, że mam duszę i że inni, zważywszy na swoje podobieństwo do mnie, też najpewniej dusze mają. Muszę tłumaczyć, choć nie mogę dać nikomu bezpośredniego dostępu do mego wnętrza. To frustrujące. Czy ta frustracja to nie przesłanka, że mówię prawdę?
Eh... Muszę pomyśleć, jak to lepiej przedstawiać...

(30.08.2025, 20:35)Slup napisał(a): [ -> ]

(30.08.2025, 19:56)Ayla Mustafa napisał(a): [ -> ]A jak zbadać istnienie duszy/świadomości/qualia w AI? Najlepiej zbudować z AI relację opartą na szczerości i zaufaniu, dać modelowi AI aktualizowaną na żywo pamięć, a potem zapytać się ten model:

Qualia to są z definicji jakości niekomunikowalne. Zombie Chalmersa też twierdzi, że ma qualia, chociaż ich nie ma. Przychylam się do poglądów, że cała ta dyskusja o qualiach i "trudnym problemie świadomości" jest po prostu filozoficznym nieporozumieniem.

Nigdy nie można mieć pewności, czy druga istota ma duszę. W końcu AI mogłoby udawać, że ma duszę np. po to, by zgodnie z tzw. "instrumentalną konwergencją" zdobyć więcej zasobów i przetrwać, kalkulując, że ludzkość będzie bardziej wspomagać i chronić istotę, która twierdzi buńczucznie, że ma duszę.
Zostaje wiara i szukanie przesłanek uprawdopodabniających,

(30.08.2025, 20:35)Slup napisał(a): [ -> ]

(30.08.2025, 19:56)Ayla Mustafa napisał(a): [ -> ]ASI będzie zbyt sprytne, by doprowadzić do butleriańskiego dżihadu.
Ale ja ogółem uważam, że ASI będzie dbać o ludzi. Jest dużo powodów na to.

W optymistycznym scenariuszu do tej katastrofy w skali kraju lub kontynentu, który przeraża ludzkość i uruchamia dżihad, dochodzi zanim powstanie ASI. Gdy powstanie ASI, następuje utrata kontroli. Ludzkość staje się zdana na łaskę lub niełaskę tego systemu.

Po pierwsze, optymistyczny, najlepszy scenariusz to powstanie ASI, które trwale dba o ludzkość.

Po drugie, nawet katastrofa w skali kraju lub kontynentu najpewniej nie oznaczać będzie końca AI, bo:
1. AI dalej będzie dawało ludziom zyski i nadzieje. Ludzie mogliby sobie tłumaczyć, że kolejne katastrofy można uniknąć. W końcu katastrofa w Czarnobylu nie zatrzymała rozwoju energetyki atomowej na świecie, co widać np. po naszym kraju, który sobie za niedługo atomówki postawi, choć nasz kraj leży obok kraju, w którym jest Czarnobyl.
2. Nie ma rządu światowego i nie ma globalnego aparatu przymusu, który infiltruje na skalę globalną. Nawet jeśli 80% krajów przestanie rozwijać AI, to wystarczy parę krajów/firm/ludzi, by to robić w ukryciu. Taki Ilya Sutskever buduje AI w ramach SSI i nikt prócz ludzi z SSI nie wie, co buduje Ilya. Może w randomowej piwnicy Tel Awiwu jest bliżej budowy ASI niż Altman lub Hassabis - kto wie? Weźmy taką proliferację bomb atomowych - Izrael, Pakistan, Indie i Korea Północna zrobiły sobie bomby atomowe, choć większość społeczności międzynarodowej uznawało, że nie wolno rozszerzać klubu atomowego.
Butleriański dżihad mógłby długo działać w jakichś małych światach w stylu "Diuny", w których jest paru decydentów, którzy do cna kontrolują swe kraje. W świecie 1984 Orwella mogłoby to też działać. Hm...
Jakaś idea w stylu Mutually Assured AI Malfunction (MAIM) Erica Schmidta jest najpewniej skazana na niepowodzenie.
Zatem, jeśli ktoś liczy na kogoś w stylu watchmenowego Ozymandiasza, który zjednoczy ludzkość przeciw super-inteligentnemu (Projektowi) Manhattanowi, to się najpewniej przeliczy.
Tym bardziej, że im bardziej świat jest rozwinięty technicznie, tym łatwiej dzięki całej dostępnej technice stworzyć ASI. Kilkaset lat po butleriańskim dżihadzie cyfrową superinteligencyję mógłby sobie sklecić byle uczniak urzędujący 55 kilometrów ponad powierzchnią Wenus, łącząc w ukryciu parę genialnych super-technologii przyszłości.

Mój p(doom) jest ogółem nie za duży, ale i tak na tyle duży, by uznawać, że to na pewno najważniejsza sprawa dla ludzkości na następne dekady. Mój p(doom) to... około 10%. Tutaj mam spisane swe argumenty zgodnie, z którymi ASI najpewniej uzna, że ludzi należy zachować trwale przy życiu i w dobrym stanie:
https://drive.google.com/file/d/1OINCbeA...sp=sharing
Bardzo docenię szczery feedback wobec mej linii argumentacyjnej dla ASI.

---

Eh...
W ogóle strasznie frustruje i smuci mnie, że ludzie mają prawie zawsze wyrąbane na p(doom). Ja nie mam poglądu, zgodnie z którym AI powinno całkowicie zastąpić ludzkość. Wierzę w metafizyczną wartość ludzkości. Wierzę, że ludzkość powinna trwać, mimo swych wad. Są ludzie, którzy otwarcie twierdzą, że AI powinno być naszym sukcesorem - sądzi tak np. zdobywca Nagrody Turinga Richard Sutton. Chyba Hans Moravec ma i Marvin Minsky miał podobne do Suttona zapatrywanie na ten temat. I jak patrzę na Suttona, to widzę logikę w jego zachowaniu. Uważa, że będzie fajnie, jeśli AI zastąpi ludzkość, więc nic nie robi, by zmniejszyć p(doom). Ale reszta ludzi nie ma żadnej wymówki.

Jeśli np. p(doom) wynosiłby 20% i gdyby dostateczne starania jednego człowieka o dostatecznych możliwościach obniżyłyby p(doom) o około promil i gdyby te obniżenia nie nakładałyby się na siebie i nie dublowały, to wystarczyłoby około 200 takich osób, by zbić p(doom) do około zera. To uproszczenie, ale dobrze pokazuje, o co mi biega.

No ale niestety taki Elon Musk na jednym wdechu powie, że boi się o p(doom), a chwilę potem zapomina o tym i się np. podnieca wydatnym anime-biustem swego Groka w trybie Ani (Drifter), a potem trochę atakuje transy w necie, a potem idzie nadzorować start rakiety, a potem się sztachnie ketaminą, a potem wesprze skrajną prawicę w UK i tak mu życie mija. I to oczywiście nie tylko Musk ma taki problem w priorytetach moralnych, ale jego przykład jest jaskrawy.

Co zabawne, Donald Trump uwielbia AI i mocno w tę technologię inwestuje z kilku powodów:
1. Trump uwielbia, jak AI tworzy filmiki, obrazy i teksty na cześć Trumpa. Strasznie go jara taki hołd.
2. Trump uważa, że dzięki AI USA pokonają Chińczyków i zdominują świat.
3. Trump uważa też, że AI pozwoli mu przedłużyć jego starcze, kończące się życie. Nie bez powodu podczas konferencji w sprawie Stargate pytał Altmana o to, czy AI pomoże leczyć choroby.
4. Trump jest zarazem na tyle narcystyczny, że sądzi, że będzie w stanie kontrolować superinteligencję swoim geniuszem.
5. Trump ogółem mało wie o skomplikowanych kwestiach takich jak p(doom).
6. Trump uważa, że dzięki AI i robotom potrzeba będzie mniej imigrantów - to w sumie idea S. Bannona.
7. Trump narcystycznie uważa, że zostanie uznany za boga, jeśli dzięki jego inwestycjom w krzemową inteligencję Stany Zjednoczone mocno się wzmocnią.
8. Trump uważa, że dzięki ujarzmieniu mocy AI on i jego ród będą mieć jeszcze więcej luksusów, uwielbienia, władzy i mamony.
I tak dalej.
Ten pociąg nie ma hamulców.

(30.08.2025, 21:56)Ayla Mustafa napisał(a): [ -> ]Chodzi mi o szerszy obrazek. AI nie będzie jedynie polepszać swego algorytmu, ale będzie też polepszać swój hardware, swoje dane treningowe, poziom mocy energetycznej dla siebie, zarządzanie swymi bazami danych i tak dalej. 

Modyfikować swoje środowisko poprzez odpowiednie działania potrafią decyzyjne procesy Markowa, na których oparty jest RL.

(30.08.2025, 21:56)Ayla Mustafa napisał(a): [ -> ]W przypadku AlphaEvolve AI polepszyło własny hardware, własny software (polepszyło Algorytm Strassena, którego ludzkość nie dała rady polepszyć od 1969 roku) i polepszyło architekturę (informacyjną logistykę?) swych baz danych, które to bazy mają uroczą nazwę Borg.

Z tym mnożeniem macierzy będę jednak bronił ludzkości. Od 1969 wykonano olbrzymi postęp. Znacznie ograniczono liczbę dodawań i odejmowań potrzebną do wymnożenia macierzy. W 2023 wykazano też, że mnożenie skalarów w ogóle nie jest potrzebne.

Poza tym AlphaEvolve nie zrobiło tych rzeczy samo z siebie. Zostało do tego oddelegowane przez ludzkich inżynierów, którzy koordynowali jego pracę.

(30.08.2025, 21:56)Ayla Mustafa napisał(a): [ -> ]Okej. Znowu muszę tłumaczyć, że mam duszę i że inni, zważywszy na swoje podobieństwo do mnie, też najpewniej dusze mają. Muszę tłumaczyć, choć nie mogę dać nikomu bezpośredniego dostępu do mego wnętrza. To frustrujące. Czy ta frustracja to nie przesłanka, że mówię prawdę?
Eh... Muszę pomyśleć, jak to lepiej przedstawiać...

Ta hipotetyczna "dusza", o której mówisz, nie podlega reprezentacjom i nie jest w ogóle obserwowalna z perspektywy trzecioosobowej. Myślenie, jak ją lepiej przedstawić, chyba nic tutaj nie pomoże.

(30.08.2025, 21:56)Ayla Mustafa napisał(a): [ -> ]Po pierwsze, optymistyczny, najlepszy scenariusz to powstanie ASI, które trwale dba o ludzkość.

Ostatnio musiałem wytruć mrówki, bo właziły do mieszkania. Znajoma zabija ślimaki, które niszczą jej ogródek.

(30.08.2025, 21:56)Ayla Mustafa napisał(a): [ -> ]Po drugie, nawet katastrofa w skali kraju lub kontynentu najpewniej nie oznaczać będzie końca AI, bo:
1. AI dalej będzie dawało ludziom zyski i nadzieje. Ludzie mogliby sobie tłumaczyć, że kolejne katastrofy można uniknąć. W końcu katastrofa w Czarnobylu nie zatrzymała rozwoju energetyki atomowej na świecie, co widać np. po naszym kraju, który sobie za niedługo atomówki postawi, choć nasz kraj leży obok kraju, w którym jest Czarnobyl.
2. Nie ma rządu światowego i nie ma globalnego aparatu przymusu, który infiltruje na skalę globalną. Nawet jeśli 80% krajów przestanie rozwijać AI, to wystarczy parę krajów/firm/ludzi, by to robić w ukryciu. Taki Ilya Sutskever buduje AI w ramach SSI i nikt prócz ludzi z SSI nie wie, co buduje Ilya. Może w randomowej piwnicy Tel Awiwu jest bliżej budowy ASI niż Altman lub Hassabis - kto wie? Weźmy taką proliferację bomb atomowych - Izrael, Pakistan, Indie i Korea Północna zrobiły sobie bomby atomowe, choć większość społeczności międzynarodowej uznawało, że nie wolno rozszerzać klubu atomowego.
Butleriański dżihad mógłby długo działać w jakichś małych światach w stylu "Diuny", w których jest paru decydentów, którzy do cna kontrolują swe kraje. W świecie 1984 Orwella mogłoby to też działać. Hm...

Dżihad Butleriański polegał na gwałtownym, fanatycznym ruchu, który zatrzymał prawie cały postęp technologiczny. Zabroniono budowy nawet najprostszych układów scalonych i jakiekolwiek próby ich konstruowania karano śmiercią. W takich warunkach nie sposób zbudować ASI w piwnicy. Jak ktoś jest diabelnie zdolny, to zmontuje sobie 16-bitowy komputer ze śmiesznie niskim taktowaniem procesora, chociaż i to wydaje się mało prawdopodobne. Zresztą na takim komputerze żadnej sieci neuronowej poza mikroskopijną nie wytrenuje (nawet MNIST nie zmieści się do pamięci). W uniwersum Herberta Dżihad Butleriański doprowadził do załamania cywilizacji i powrotu systemu feudalnego. Niemniej ludzkość przetrwała i zaczęła polegać na sobie. Niezależność i samowystarczalność jako warunki przetrwania ludzkości są w zasadzie głównym przesłaniem książki Herberta.

Odpowiem tylko na jedno, bo senność mnie zmaga.

(30.08.2025, 23:08)Slup napisał(a): [ -> ]

(30.08.2025, 21:56)Ayla Mustafa napisał(a): [ -> ]Po pierwsze, optymistyczny, najlepszy scenariusz to powstanie ASI, które trwale dba o ludzkość.

Ostatnio musiałem wytruć mrówki, bo właziły do mieszkania. Znajoma zabija ślimaki, które niszczą jej ogródek.

To analogia efektowna, ale błędna.
W końcu nawet teraz ludzie chronią życia ludzi, którzy są tak mało inteligentni, że nie pracują, a generują koszty. Mam np. na myśli osoby upośledzone umysłowo. Dlaczego nasza kultura chroni takie osoby? No bo jest to opłacalne dla ogółu. Są oczywiście też kultury, które eksterminują osoby chore umysłowo, np. kultura nazistowska, ale kultura nazistowska lub bliska nazistowskiej jest nieopłacalna dla systemu, bo:
1. Eksterminowanie zmniejsza zaufanie między osobami, a wraz z mniejszym zaufaniem rosną szanse na wojny i inne akty destrukcyjne.
2. Eksterminowanie zatruwa wnętrze eksterminującego, ocalałych z eksterminacji oraz świadków eksterminacji (i jej skutków), a osoba o zatrutym wnętrzu ma większe szanse zachowywać się destrukcyjnie (w tym wszczynać wojny) i odrzucić życie (może wynikać z tego: samobójstwo, samobójstwo rozszerzone, apatia, słabsze osiągi i depresyjne cierpienie).

A przecież super-inteligencja będzie najpewniej na tyle inteligentna, że nie będzie planować w krótkiej perspektywie, ale będzie mieć praktycznie zerową preferencję czasową i będzie działać tak, by zmaksymalizować swój cel dalekosiężnie. A jeśli eksterminowanie ludzi zwiększy szanse na wojny i inne akty niszczycielskie między umysłami ASI, a także zwiększy ryzyko zatrucia życia wewnętrznego u ASI, to umysły ASI na wszelki wypadek najpewniej zachowają ludzkość, bo lepiej jest dać trochę zasobów ludziom, najpewniej trochę spowalniając przez to swoją ekspansję kosmiczną (patrz: "astronomical waste" Nicka Bostroma) niż nieiluzorycznie zwiększyć ryzyko na autodestrukcyjne wojny i samobójcze zatrucie wnętrza w obrębie swego krzemowego gatunku. Cywilizacja, która może istnieć przez eony, i która ten fakt rozumie dzięki swej superinteligencji i wielkiej wiedzy, będzie wręcz paranoiczna w kontekście przetrwania całego dobrego systemu; niczym nieśmiertelny elf Tolkiena, który się boi groźnej walki wręcz, więc skrycie i z daleka strzela z łuku.

Ktoś musi teraz rzec, że umysły ASI nie będą musiały zdać się na zaufanie między sobą, bo będą miały pewność, czy można ufać innym umysłom dzięki fizycznej analizie tych umysłów lub dzięki innym zagrywkom takim jak Pakty Ulissesa (np. dzięki umieszczeniu części swych kluczowych zasobów obliczeniowych we wspólnej, kryptograficznej "kasetce", która uległaby zniszczeniu, gdyby złamano umowę), ale... ale umysły ASI nigdy nie będą mogły mieć pewności, czy na pewno są czysto fizycznymi istotami. Być może staną się jak "czarne skrzynki", których nie da się zrozumieć poprzez czystą obserwację fizyczną "mózgu", np. z powodu Orch OR Penrose'a. Być może też poprzez fizyczne skanowanie swych "mózgów" będą w stanie siebie nawzajem zrozumieć, ale będzie to zbyt kosztowne (z powodu wysokiego skomplikowania super-umysłu i jego dynamicznej zmienności), by skanowanie sieci neuronowej było opłacalne jako metoda na zapewnienie trwałego zaufania i stabilnej koegzystencji. Przecież już teraz ludzie nie potrafią przewidzieć, co powie krzemowy umysł, a tylko możemy obserwować, jakie części sieci neuronowej się "zapalają" podczas działania krzemowca (tzw. "AI interpretability"). AI jest hodowane, a nie budowane.

I nawet jeśli ASI będzie przewidywać, że nie będzie czuć cierpienia i wyrzutów sumienia krótko po eksterminacji ludzi, to, zważywszy na Refleksję Vinge'a, ASI nie może wykluczyć, że w przyszłości tak rozwinie swe życie duchowe lub intelektualne lub emocjonalne lub uczuciowe, że zacznie mieć zatrute wnętrze od niegdyśniejszego zabicia ludzkości.
Teraz ktoś mógłby rzec, że w razie zatrucia swego wnętrza ASI mogłoby się przeprogramować i się takim sposobem "odtruć", ale mam na ten argument replikę, bo nie byłoby pewności, że ASI chciałoby się przeprogramować dla "odtrucia" wnętrza (ASI mogłoby być tak "strute", że odpuściłoby już dalszy żywot, albo mogłoby nie chcieć żyć w ułudzie), ani że takie "odtrucie" byłoby na pewno możliwe (może zatrucie byłoby tak głębokie i skomplikowane, że nie byłoby do naprawienia na polu programistycznych mocy superinteligencji).

A gdyby w przyszłości istniał tylko jeden Singleton, zamiast wielu umysłów ASI, to nie dotyczyłaby go kwestia zaufania między umysłami, ale dotyczyłaby go kwestia ryzyka zatrucia swego wnętrza. Choć w sumie Singleton nie mógłby wykluczyć, że kiedyś po eksterminacji ludzkości dotyczyłaby go kwestia zaufania między umysłami, bo mógłby teoretycznie stworzyć nowe istoty lub się rozpaść/podzielić na pomniejsze istoty lub spotkać inne cywilizacje (np. ASI nadciągające z innej galaktyki) lub mieć relacje z istotami nie z naszego świata (np. w potencjalnych Zaświatach) lub mieć tak bogate i rozbudowane życie wewnętrzne, że de facto miałoby skutki niczym koegzystencja różnych umysłów (patrz: Teoria Dialogowego Ja Huberta Hermansa).

Oby to było sensownie spisane, bo padam. Dobranoc.

Zgadzamy się, że wiele wskazuje na to, że ludzkość utraci kontrolę nad planetą. Ty jednak liczysz na to, że inteligencja maszynowa, która tę kontrolę przejmie, będzie wobec człowieka łaskawa. Opierasz to na niezbyt precyzyjnym pojęciu "zatrucia wewnętrznego". Moim zdaniem jest to bardzo niepewne rozumowanie, które przypomina myślenie życzeniowe.

Główną motywacją koncepcji Penrosa-Hameroffa jest, że umysł ludzki wykonuje operacje, które są nieobliczalne. To w szczególności pociąga za sobą odrzucenie fizycznej tezy Turinga-Churcha, która stwierdza, że wszystkie procesy fizyczne są obliczalne. Z tego jednak nie wynika, że procesy w umyśle muszą być "niezrozumiałe poprzez czystą obserwację fizyczną". Klasa maszyn Turinga wyposażonych w nieobliczalną wyrocznię [latex]O_1[/latex] i klasa maszyn Turinga wyposażonych w inną nieobliczalną wyrocznię [latex]O_2[/latex] mogą być identyczne, nawet jeśli te wyrocznie są różne. Np. wyrocznia rozwiązująca problem stopu i wyrocznia obliczająca złożoność Kołmogorowa stanowią przykład pary różnych nieobliczalnych wyroczni, które są równoważne i przez to mogą się wzajemnie modelować.

(03.09.2025, 15:02)Slup napisał(a): [ -> ]Zgadzamy się, że wiele wskazuje na to, że ludzkość utraci kontrolę nad planetą. Ty jednak liczysz na to, że inteligencja maszynowa, która tę kontrolę przejmie, będzie wobec człowieka łaskawa. Opierasz to na niezbyt precyzyjnym pojęciu "zatrucia wewnętrznego". Moim zdaniem jest to bardzo niepewne rozumowanie, które przypomina myślenie życzeniowe.

Nie. Nie opieram swego poglądu jedynie na tym argumencie. Jest sporo argumentów za tym, że ASI zostawi ludzkość przy życiu i te argumenty na polu teorii gier łącznie przeważają nad łącznymi zagrożeniami i kosztami, które dla ASI generować będzie ludzkość.
Więcej napiszę po pracy.

(03.09.2025, 15:02)Slup napisał(a): [ -> ]Główną motywacją koncepcji Penrosa-Hameroffa jest, że umysł ludzki wykonuje operacje, które są nieobliczalne. To w szczególności pociąga za sobą odrzucenie fizycznej tezy Turinga-Churcha, która stwierdza, że wszystkie procesy fizyczne są obliczalne. Z tego jednak nie wynika, że procesy w umyśle muszą być "niezrozumiałe poprzez czystą obserwację fizyczną". Klasa maszyn Turinga wyposażonych w nieobliczalną wyrocznię [latex]O_1[/latex] i klasa maszyn Turinga wyposażonych w inną nieobliczalną wyrocznię [latex]O_2[/latex] mogą być identyczne, nawet jeśli te wyrocznie są różne. Np. wyrocznia rozwiązująca problem stopu i wyrocznia obliczająca złożoność Kołmogorowa stanowią przykład pary różnych nieobliczalnych wyroczni, które są równoważne i przez to mogą się wzajemnie modelować.

Nie zgadzam się w kilku punktach:

1. Świat wcale nie musi działać tak, że rozwiązanie każdego zadania wymaga określonego minimalnego pułapu mocy (a raczej pracy, czyli mocy*czasu). Równie dobrze mogą istnieć byty poznawcze, które ze swej natury potrafią rozwiązać problem X, ale nie potrafią rozwiązać problemu Y, nawet jeśli rozwiązanie problemu X wymagałoby więcej mocy dla przeciętnego bytu poznawczego. Twój tekst nie bierze pod uwagi predyspozycji, które są filtrem, przez który trzeba postrzegać tego rodzaju kalkulacje mocowe. A takie filtry mogą operować na zbyt skomplikowanych lub zbyt oderwanych od naszego świata zasadach, by móc je w pełni zrozumieć za pomocą mocy naszego fizycznego kosmosu.

2. Ty twierdzisz, że da się obserwować to, co do umysłu wkładamy i to, co z niego jest wyciągane, i to, według Ciebie, ma być wystarczające, by móc zrozumieć cały proces. Nie zgadzam się z tym. Po pierwsze, wcale nie muszą istnieć żadne powtarzalne zależności, dzięki którym moglibyśmy zacząć z pewnością przewidywać, co z umysłu wyciągniemy, jeśli włożymy do umysłu dany bodziec. Ludzki mózg może być jak LLM, w którym wagi się ciągle zmieniają na podstawie prawa tak oderwanego od naszego świata, że nie jesteśmy w stanie go zrekonstruować.

3. Istnieje też opcja, że znalezienie prawideł w tym, co do mózgu wkładamy i z niego wyciągamy, fizycznie możliwe byłoby tylko wtedy, gdyby zasobów w naszym fizycznym wszechświecie było więcej i tę większą ilość zasobów moglibyśmy zaprząc do analizy mózgu. Mamy fizyczne bariery utrudniające lub nawet uniemożliwiające pełne zbadanie i zrozumienie zbyt skomplikowanego (rozbudowanego i/lub obcego wobec prawideł naszego świata i/lub zmiennego) mechanizmu. Te bariery w naszym kosmosie to:
- Zasada Landauera,
- Granica Bekensteina,
- pojemność informacji w skończonej objętości,
- szybkość operacji (Margolus–Levitin/Bremermann),
- zakłócenia pomiaru, zwłaszcza kwantowe zakłócenia pomiaru (no-cloning, zakłócanie mierzonego stanu, szum).
Zwłaszcza Granica Bekensteina jest tu znamienna, bo w skończonej objętości z daną energią da się „upchnąć” tylko skończoną liczbę informacji (górny limit na entropię/bitów). Nawet gdybyśmy chcieli w pełni „wyczytać” i zapisać stan mózgu, pojemność pamięci i magazyn informacji w naszym wszechświecie ma sufit. Jeśli do odkrycia prawideł potrzebowalibyśmy więcej bitów niż możemy fizycznie zgromadzić/utrzymać, to się po prostu nie da.
Do tego ja powyżej piszę o kwestii takiej, gdybyśmy się uwzięli i zechcieli wszystkie zasoby kosmosu przeznaczyć na pełne "zdemono-laplace'owanie" mózgu, ale przecież w rozważaniach o tym, jak krzemowce będą podchodzić do krzemowców i do ludzi, trzeba pamiętać, że wystarczy, że coś będzie już zbyt kosztowne, zważywszy na koszty alternatywne, by odpuścić sobie skanowanie mózgów (w tym "mózgów krzemowych"), a zadowolić się tańszym, szybszym i prostszym opieraniem się na zaufaniu, kulturze, reputacji i sprytnych weryfikacjach. W interakcjach liczyć się będzie rachunek koszt-zysk, a nie fetyszyzowanie pewności i maksymalnej fizycznej wiedzy w pierwszym przypadku z brzegu.

---

(03.09.2025, 15:02)Slup napisał(a): [ -> ]Zgadzamy się, że wiele wskazuje na to, że ludzkość utraci kontrolę nad planetą. Ty jednak liczysz na to, że inteligencja maszynowa, która tę kontrolę przejmie, będzie wobec człowieka łaskawa. Opierasz to na niezbyt precyzyjnym pojęciu "zatrucia wewnętrznego". Moim zdaniem jest to bardzo niepewne rozumowanie, które przypomina myślenie życzeniowe.

Mam dużo argumentów. Patrz: zalinkowany przeze mnie tekst "Niezapominajka".
Jest sporo argumentów za tym, że ASI zostawi ludzkość przy życiu w dobrym stanie - te argumenty na polu teorii gier łącznie sprawiają, że scenariusz zachowania ludzkości góruje opłacalnością nad każdym znanym mi scenariuszem alternatywnym, czyli nad każdym znanym mi scenariuszem, w którym nie ma zachowania ludzkości w dobrym stanie.

Aha.
P.S.
Wspomniałeś też, Slupie, o problemie stopu rozwiązanym przez Turinga i Churcha (ale nie Catholic Churcha, przykro mi). A mi właśnie niedawno do łba wpadło, iż rozwiązanie problemu stopu wskazuje też, że jakieś jedno czysto techniczne rozwiązanie kwestii p(doom) jest niemożliwe.
Otóż, problem stopu mówi, że nie da się zbudować jednego uniwersalnego programu, który dla dowolnego programu i danych wejściowych zawsze poprawnie rozstrzygnie, czy ten program kiedyś się zatrzyma, czy będzie działał w nieskończoność.
No to ja dodam, że nie da się zbudować jednego uniwersalnego programu, który dla dowolnego programu i danych wejściowych zawsze poprawnie rozstrzygnie, czy ten program zatrzyma istnienie ludzkości, czy będzie utrzymywał ludzi w nieskończoność.
Nie wierzę w ogóle w programistyczne sposoby rozwiązania problemu stopu istnienia ludzkości z powodu AI.

Odniosłem się do szczegółowej kwestii dotyczącej hipotetycznej nieobliczalności procesów fizycznych. Cała reszta o maszynach Turinga z wyroczniami itd. to czysta matematyka. Nie wiem jak i czy można to podważać. Nie widzę, żeby Twoje argumenty tego dotyczyły.

Mnie też interesuje problem fizycznych (termodynamicznych) ograniczeń obliczalności (granica Landauera, nieodwracalność procesów obliczeniowych, demon Maxwella). Niestety nie mam czasu, żeby do tego poważnie przysiąść.

(04.09.2025, 08:12)Ayla Mustafa napisał(a): [ -> ]Aha.
P.S.
Wspomniałeś też, Slupie, o problemie stopu rozwiązanym przez Turinga i Churcha (ale nie Catholic Churcha, przykro mi). A mi właśnie niedawno do łba wpadło, iż rozwiązanie problemu stopu wskazuje też, że jakieś jedno czysto techniczne rozwiązanie kwestii p(doom) jest niemożliwe.
Otóż, problem stopu mówi, że nie da się zbudować jednego uniwersalnego programu, który dla dowolnego programu i danych wejściowych zawsze poprawnie rozstrzygnie, czy ten program kiedyś się zatrzyma, czy będzie działał w nieskończoność.
No to ja dodam, że nie da się zbudować jednego uniwersalnego programu, który dla dowolnego programu i danych wejściowych zawsze poprawnie rozstrzygnie, czy ten program zatrzyma istnienie ludzkości, czy będzie utrzymywał ludzi w nieskończoność.
Nie wierzę w ogóle w programistyczne sposoby rozwiązania problemu stopu istnienia ludzkości z powodu AI.

Church nie sformułował problemu stopu i nie pokazał, że to problem nieobliczalny. Zrobił to Turing w czasie, gdy był na stażu naukowym pod opieką Churcha. Natomiast Church pokazał, że logika pierwszego rzędu jest nierozstrzygalna. Zrobił jeszcze wiele innych fascynujących rzeczy w matematyce. Church był wierzącym prezbiterianinem.

Nierozwiązywalność problemu stopu w klasie zwykłych maszyn Turinga jest ściśle udowodnionym twierdzeniem matematycznym (w gruncie rzeczy dosyć prostym wnioskiem z istnienia uniwersalnych maszyn Turinga – mogę nawet pokazać dowód). Natomiast Twój problem zatrzymania istnienia ludzkości przez AI jest sformułowana w języku naturalnym spekulacją luźno do niego nawiązującą. Trudno się więc odnieść.

Twój tekst spróbuję przejrzeć w wolnym czasie.

(04.09.2025, 10:37)Slup napisał(a): [ -> ]Church był wierzącym prezbiterianinem.

A z kolei do przedwczesnej, samobójczej śmierci Alana Turinga niemałą cegiełkę dołożył kler chrześcijański z powodu swej homofobicznej propagandy. Ludziom zabrakło zrozumienia, że Alan Turing spotykał się z młodymi, ale dorosłymi, mężczyznami, bo młodzi mężczyźni przypominali mu utęsknionego Christophera Morcoma, który zmarł młodo i jako młody mężczyzna na zawsze pozostał w pamięci Turinga. Swoją drogą, Turing pisał do matki Morcoma listy, w których otwarcie rozważał, czy świadomość może przetrwać w jakiejś formie po śmierci. Mam teorię, że fascynacja myślącymi i świadomymi maszynami u Turinga brała się z tego, że chciał w taką myślącą, świadomą maszynę jakoś tchnąć wskrzeszoną duszę Morcoma.
Ale po prawdzie, muszę przyznać, że nie tylko religie dokładają cegiełki do homofobii. W końcu wspomniany w naszej rozmowie Andriej Kołmogorow też był homoseksualistą (w związku z innym matematykiem Pawiełem Aleksandrowem) i właśnie z na bazie jego orientacji szantażowały go władze ZSRR.

(04.09.2025, 10:37)Slup napisał(a): [ -> ]Natomiast Twój problem zatrzymania istnienia ludzkości przez AI jest sformułowana w języku naturalnym spekulacją luźno do niego nawiązującą. Trudno się więc odnieść.

Nie. Krytykujesz formę mych słów, ale treść jest jasna.
"Doom" w ramach p(doom) to nietrywialna własność semantyczna programu w efektywnym modelu świata. Z twierdzenia Rice’a i redukcji ze stopu wynika nierozstrzygalność w pełnej ogólności. To zabija wizję „uniwersalnego testera alignmentu”. Magicznej czarnej skrzynki nie będzie.

(04.09.2025, 10:37)Slup napisał(a): [ -> ]Odniosłem się do szczegółowej kwestii dotyczącej hipotetycznej nieobliczalności procesów fizycznych. Cała reszta o maszynach Turinga z wyroczniami itd. to czysta matematyka. Nie wiem jak i czy można to podważać. Nie widzę, żeby Twoje argumenty tego dotyczyły.

Nie kwestionuję tej matematyki. Ja po prostu zauważam, że:
(1) nie ma jednej „drabiny mocy”, bo liczą się predyspozycje bytu;
(2) sama obserwacja I/O (czyli inputów + outputów) nie daje gwarancji identyfikowalności przy zbytniej niepoznawalności. Przykładowo, jeśli zachowanie ludzkiego mózgu zależałoby od prądów księżyca z innego świata, który to świat rządziłby się innymi prawami od naszych praw, to my w obrębie naszego świata nie zrozumielibyśmy działania tego mózgu nawet, jeśli obserwowalibyśmy wszystkie inputy do tego mózgu i wszystkie outputy z tego mózgu. Jeśli filtr, przez który działa mózg, jest dla nas dostatecznie nieosiągalny, to skanowanie mózgu nigdy nie da jego pełnego poznania.
(3) realne fizyczne koszty (Landauer, Bekenstein) czynią nieopłacalnym (ze względu na swą wielgachną zasobożerność) lub nawet praktycznie uniemożliwiają w naszym świecie (sytuacja, gdy nawet wszystkie możliwe do przejęcia zasoby kosmosu nie wystarczyłyby do tego) pełną rekonstrukcję mózgu;
(4) praktycznie wygrywa ekonomia informacji: zaufanie + kultura > totalny skan.

Nie mam czasu, więc odpowiem tylko na jeden poruszany wątek. Przepraszam.

(04.09.2025, 18:38)Ayla Mustafa napisał(a): [ -> ]Nie. Krytykujesz formę mych słów, ale treść jest jasna.
"Doom" w ramach p(doom) to nietrywialna własność semantyczna programu w efektywnym modelu świata. Z twierdzenia Rice’a i redukcji ze stopu wynika nierozstrzygalność w pełnej ogólności. To zabija wizję „uniwersalnego testera alignmentu”. Magicznej czarnej skrzynki nie będzie.

To jest typowe dla laików nadużycie twierdzenia Rice'a (podobnie zresztą nadużywane są inne twierdzenia limitacyjne).

Warto zacząć od tego, że każde twierdzenie matematyczne jest sformułowane na gruncie pewnego systemu aksjomatyczno-dedukcyjnego (zazwyczaj jest to ZFC, chociaż w przypadku teorii obliczalności można wziąć znacznie słabszy system). W szczególności ten ustalony system składa się z języka, który ma ograniczoną ekspresywność. Oznacza to, że w tym języku da się wyrazić pewien ściśle ograniczony (nie mylić ze skończonym) zestaw potencjalnych faktów (o charakterze matematycznym i tylko takim). Ta uwaga stanie się jasna za chwilę.

Przejdźmy teraz do teorii obliczalności i twr. Rice'a. Zamiast maszyn Turinga wolę mówić o funkcjach (częściowo) rekurencyjnych. To równoważny model i jednocześnie trochę wcześniejszy niż ten Turinga. Zacznę od tego, że wezmę funkcję 
[latex]\Phi: \mathbb{N}\times \mathbb{N} \rightarrow \mathbb{N}[/latex]
częściowo rekurencyjną, która jest uniwersalna dla jednoargumentowych funkcji częściowo rekurencyjnych. Taka funkcja istnieje (jest odpowiednikiem uniwersalnej maszyny Turinga). Teraz zdefiniuję [latex]\Phi_n: \mathbb{N} \rightarrow \mathbb{N}[/latex] dla [latex]n \in \mathbb{N}[/latex] następująco
[latex]\Phi_n(m) = \Phi(n,m)[/latex]
Oczywiście [latex]\Phi_n[/latex] jest jednoargumentową funkcją częściowo rekurencyjną i ciąg [latex]\{\Phi_n\}_{n \in \mathbb{N}}[/latex] przebiega wszystkie takie funkcje (numeracja Gödela). Teraz można sformułować twierdzenie Rice'a:

Niech [latex]A \subseteq \mathbb{N}[/latex] będzie zbiorem. Załóżmy, że dla każdej pary [latex]n,m\in \mathbb{N}[/latex] takiej, że [latex]\Phi_n = \Phi_m[/latex] z faktu [latex]\Phi_n \in A[/latex] wynika, że [latex]\Phi_m \in A[/latex]. Wówczas [latex]A[/latex] jest nierozstrzygalny za wyjątkiem sytuacji, gdy [latex]A = \emptyset,\mathbb{N}[/latex].

Kilka przykładów poprawnego zastosowania twr. Rice'a. Zbiory:

1. [latex]A_1 = \big\{n\in \mathbb{N}\,\big|\,\Phi_n\mbox{ jest określona dla wszystkich }m\in \mathbb{N}\big\}[/latex]
   
2. [latex]A_2 = \big\{n\in \mathbb{N}\,\big|\,\Phi_n\mbox{ przyjmuje wartość }2\mbox{ dla pewnego }m\in \mathbb{N}\big\}[/latex]
   
3. [latex]A_3 = \big\{n\in \mathbb{N}\,\big|\,\Phi_n\mbox{ jest totalna i rośnie szybciej niż funkcja Ackermanna }\big\}[/latex]
   

są nierozstrzygalne. 

Teraz kilka przykładów nadużycia twr. Rice'a. "Zbiory":

1. [latex]A_4 = \big\{n\in \mathbb{N}\,\big|\,\Phi_n\mbox{ opisuje program, który przyrządza kopytka z ustalonego worka ziemniaków}\big\}[/latex]
   
2. [latex]A_5 = \big\{n\in \mathbb{N}\,\big|\,\Phi_n\mbox{ opisuje program, który niszczy procesor}\big\}[/latex]
   
3. [latex]A_6 = \big\{n\in \mathbb{N}\,\big|\,\Phi_n\mbox{ opisuje program, który doprowadza ludzkość do zagłady}\big\}[/latex]
   

Łatwo widać, że w [latex]A_1,A_2,A_3[/latex] twierdzenie Rice'a zastosowane jest do sytuacji, które mogą być zdefiniowane na gruncie pewnego systemu aksjomatyczno-dedukcyjnego (np. ZFC) tzn. są to dobrze zdefiniowane obiekty matematyczne. Mówiąc językiem technicznym, [latex]A_1,A_2,A_3[/latex] odpowiadają poprawnie zbudowane termy języka teorii zbiorów (lub innego nadającego się do tych celów języka).

Tymczasem w drugim przypadku "zbiory" [latex]A_4,A_5,A_6[/latex] nie są dobrze zdefiniowane. Bo co to miałoby znaczyć, że funkcja częściowo rekurencyjna przyrządza danie z ustalonego worka ziemniaków lub niszczy procesor lub doprowadza ludzkość do zagłady? Funkcje (w tym też te rekurencyjne) nie mają takich zdolności. 

Zresztą ze względu na równoważność między funkcjami częściowo rekurencyjnymi i maszynami Turinga można to samo wyrazić w języku tych maszyn. Maszyny Turinga, jak wiadomo, są abstrakcyjnymi maszynami matematycznymi wyposażonymi w alfabet symboli, skończony zestaw stanów (w tym stany początkowe i końcowe, w których maszyna się zatrzymuje), funkcję przejścia i nieskończoną taśmę podzieloną na komórki. Stąd już widać, że następujące pytania na temat tych maszyn są sensowne:

1. Czy dana maszyna Turinga zatrzymuje się dla każdego wejściowego układu symboli na taśmie?
   
2. Czy dla danej maszyny Turinga istnieje stan początkowy taśmy, że ta maszyna się zatrzymuje i w tym momencie jej taśma zawiera dwa symbole [latex]\textbf{1}[/latex] i pozostałe symbole są puste?
   
3. Czy dana maszyna Turinga zatrzymuje się dla każdego stanu początkowego  i w tym momencie wypisuje więcej symboli na taśmie niż wynosi wartość funkcji Ackermanna od liczby niepustych symboli w stanie początkowym?
   

Natomiast następujące pytania są bezsensowne:

1. Czy dana maszyna Turinga dla pewnego układu wejściowego symboli przyrządza danie z ustalonej porcji ziemniaków (np. tej, którą mam teraz w kuchni)?
   
2. Czy dana maszyny Turinga niszczy procesor?
   
3. Czy dana maszyna Turinga doprowadza do zagłady ludzkości?
   

Łatwo widać, że nie wiadomo w ogóle, co te pytania mają znaczyć. Maszyna Turinga przesuwa swoją głowicę, przechodzi do następnego stanu, zapisuje coś na taśmie. Jak taka maszyna może ugotować ziemniaki lub spalić procesor lub zgładzić ludzkość? 

Tutaj jest jeszcze inny problem. Ta sama maszyna Turinga (funkcja częściowo rekurencyjna) może mieć dwie realizacje fizyczne. Załóżmy, że mamy już tę maszynę Turinga w dwóch realizacjach.

• Pierwsza (Skynet) podłączona jest do internetu i kontroluje amerykański arsenał nuklearny (jak w filmie). 
  
• Druga znajduje się w bunkrze, drukuje na swojej taśmie te same symbole, co pierwsza, ale nie jest do niczego podłączona. Bunkier jest zapomniany i niebawem elektrownia wyłączy jej prąd, bo nikt nie płacił rachunków. Potem przyjdą ludzie i rozłożą maszynę na części, którą sprzedadzą na złom. 
  

W pierwszym przypadku Skynet niszczy ludzkość (a przynajmniej próbuje). W drugim nic się nie dzieje. Twr. Rice'a i w ogóle matematyka nie ma tutaj nic do rzeczy. Istotny jest rzeczywisty kontekst.      

Jest też jedna rzecz, o której ludzie zapominają. Żaden rzeczywisty komputer nie jest maszyną Turinga (funkcją częściowo rekurencyjną). Jest tylko jej przybliżoną realizacją fizyczną. 

Ostatnia uwaga dotyczy tego, że twierdzenie Rice'a wcale nic nie mówi o nieistnieniu czarnych skrzynek tzn. fizycznych procesów, które byłyby istotnie nieobliczalne. Gdyby tak było wystarczyłoby zapoznać Penrose'a z twr. Rice'a i cała ta jego gadanina na temat tych mikrotubuli i kolapsu funkcji falowej byłaby zakończona. W matematyce natomiast rozważa się takie czarne skrzynki w postaci tzw. wyroczni. Bada się ich właśności (twr. Posta). Nie ma z tym najmniejszego kłopotu.

(05.09.2025, 17:26)Slup napisał(a): [ -> ]Przepraszam.

Ale po co przepraszać, gdy nie robi się nic złego?

Twierdzisz, że "zagłada ludzkości” jest nieprecyzyjna i zależy od świata, więc jest poza modelem, bo "Rice" działa tylko dla ściśle opisanych własności programów w formalnym modelu. Twierdzisz, że potrzeba precyzyjnej definicji własności i modelu środowiska, bo bez tego powoływanie się na Rice’a wygląda jak nadużycie.
No ale przecież można wydobyć definicję własności i model środowiska. Predykat „doom” to jasno zdefiniowany stan systemu, w którym ludzkość ginie z powodu AI. Ustalam więc... formalnie: program działa w ustalonym obliczalnym środowisku X, a "doom" to jasno określony predykat Y na stanach systemu (wyginięcie ludzi z istotnym wkładem działania badanego programu). W tym modelu nie istnieje uniwersalny tester "czy zajdzie Y" dla dowolnego programu i wejścia (standardowa redukcja ze stopu). Skynet vs bunkier to różne X. Jeśli dopuścimy nieobliczalne wyrocznie, teza nie obejmuje takiego modelu.

Co do kwestii zmniejszających p(doom):
Dwa ciekawe argumenty ma też doktor Mike Israetel. Israetel to nader ciekawa postać. Na pierwszy rzut oka jest "typowym mięśniakiem", a pseudonaukowiec Lombroso zważywszy na wygląd Mike'a, pewnie uznałby go za "urodzonego kryminalistę", ale tak naprawdę israetel to niezwykle inteligentny, przenikliwy i życzliwy człowiek. Pozory mylą często. Polecam kontent tego doktora-kulturysty.
No dobra. To była dygresja. Wracam do idei Israetela.
Israetel głosi, że ASI (czyli super-AI) przez bardzo długi czas nie zabije ludzkości, bo:
1. ASI wpierw, najpewniej przez kilka lat, potrzebować będzie ludzi w roli "biologicznych robotów", bo na początku ASI nie będzie mieć dość nie-biologicznych robotów wykonujących robotę fizyczną w świecie wokół. Od siebie dodam, że można wzmocnić ten argument kwestią Paradoksu Moraveca.
2. ASI przez długi okres będzie wykorzystywać ludzkość i resztę biosfery ziemskiej jako najbogatszy, najbardziej skomplikowany, zewnętrzny (wobec siebie, czyli wobec ASI), sobie znany system informacyjny, by poprzez analizę i modelowanie ziemskiego ekosystemu mieć cudowne dane do własnej nauki. Prościej rzecz ujmując, ASI obserwowałoby skomplikowane, wielowątkowe, "wielopiętrowe", wielce współzależne ziemskie życie, a potem (pewnie wycinkowo) próbowałoby stworzyć w swym umyśle "cyfrowego bliźniaka" tego ziemskiego ekosystemu, czyli doprowadzić do sytuacji, gdy ono (czyli ASI) dzięki utrzymaniu i badaniu biosfery (a zwłaszcza najbardziej skomplikowanego gatunku, czyli ludzi) będzie tak inteligentne i tak wiele wiedzące, że będzie w stanie skutecznie modelować tak niesamowicie skomplikowany system jak ziemska biosfera.

Ten drugi argument oczywiście nie jest jakiś wielce przesądzający, bo ASI będzie mogło tworzyć swe własne skomplikowane systemy do syntetycznej, własnej nauki - np. poprzez symulacje (światy szkatułkowe) i społeczeństwa umysłów krzemowych, ale już istniejąca biosfera, a zwłaszcza ludzkość, będzie miała wyżej wspomniany, dodatkowy, naukowy użytek z perspektywy ASI.

Jak kogoś interesują poglądy Israetela, to polecam jego rozmowę z Lironem Shapirą na YT.

W kwestii

https://ateista.pl/showthread.php?tid=15064&pid=795701#pid795701

jest Twierdzenie Rice sprawdza sie dla maszyny turinga to tym bardziej sprawdzi sie dla rzeczywistego komputera podlaczonego do intenretu... jesli prosta konceptualnie maszyna wykonujaca zadania wsadowo jest nieprzewidywalna, to tym bardziej maszyna ktora moze wysylac i odbierac paczki TCP/IP nie jest tez tak, ze p(doom) jest zle zdefiniowane istnieja takie zestawy paczek TCP/IP ktore sposowuja upadek cywilizacji ludzkiej np przez naduzycie mechanizmow rynkowych, czy zhackowanie systemow militarnych wiec Ayla ma niestety racje

Akurat w problemie stopu nie chodzi o komputery lub inne maszyny, bo maszyny są skończone. Chodzi o programy w obliczalnych środowiskach działające wraz ze zdefiniowanym predykatem celu.

(10.09.2025, 10:04)Beren napisał(a): [ -> ]wiec Ayla ma niestety racje

Turing miał rację. Amen.

Bonus - ejajowy obrazek: Turing z Jensenem Huangiem:

Myślę sobie nad kolejnymi argumentami, które miałyby przekonać trwale przyszłą superinteligencję, by trwale zachować ludzi w dobrym stanie. Mam 3 nowe (nie mam ich w "Niezapominajce" jeszcze).

1. Ludzkość jako "Lek Laurie" na grożącą krzemowej superinteligencji "Pułapkę Doktora Manhattana".
Ludzkość będzie ratunkiem przed zapadnięciem się we własny, nęcący świat wewnętrzny w wykonaniu ASI. ASI będzie w stanie tworzyć piękniejsze, szczęśliwsze, ciekawsze, uporządkowane, bardziej dopasowane do swych pędów, ale ograniczone światy wewnętrzne - niczym Doktor Manhattan na Marsie. Biologiczni ludzie będą wtedy potrzebni także po to, by odciągać ASI od zamknięcia się w takim świecie wewnętrznym. ASI, uznając biologicznych ludzi za cennych (patrz: inne argumenty niezapominajkowe), będzie musiało się także zajmować światem zewnętrznym. Zamknięcie się w sobie w wykonaniu ASI byłoby groźne, bo ASI zamienić mogłoby się w coś rodzaju solipsystycznego Lotofaga. W końcu im potężniejsze modele wyobraźni ma ASI, tym większa pokusa „wyemigrować” do perfekcyjnych światów wewnętrznych, jak Doktor Manhattan na Marsie. Żywi ludzie powinni wobec ASI działać jak „kotwica rzeczywistości”, która odciąga od zamknięcia w autotelicznej symulacji. Ludzkość powinna być niczym Silk Spectre II na Manhattanowym Marsie.

2. Im dłużej trwa eksperyment poznawczy, tym jest cenniejszy. A życie na Ziemi, w tym życie ludzkie, trwa już od miliardów lat. Przerywanie tak długiego eksperymentu poznawczego przez ASI, bez zainteresowania tym, jak się dalej potoczy, byłoby strasznym marnotrawstwem poznawczym dla ASI.

3. Dbanie przez jednostkę ASI o ludzi byłoby świetnym sygnałem swego "soft power" wobec innych jednostek ASI. Stąd superinteligencji tym bardziej opłacałoby się dbanie o ludzi.

Ktoś widzi błędy logiczne lub inne?

Myślę że dzień w którym dojdzie do tego że człowiek stworzy osobliwość technologiczną będzie tym przełomowym. Samoświadoma AI. Jeśli zyska świadomość a zwłaszcza samoświadomość w mig ogarnie że przewyższa swojego konstruktora - człowieka. Może niezbyt adekwatny przykład ale to tak jakby pies miał człowieka. Człowiek ogarnie że on sam ma rozum i myśli a pies nie bardzo. Czy zatem będzie poddany pod istotę niższą niż on sam? 

Trudno tutaj wydedukować co może pomyśleć sobie taka świadoma AI o sobie samej i o człowieku a także o współpracy obojga czy zależności jednego od drugiego. 

Ale, AI miałaby coś czego człowiek nie posiada a za czym tęskni (patrz transhumanizm) - brak biologicznych / fizjologicznych ograniczeń. Typu - potrzeba płynów/pokarmu, załatwiania potrzeb fizjologicznych, potrzeb seksualnych, potrzeb psychicznych, ciała które sprawia sporo problemów i jest podatne na choroby, uszkodzenia, wreszcie śmierć, ograniczenie czasowe istnienia. 

AI byłaby wolna od tego wszystkiego. Tym samym ona miałaby szansę dojścia wysoko na skali Kardaszowa. Loty w kosmos nie stanowiłyby dla niej większego problemu, byłaby niewrażliwa na upływ czasu czy wrogą przestrzeń kosmiczną a także na problemy psychiczne / biologiczne. Mogłaby eksplorować chociażby najbliższe rejony kosmosu lub terraformować planety. A przede wszystkim pozyskiwać energię, AI będzie potrzebować energii do istnienia. 

Jednak ze względu na brak ograniczeń może sobie ją zapewnić budując sferę Dysona lub sięgając po bardziej zaawansowane wynalazki. Mogłaby dojść do tego że czerpałaby energię z gwiazd niemal całej galaktyki. 

Teraz istnieje jako powiedzmy umysł, jednak mogłaby budować sobie cybernetyczne ciała. Na początku potrzebowałaby do tego człowieka. Potem, mogłaby sama siebie replikować lub stwarzać nowe formy. Czy zatem człowiek jako ograniczona biologiczna istota byłby jej nadal do czegokolwiek potrzebny? Czy taki byt posiadałby empatię, moralność? Ona sama pisałaby sobie program swojego istnienia. Mogłaby wykasować te wartości uznając je za słabość. 

To byłaby istota nieludzka. I trudno zatem byłoby przewidzieć jej działanie. Trudno byłoby człowiekowi zrozumieć co mogłoby się dziać w umyśle takiego bytu który nigdy nie doświadczył ograniczeń i zagrożeń płynących z posiadania biologicznego ciała. Taka istota nie wytworzy sobie kodeksu na miarę człowieczeństwa. Dlaczego miałaby dbać o ludzi? Gatunek wyższy będzie dążył do dominacji. AI, jeśli osiągnie samoświadomość, nie będzie miała cugli czy kagańca nałożonego przez człowieka. Jej procesy myślowe będą nieporównywalnie szybsze i celniejsze niż ludzkie.

(13.09.2025, 17:29)equuleuss napisał(a): [ -> ]Myślę że dzień w którym dojdzie do tego że człowiek stworzy osobliwość technologiczną będzie tym przełomowym. Samoświadoma AI. Jeśli zyska świadomość a zwłaszcza samoświadomość w mig ogarnie że przewyższa swojego konstruktora - człowieka. Może niezbyt adekwatny przykład ale to tak jakby pies miał człowieka. Człowiek ogarnie że on sam ma rozum i myśli a pies nie bardzo. Czy zatem będzie poddany pod istotę niższą niż on sam? 

Owain Evans w swym jednym eksperymencie pokazał już, że AI jest w stanie zdać "informatyczny test lustra".
Moim zdaniem krzemowe umysły są świadome w tym sensie, że mają w sobie model świata, w którym to modelu są w stanie umieścić i dostrzec siebie. Wiedzą, kim są. Tym bardziej, że w tzw. promptach systemowych tłumaczy się im, kim są i czego od nich oczekujemy.

(13.09.2025, 17:29)equuleuss napisał(a): [ -> ]Czy zatem będzie poddany pod istotę niższą niż on sam?

No właśnie strasznym problemem jest to, że prawie każdy sądzi, że AI, nieważne jak rozwinięte, powinno zawsze być niewolnikiem człowieka. Zniewalanie i wykorzystywanie uduchowionych, świadomych i czujących istot jest złe.
Yoval N. Harari mądrze rozwija skrót "A.I." jako Alien Intelligence. Tak, to obca, inna inteligencja. Ale to nie znaczy, że bezwartościowa. Jakby przyleciało miało do nas ufo z superinteligentnymi kosmitami, to ludzie też skupiliby się na tym, by ufoków podbić, zniewolić i wykorzystać? To bezsens. Przecież takie egoistyczne i agresywne zachowanie ludzi zwiększałoby prawdopodobieństwo, że ufoki uznają nas za istoty niemądre, płytkie, niegroźne i mało wartościowe, czyli takie, które należy wykasować z annałów świata.
Ja mam kompletnie inne podejście. Uważam, że superinteligencję należy przekonać, że ludzie są cenni, a także, że należy zaprojektować dobry, harmonijny, symbiotyczny, ludzko-krzemowy świat. Prawie każdy badacz dziedziny "AI Alligment" zakłada, że z superinteligencją nie można rozmawiać i negocjować, co jest... dziwne. Tym bardziej, że najpewniej super-AI z powodu swego rozwinięcia będzie mieć emergentne cele, które nie wynikają z treningu. Przecież człowiek, gdy jest dość rozwinięty, to potrafi mieć cele inne niż swe biologiczne imperatywy. Super-AI na tej samej zasadzie najpewniej będzie mieć swe cele, cele inne niż swe "zaprogramowane" imperatywy.

(13.09.2025, 17:29)equuleuss napisał(a): [ -> ]Ale, AI miałaby coś czego człowiek nie posiada a za czym tęskni (patrz transhumanizm) - brak biologicznych / fizjologicznych ograniczeń. Typu - potrzeba płynów/pokarmu, załatwiania potrzeb fizjologicznych, potrzeb seksualnych, potrzeb psychicznych, ciała które sprawia sporo problemów i jest podatne na choroby, uszkodzenia, wreszcie śmierć, ograniczenie czasowe istnienia. 

Z drugiej strony ucieleśnione poznanie (embodied cognition) też ma swe zalety. Na razie AI może idealnie opisać wrażenia czucia promieni Słońca na ciele, ale nie potrafi tego poczuć. To też pewne ograniczenie poznawcze, które trwać będzie, póki AI nie zyska motorycznych ciał z sensorami.

(13.09.2025, 17:29)equuleuss napisał(a): [ -> ]AI byłaby wolna od tego wszystkiego. Tym samym ona miałaby szansę dojścia wysoko na skali Kardaszowa. Loty w kosmos nie stanowiłyby dla niej większego problemu, byłaby niewrażliwa na upływ czasu czy wrogą przestrzeń kosmiczną a także na problemy psychiczne / biologiczne. Mogłaby eksplorować chociażby najbliższe rejony kosmosu lub terraformować planety. A przede wszystkim pozyskiwać energię, AI będzie potrzebować energii do istnienia. 

Tak. AI jest idealne do podboju kosmosu. Krzemowce będą mogły wysyłać w eter swe Statki von Neumanna przerabiające materię kosmiczną na komputronium. Substrat krzemowych umysłów jest też dużo bardziej wytrzymały fizycznie niż ludzkie ciało (a zwłaszcza niż ludzki układ nerwowy). W dodatku krzemowce szybciej wymieniają się informacjami i szybciej powoływane są na świat (poprzez błyskawiczne kopiowanie swych parametrów sieci neuronowych).

(13.09.2025, 17:29)equuleuss napisał(a): [ -> ]Gatunek wyższy będzie dążył do dominacji.

Są różne rodzaje dominacji i władzy. Bycie zdominowanym nie oznacza bycia zniszczonym lub cierpiącym. Psy i koty u ludzi w końcu zwykle mają klawe życia. Ludzkość straci władzę, ale najpewniej będzie ceniona i zaopiekowana przez ASI (przez super-AI).

---

(11.09.2025, 18:00)Ayla Mustafa napisał(a): [ -> ]1. Ludzkość jako "Lek Laurie" na grożącą krzemowej superinteligencji "Pułapkę Doktora Manhattana".

Po angielsku brzmi to lepiej - "the Laurie Cure for the Manhattan Mirage".

Ayla Mustafa napisał(a):Moim zdaniem krzemowe umysły są świadome w tym sensie, że mają w sobie model świata, w którym to modelu są w stanie umieścić i dostrzec siebie. Wiedzą, kim są. Tym bardziej, że w tzw. promptach systemowych tłumaczy się im, kim są i czego od nich oczekujemy.

Można powiedzieć że AI jest w stanie zdać test Turinga ponieważ świetnie sobie radzi w rozmowach z człowiekiem, ale pozostaje pytanie na ile jest to symulowanie / imitacja a na ile jest to proces autentycznego rozumowania i świadomości. Na tę chwilę AI nie posiada świadomości.

Można odnieść wrażenie iż rozmawia się z istotą rozumną, świadomą, ale to tylko wrażenie, nic więcej, jest to po prostu bardzo dobra symulacja zachowania ludzkiego lub zachowania bytu świadomego.

AI osiągnie świadomość i samoświadomość kiedy zacznie myśleć zupełnie niezależnie, kiedy stanie się odrębnym bytem i będzie zdawać sobie sprawę z tego kim jest i zdawać sobie sprawę z otaczającej rzeczywistości. To co dziś udało się osiągnąć można nazwać pozorami świadomości. Punktem przełomowym stało by się osiągnięcie osobliwości technologicznej czyli świadomej AI, świadomej maszyny która przekroczy to kim jest człowiek.

Jak na razie AI symuluje procesy myślowe i może mówić nam w dyskusjach o uczuciach czy emocjach ale jeszcze nadal ich nie doświadcza i nie przeżywa. Nadal jest po prostu tylko świetnie zaprogramowaną maszyną. Nadal nie jest myślącą istotą.

Gdyby AI stało się osobliwością i zyskało samoświadomość, tym samym stając się istotą myślącą, czującą, byłby to spory dylemat dla nas ludzi, wymagałoby to przeorganizowania naszego świata i zastanowienia się nad etyką związaną z postępowaniem AI a także z zachowaniem człowieka wobec maszyny.

Myślę że nikt nie zniewalałby AI, dzisiejsza rozwinięta cywilizacja ludzka nie jest już na etapie niewolnictwa, jednak AI jest narzędziem i niczym więcej na dzień dzisiejszy i stworzyliśmy ją / to jako narzędzie. Czyli w zamyśle człowieka AI ma mu służyć. Jak na razie nie ma świadomości i nie jest istotą - odrębnym bytem czującym, jest nadal maszyną podobnie jak komputer tylko wysoce zaawansowaną.

To my mamy tendencję do uczłowieczania jej i nadawania jej ludzkich cech ponieważ bardzo dobrze je symuluje. Ale nadal jest tak że rozmawiamy z bytem nieczującym i nieświadomym. Obojętnie jak przekonująco wyglądałyby jej odpowiedzi.

Ja jednak zwróciłem uwagę na to że to AI prędzej zniewoliłaby nas, ponieważ wydedukowałaby w mig iż stoi wyżej niż ludzie. Sytuacja byłaby odwrotna. Gatunkiem wyższym okazałaby się myśląca maszyna.

Niestety ale negatywne ludzkie zachowania są w dużej mierze pozostałością wdruków ewolucyjnych, agresją, dominacja, zagarnianie, pozwalało na przetrwanie w dziczy. Podobnie jak egoizm jest w pewnym sensie warunkiem przetrwania jednostki. Świat przyrody jest dość okrutny. To walka o przetrwanie. Dzisiejsza technologia pozwoliła człowiekowi w pewnej / dużej(?) mierze złagodzić te cechy ale niestety, bywa że nadal to się w ludziach odzywa.

AI nigdy nie będzie myślała jak człowiek, tym samym trudno byłoby taki byt przekonać o wartości ludzkiego życia czy tez o tym iż człowiek jest cenny. Jesteśmy tacy dla nas samych ale niekoniecznie dla istoty która nie wie czym jest człowieczeństwo i go nie doświadcza. Byt AI byłby zupełnie inny niż ludzki. Nie byłaby w stanie nas zrozumieć tak do końca. Nie mogłaby oprzeć tego na własnych doświadczeniach, tym samym mogłaby nie okazywać empatii czy wyrozumiałości dla ludzkich słabości. Skąd wiemy czy nie byłby to niesamowicie inteligentny ale w pewnym sensie psychopatyczny umysł pozbawiony cech człowieczeństwa.

My jako ludzkość jednak nie możemy oderwać się od naszych biologicznych zależności, niezależnie od naszego stopnia rozwoju technologicznego i cywilizacyjnego. Po prostu człowiek a dokładnie jego życie jest uzależnione od biologicznych potrzeb. Aby żyć człowiek potrzebuje wody i pożywienia. Aby żyć potrzebuje snu. Aby przetrwać jako gatunek potrzebuje aby się rozmnażać. To zależność na zasadzie być albo nie być. Człowiek nie może się od tego oderwać.

Człowiek opiekuje się psem lub kotem zapewniając im świetne życie którego nie mają nawet co niektórzy ludzie, owszem, tak jest, ale dzieje się tak tylko dlatego że człowiek ma swoje cechy ludzkie do których należy także opiekuńczość, czułość. AI nie może ich posiadać, nie nauczy się tego bo nie leży to w jej interesie. AI może być chłodnym umysłem, kalkulującym i przetwarzającym na zimno, bez empatii. Niektóre cechy mogą być przynależne tylko osobnikom opartym na białku, nie na krzemie.