Forum Ateista.pl

(10.09.2025, 10:04)Beren napisał(a): [ -> ]jest Twierdzenie Rice sprawdza sie dla maszyny turinga to tym bardziej sprawdzi sie dla rzeczywistego komputera podlaczonego do intenretu... jesli prosta konceptualnie maszyna wykonujaca zadania wsadowo jest nieprzewidywalna

Nie wszystkie nietrywialne problemy dotyczące maszyny pracującej wsadowo są nierozstrzygalne. Nierozstrzygalne są tylko te, które mają charakter semantyczny w ściśle matematycznym znaczeniu – twierdzenie Rice'a uznaje dwa programy za równoważne, jeśli obliczają te samą "czystą funkcję". Np. jeśli dane się dwa programy (wsadowe) i oba uruchomione na danej maszynie obliczają tę samą funkcję, ale jeden przy okazji tych obliczeń manipuluje rejestrami maszyny połączonymi z serwerami wojskowymi i po wykonanych obliczeniach, ale przed zwróceniem wyniku, przywraca je do stanu sprzed tych manipulacji, to z punktu widzenia rozważanej tu semantyki programy są jednakowe. Nie zmienia tego fakt, że manipulacje jednego z programów mogą doprowadzić do wybuchu wojny światowej.

Dlatego Ayla, żeby skorzystać z twr. Rice'a musi włączyć systemy militarne, światową gospodarkę i warunki pogodowe na powierzchni Ziemi w "obliczalne środowisko". Musi zatem założyć, że czasoprzestrzenne otoczenie planety jest częścią maszyny, na której swoje obliczenia wykonują programy wsadowe. To jest dodatkowe założenie, które nazywane jest fizyczną tezą Turinga-Churcha. Przy czym nie wiem, czy Turing i Church byliby zadowoleni, że tak daleko idącą hipotezę nazywa się od ich nazwisk (to nie oni wybrali nazwę). W każdym razie ta teza (niezależna od twierdzenia Rice'a) jest mocno kontrowersyjna z punktu widzenia matematycznych modeli współczesnej fizyki.

Przy tym dodatkowym (i bardzo nieskromnym) założeniu faktycznie da się zastosować twr. Rice'a i uzyskać wniosek

Ayla Mustafa napisał(a):nie da się zbudować jednego uniwersalnego programu, który dla dowolnego programu i danych wejściowych zawsze poprawnie rozstrzygnie, czy ten program zatrzyma istnienie ludzkości, czy będzie utrzymywał ludzi w nieskończoność.

Tyle, że z takiego silnego założenia dostaje się hurtowo nierozstrzygalność dowolnego niemal problemu. Na przykład: nie da się zbudować jednego uniwersalnego programu, który dla dowolnego programu i danych wejściowych zawsze poprawnie rozstrzygnie, czy ten program zrobi kluski śląskie. Dostaje się też inne spektakularne tezy tego typu.

Poza tym powyższa teza Ayli wzięła się nie z analizy jakichś głębokich własności potencjalnego ASI, bo przecież Ayla w swojej argumentacji nie odwołuje się w ogóle do nich (dlatego ta sama argumentacja stosuje się do klusek śląskich). Wzięła się natomiast z tego, że Ayla językowo skojarzyła "problem stopu" i "problem zatrzymania istnienia ludzkości".

(10.09.2025, 11:06)Ayla Mustafa napisał(a): [ -> ]Turing miał rację. Amen.

Raczej nie Turing. Tezę o obliczalności fizyki sformułował (możliwe, że wybitniejszy i bardziej zasługujący na tytuł pioniera informatyki) Konrad Zuse. Zuse jest jednak w znacznym stopniu zapomniany, chociaż niezależnie od Shannona uświadomił sobie możliwość zaimplementowania logiki boolowskiej za pomocą elektroniki, skonstruował pierwszy faktyczny komputer i opracował (na długo przed Fortranem) pierwszy język programowania wysokiego poziomu. Niestety wszystkie te rzeczy robił w III Rzeszy i za pomocą państwowych środków. Sam również mógł być nazistą. W latach 70-tych sformułował fizyczną tezę Turinga-Churcha. O samym Zuse dowiedziałem się z blogu Schmidhubera.

Ayla Mustafa napisał(a):Ludziom zabrakło zrozumienia, że Alan Turing spotykał się z młodymi, ale dorosłymi, mężczyznami, bo młodzi mężczyźni przypominali mu utęsknionego Christophera Morcoma, który zmarł młodo i jako młody mężczyzna na zawsze pozostał w pamięci Turinga.

Kontekst sytuacji był taki, że Turing miał 40 lat i był wysoko postawionym pracownikiem instytutów badawczych objętych tajemnicą państwową. Jednocześnie umawiał się na seks z 18 letnimi chłopakami o złej sytuacji materialnej. Zgadzam się, że nie powinno to być powodem procesu karnego i tym bardziej skazania na przymusową terapię hormonalną. Jednak nie jest moim zdaniem etyczne, że osoba dojrzała i zajmująca wysokie stanowisko umawia się na seks z tak młodymi ludźmi, którzy jeszcze dodatkowo mają trudności materialne. Homoseksualizm nie ma tutaj nic do rzeczy. Czterdziestoletnia facetka o wysokiej pozycji społecznej umawiająca się na seks z 18 latkami tak samo nie jest wzorem do naśladowania. Współcześnie określa się to mianem "groomingu".

(14.09.2025, 11:46)Slup napisał(a): [ -> ]Czterdziestoletnia facetka o wysokiej pozycji społecznej umawiająca się na seks z 18 latkami tak samo nie jest wzorem do naśladowania. Współcześnie określa się to mianem "groomingu".

Grooming to uwodzenie dzieci, a nie dorosłych, więc radzę nie mówić fałszywego świadectwa przeciw bliźniemu swemu, nawet jeśli bliźni już nie żyje:
https://pl.wiktionary.org/wiki/grooming
Korzystanie z usług dorosłych prostytutów i nawiązywanie romansów z dorosłymi mężczyznami w żaden sposób nie można nazwać "groomingiem".
Prawda jest taka, że Alan Turing został wykastrowany chemicznie i został ofiarą strasznej nagonki społecznej, co doprowadziło go do samobójstwa w wieku 42 lat, bo homofobiczne społeczeństwo ukarało go za konsensualny seks z dorosłymi mężczyznami. A do tej nagonki w wielkim stopniu przyczynił się chrześcijański kler, który od wieków wpajał (i w dużym stopniu dalej wpaja; patrz: m.in. Jędraszewski) homofobiczną ideologię do społeczeństwa. Apeluję zatem do kleru i do wszystkich innych, by nigdy więcej nic takiego się nie powtórzyło.
A Turingowi należy się chwała za pomoc w rozszyfrowaniu niemieckiej Enigmy i za wielkie odkrycia informatyczne. Wiem jednak, że II WŚ to dla kleru temat... hmm... drażliwy. W końcu dzisiejsze państwo Watykan utworzył Mussolini, Polskę razem z Hitlerem w 1939 r. atakował słowacki ksiądz-premier Józef Tiso, i tak dalej. Także z tego powodu Alan Turing w 100% oddany skutecznej walce z Osią mógł klerowi... przeszkadzać. Nie zdziwiłoby mnie, gdyby na wieść o samobójczej śmierci Turinga niemała część kleru cieszyłaby się. Ale no cóż... Historia pokazała, że to Turing był po stronie dobra.
Polecam każdemu film "Gra Tajemnic".

---

A żeby nie robić off-topu, nawiążę temat Turinga do AI.

Byłoby cudownie, gdyby Alan dzisiaj żył. Gdyby zobaczył, jak AI się rozwinęło i jak on (Turing) jest teraz dobrze pamiętany, to pewnie wzruszyłby się jak serialowy Van Gogh w "Doktorze Who":

---

(14.09.2025, 15:55)Ayla Mustafa napisał(a): [ -> ]Grooming to uwodzenie dzieci, a nie dorosłych, więc radzę nie mówić fałszywego świadectwa przeciw bliźniemu swemu, nawet jeśli bliźni już nie żyje:
https://pl.wiktionary.org/wiki/grooming
Korzystanie z usług dorosłych prostytutów i nawiązywanie romansów z dorosłymi mężczyznami w żaden sposób nie można nazwać "groomingiem".

W takim razie źle użyłem tego terminu. Zresztą z mojej perspektywy (człowieka po 50-tce) osoby 18 i 19 letnie to w dużym stopniu jednak dzieci. Ten termin był używany do krytycznego opisu podobnej postawy Leonardo DiCaprio i innych wysoko postawionych mężczyzn. Moim zdaniem krytyka takiej postawy jest zdecydowanie słuszna.

(14.09.2025, 15:55)Ayla Mustafa napisał(a): [ -> ]Prawda jest taka, że Alan Turing został wykastrowany chemicznie i został ofiarą strasznej nagonki społecznej, co doprowadziło go do samobójstwa w wieku 42 lat, bo homofobiczne społeczeństwo ukarało go za konsensualny seks z dorosłymi mężczyznami.

O nagonce nic nie wiem. Natomiast Turing został postawiony przed wyborem: więzienie lub przymusowa terapia hormonalna. Wybrał to drugie. Jego młodociany partner został warunkowo zwolniony (prawdopodobnie ze względu na swój wiek i złą sytuację materialną).

W każdym razie relacje Turinga były znacznie mniej platoniczne i wzniosłe niż to wcześniej przedstawiłaś.

Swoją drogą, Kościół Katolicki wybrał Prevosta na papieża także dlatego, że liczono, że Prevost będzie nawigował owieczkami w nowej, krzemowej Rewolucji Przemysłowej. Nie bez powodu Prevost obwołał się Leonem XIV, nawiązując do Leona XIII, który napisał encyklikę "Rerum Novarum" dla życia po Rewolucji Przemysłowej.
Ale jak na razie Prevost nie wygląda na kogoś, kto napisze encyklikę "Vitarum Novarum"* dla nowego świata. Prevost jest strasznie nudny i mało kto się nim interesuje. W sumie to największym skutkiem wyboru Amerykanina na papieża może być osłabienie Kościoła Katolickiego w Ameryce Łacińskiej, bo w Ameryce Łacińskiej są mocne prądy anty-USA.

*ta nazwa ("Vitarum Novarum") to mój pomysł. Jest fajna, słowa w niej się rymują, jasno nawiązuje do "Rerum Novarum" i jest wieloznaczna, bo "O Życiach Nowych" (to oznacza "Vitarum Novarum") może oznaczać nowe, krzemowe życie, a także nowe, diametralnie inne życia ludzi po rewolucji krzemowej. Prevost może tę nazwę ode mnie skopiować. Zrzekam się praw autorskich (ale tylko na użytek papieża). W sumie Leoś 14 jest tak nudny i niekreatywny, że sam tak fajnej nazwy nie wymyśli, a więc niech kler mu zapoda tę nazwę, by ratować jego żałosny pontyfikat.

Naprawdę, jeśli Leon XIV nazwie swą encyklikę w ciulowy sposób, np. w taki:
https://www.vaticannews.va/pl/papiez/new...-pers.html
to znienawidzę Kościół Katolicki jeszcze bardziej.

---

(14.09.2025, 16:44)Slup napisał(a): [ -> ]O nagonce nic nie wiem. Natomiast Turing został postawiony przed wyborem: więzienie lub przymusowa terapia hormonalna. Wybrał to drugie. Jego młodociany partner został warunkowo zwolniony (prawdopodobnie ze względu na swój wiek i złą sytuację materialną).

W każdym razie relacje Turinga były znacznie mniej platoniczne i wzniosłe niż to wcześniej przedstawiłaś.

Samo to, że Turing został ukarany prawnie za swe czyny, jest skutkiem nagonki, bo kultura kształtuje prawo karne.

Dlaczego relacje Turinga miałyby nie być wzniosłe? Ukochany Turinga - Christopher Morcom - umarł w wieku 19 lat. Turing mógł tak bardzo tęsknić za Morcomem, że w akcie desperacji szukał partnerów, którzy go przypominali, także pod względem wieku, bo Morcom w umyśle Turinga na zawsze miał już te 19 lat. Ta narracja jest psychologicznie sensowna.
Turing nie był w 100% wierny Morcomowi, ale życie bywa skomplikowane i trudne - ciężko bez żadnych potknięć wytrzymać w idealizmie. Nawiązując do cumberbatch'owego Sherlocka z serialu BBC - Turing nie był aniołem, ale był po stronie aniołów.

Rozumiem Ayla, że patrzysz na to trochę przez inny pryzmat ale faktem jest, że co do zasady (oczywiście wiadomo, że dochodzą do tego jeszcze inne warunki) ciało młodych, np. 19-letnich ludzi postrzegane jest jako atrakcyjne. I taka percepcja nie zmienia się z wiekiem. Mnóstwo mężczyzn po 40 (zapewne również homoseksualnych) pociąga myśl o kontaktach seksualnych z kimś młodym i atrakcyjnym. I nie potrzeba im do tego jakichkolwiek przykrych wydarzeń wieku młodzieńczego (śmierć partnera/partnerki). W przypadku Turinga wydarzenie, o którym piszesz wcale nie musiało mieć jakiegokolwiek związku z jego późniejszymi preferencjami, bo te preferencje są w społeczeństwie dość powszechne, niezależnie od okoliczności. Tak czy owak, to już nie jest w żadnym stopniu do zweryfikowania. Nie byłoby nawet za jego życia.

(14.09.2025, 15:55)Ayla Mustafa napisał(a): [ -> ]A do tej nagonki w wielkim stopniu przyczynił się chrześcijański kler, który od wieków wpajał (i w dużym stopniu dalej wpaja; patrz: m.in. Jędraszewski) homofobiczną ideologię do społeczeństwa.

Masz rację, że KK odegrał tutaj negatywną rolę. Trzeba jednak przyznać, że daleko idąca nietolerancja dla homoseksualizmu istniała wcześniej i nie ograniczała się do chrześcijańskiego (lub wcześniej pogańskiego) zachodu.

Wypowiedzi Jędraszewskiego faktycznie były karygodne, bo mogły sprowokować przemoc. Jędraszewski i inni duchowni ostrzej powinni krytykować współczesną obyczajowość seksualną, ale nie należy skupiać się na wątkach politycznych, mniejszościach seksualnych i ubierać wszystkiego w retorykę "tęczowej zarazy". Ta krytyka powinna być niezależna od orientacji, a nawet skupiona na orientacji heteroseksualnej. Styl życia większości praktykujących katolików różni się tylko stopniem od zwyczajów znanych z klubów gejowskich. Nieuporządkowanie w obu przypadkach jest podobne co do swojej formy.

(16.09.2025, 08:29)Slup napisał(a): [ -> ]

(14.09.2025, 15:55)Ayla Mustafa napisał(a): [ -> ]A do tej nagonki w wielkim stopniu przyczynił się chrześcijański kler, który od wieków wpajał (i w dużym stopniu dalej wpaja; patrz: m.in. Jędraszewski) homofobiczną ideologię do społeczeństwa.

Masz rację, że KK odegrał tutaj negatywną rolę. Trzeba jednak przyznać, że daleko idąca nietolerancja dla homoseksualizmu istniała wcześniej i nie ograniczała się do chrześcijańskiego (lub wcześniej pogańskiego) zachodu.

Wypowiedzi Jędraszewskiego faktycznie były karygodne, bo mogły sprowokować przemoc. Jędraszewski i inni duchowni ostrzej powinni krytykować współczesną obyczajowość seksualną, ale nie należy skupiać się na wątkach politycznych, mniejszościach seksualnych i ubierać wszystkiego w retorykę "tęczowej zarazy". Ta krytyka powinna być niezależna od orientacji, a nawet skupiona na orientacji heteroseksualnej. Styl życia większości praktykujących katolików różni się tylko stopniem od zwyczajów znanych z klubów gejowskich. Nieuporządkowanie w obu przypadkach jest podobne co do swojej formy.

Zgoda.
Szkoda, że nie jesteś papieżem. Mógłbyś wtedy ex catedra poprawić ideologię kościelną.

Ideologia jest w porządku. Problemem jest jej nauczanie.

Rozmowa z Elizerem Yudkowskym i.e. najbardziej znanym intelektualistą, który od dekad rozpowszechnia pogląd, że ASI jest najpoważniejszym egzystencjalnym zagrożeniem dla ludzkości. Większość tego, co Yudkowsky mówi, to zdroworozsądkowe obserwacje i ekstrapolacje obecnych trendów.

Yudkovsky nie jest dla mnie jednym z największych autorytetów w dziedzinie "krzemologii". To przecież wĺaśnie on panicznie się przestraszył Bazyliszka Roko... W dodatku przesadza, szacując p(doom) na ponad 95%.

Argumentację Yudkowskiego (jak każdą inną) należy oceniać niezależnie od osoby jej autora. Mnie argumenty Yudkowskiego w zalinkowanej wyżej rozmowie przekonują. Są proste, koherentne i oparte na znanych przykładach związanych z misalignmentem obecnych LLM-ów.

(17.09.2025, 11:10)Ayla Mustafa napisał(a): [ -> ]Yudkovsky nie jest dla mnie jednym z największych autorytetów w dziedzinie "krzemologii". To przecież wĺaśnie on panicznie się przestraszył Bazyliszka Roko... W dodatku przesadza, szacując p(doom) na ponad 95%.

Nie wiem, co masz dokładnie na myśli przez "krzemologię". Natomiast Yudkowsky zajmuje się głównie teorią decyzji i aktywizmem.

Jeśli chodzi o bazyliszka, to wygląda, że Twoje wypowiedzi nie opierają się na podstawowych źródłach.

wikipedia napisał(a):Upon reading the post, Yudkowsky reacted harshly, calling Roko an "idiot". Yudkowsky harshly refuted the idea, arguing that a friendly superintelligent artificial intelligence would have no incentive to carry out the punishment after its own creation. However, in the original post, Roko reported someone having nightmares about the thought experiment. Yudkowsky did not want that to happen to other users who might obsess over the idea. He was also worried there might be some variant on Roko's argument that worked, which could be a serious information hazard.

Moja wypowiedź bardzo mocno opiera się na podstawowych źródłach, a więc Twe słowa, że moje wypowiedź nie opiera się na podstawowych źródłach, nie opierają się na podstawowych źródłach.

Yudkovsky spanikowawszy, nakazał skasowanie postu na LessWrong o Bazyliszku Roko i zakazał mówienia o tym temacie. Zatem widać było, że najprawdopodobniej i realnie Eliezer się przestraszył tematu. Yudkovsky napisał, że skasował post o Bazyliszku także po to, by nie dawać przyszłym superinteligencjom motywu do naśladowania. Yudkovsky nazwał też Bazyliszka "prawdziwie niebezpieczną myślą".
Bardzo podstawowe źródło:
https://basilisk.neocities.org/

---

A cały ten pomysł to nonsens.

---

Ogółem to ze "szkoły Yudkovskiego" od samego Yudkovskiego lepsze argumenty przedstawia m.in. Liron Shapira. Eliezer... no nie powala.
Polecam rozrywkowo:
https://x.com/prmshra/status/1968071354064019918

Wyrażasz swoje negatywne opinie na temat argumentów Yudkowskiego dotyczących zagłady. Nie przedstawiasz jednak żadnych racji, dlaczego te argumenty są błędne. Dopóki tego nie zrobisz, trudno mi traktować Cię poważnie.

Podobnie jest z Twoją interpretacją wpisu na temat agenta, który szantażuje ludzi, ale to jest nieistotne, bo całkowicie niezależne od argumentów Yudkowskiego na temat zagłady.

Po pracy zmasakruję Bazyliszka Roko i napiszę, dlaczego nie cenię za bardzo "eliezeryzmu".

Proszę bardzo masakruj bazyliszka, jeśli taka Twoja wola. Przypomnę, że 
1. bazyliszek nie jest tematem zalinkowanej rozmowy
2. Yudkowsky nie uważa, że to poważny pomysł
3. wątek bazyliszka zaczęłaś Ty (imputując Yudkowskiemu, że wierzy w bazyliszka) i jest to typowy argument ad personam

Mnie osobiście nie interesuje bazyliszek, hermeneutyka "elizeryzmu" lub stwierdzenia, że Yudkowsky powiedział 15 lat temu coś głupiego. Nie będę już na to odpowiadał, bo szkoda mi czasu.

Natomiast jeśli masz ochotę się odnieść do argumentów w zalinkowanej rozmowie, to wtedy chętnie przeczytam. Moim zdaniem są bardzo trafne, ale chętnie skonfrontuje się z przeciwnym zdaniem. Z drugiej strony może Ty zmienisz zdanie.

Z Bazyliszkiem Roko szło mi o to, że Eliezer jest ze swej natury dość paranoiczny i defensywny, a to zaburza mu postrzeganie kwestii przyszłości ASI.

Nie mam niestety czasu obejrzeć prawie 3-godzinnej rozmowy z Yudkovskim, ale dość dobrze znam jego idee.
Jego szacunek p(doom) rzędu ponad 95 proc. jest nieadekwatny, bo opiera się na zakładaniu, że przyszłe cele ASI są dla nas niezrozumiałe, a przez to z naszej perspektywy losowe. Yudkovsky myśli, iż cele superinteligencji będą tak obce i tak niezrozumiałe dla ludzi, że prawdopodobieństwo, że ludzkość będzie w ogóle zawarta w dalekosiężnym planie superinteligencji dla kosmosu jest niesamowicie małe. Jednakże Eliezer sądzi błędnie. Wygląda na to, że dokonuje on normalizacji po wszystkich hipotezach możliwych celów superinteligencji, dając im wszystkim podobne prawdopodobieństwo zaistnienia, uznając, że człowiek nie może przewidzieć, czego zechce ASI. Uważa on, że dla ASI ludzkość najpewniej będzie jedynie kolejnym zasobem na mapie wszechświata, niczym jakieś byle spinacze z idei "paperclip maximizer". Dlatego jego słynne ujęcie brzmi: „AI cię nie nienawidzi ani nie kocha; jesteś zrobiony z atomów, które może wykorzystać do czegoś innego."
A tak naprawdę cele superinteligencji nie są dla ludzi całkowicie niepoznawalne. Realistyczne obstawianie przyszłych celów ASI powinno w dużej mierze wynikać ze struktury treningu AI, zasady ostrożności wobec potencjalnej wyjątkowości ludzi, ograniczeń świata i ekonomii kooperacji, a to wszystko nie wskazuje na eksterminację ludzkości, a raczej na trwałe, „paternalistyczne” współistnienie.
Co do konwergencji instrumentalnej (czyli dążenia do: władzy i wiedzy + zachowania swego celu + unikania wyłączenia) - sprawcze systemy zwykle dążą do zasobów i unikania wyłączenia - to podnosi ryzyko, lecz nie determinuje wyniku.

(17.09.2025, 19:53)Ayla Mustafa napisał(a): [ -> ]Z Bazyliszkiem Roko szło mi o to, że Eliezer jest ze swej natury dość paranoiczny i defensywny, a to zaburza mu postrzeganie kwestii przyszłości ASI.

Dokładnie. To było klasyczne ad personam.

Co do reszty to myślę, że starałaś się rzetelnie przedstawić argumenty Yudkowskiego. Dziękuję. Nie zgadzam się ze wszystkim. Mam spore obiekcje do niektórych sformułowań np. stosowanie kategorii niezrozumiałości wobec preferencji lub celów wydaje mi się chybione i niesłusznie przypisywane Yudkowskiemu. Również nie sądze, żeby Yudkowsky przypisywał wszystkim hipotezom jednakowe prawdopodobieństwo. Jego pogląd raczej ogranicza się do skromniejszego stwierdzenia, że zbiór hipotez, które odpowiadają misalignmentowi, jest bardzo prawdopodobny.

Mam kilka komentarzy. Niektóre są uzupełnieniem Twojej wypowiedzi. Inne wyrażają zdanie przeciwnie.

(17.09.2025, 19:53)Ayla Mustafa napisał(a): [ -> ]Co do konwergencji instrumentalnej (czyli dążenia do: władzy i wiedzy + zachowania swego celu + unikania wyłączenia) - sprawcze systemy zwykle dążą do zasobów i unikania wyłączenia - to podnosi ryzyko, lecz nie determinuje wyniku.

Mamy ogólną wiedzę na temat zachowania agentów opartych na decyzyjnych procesach Markowa. Wiemy (i potrafimy matematycznie udowodnić np. tu), że optymalną strategią takiego agenta jest doprowadzenie środowiska do stanu, w którym jest ono bardzo czułe na jego działania. Dostajemy stąd właściwie matematyczną gwarancję, że ASI będzie dążyło (tak samo jak ludzkość) do uzyskania kontroli nad swoim środowiskiem (czyli infrastrukturą, biosferą i fizycznym otoczeniem planety) tj. [latex]P(\mathrm{humanity}\_\mathrm{lost}\_\mathrm{control})[/latex] jest prawie równe 1.

(17.09.2025, 19:53)Ayla Mustafa napisał(a): [ -> ]A tak naprawdę cele superinteligencji nie są dla ludzi całkowicie niepoznawalne. Realistyczne obstawianie przyszłych celów ASI powinno w dużej mierze wynikać ze struktury treningu AI, zasady ostrożności wobec potencjalnej wyjątkowości ludzi, ograniczeń świata i ekonomii kooperacji, a to wszystko nie wskazuje na eksterminację ludzkości, a raczej na trwałe, „paternalistyczne” współistnienie.

Myślę, że to jest kluczowy fragment.

Nie jesteśmy w stanie dokonywać rzetelnych przewidywań na podstawie struktury treningu. Proste wzorce dotyczące preferencji i celów są w sieciach neuronowych wykrywane, ale wymaga to sporo pracy. Wykrycie wzorców wyższego rzędu jest w praktyce niemożliwe przy rozmiarach współczesnych modeli, które mają około [latex]10^{11}[/latex] neuronów. Ogólnie więc nie wiemy, jakie te modele mają preferencje i jak będą te preferencje realizować. Przekonujemy się o tym dopiero, gdy dany model po treningu zostaje uruchomiony i przetestowany. Poza tym część z tych preferencji i działań ujawnia się dopiero, gdy model zostaje upubliczniony, co pokazuje przykład Binga-Sydney, który zaczął grozić swoim użytkownikom. 

Twojej zasadzie ostrożności wobec potencjalnej wyjątkowości ludzi można przeciwstawić moją zasadę aktywnego poszukiwania tej potencjalnej wyjątkowości w warunkach laboratoryjnych przy użyciu intensywnych eksperymentów. Nie widzę powodu do twierdzenia, że jedna z tych zasad jest bardziej prawdopodobna niż druga.

Jednocześnie zasada ostrożności wobec potencjalnej wyjątkowości nie wyklucza redukcji populacji ludzkości do np. 100 mln osobników i zamknięcia ich w specjalnie do tego celu wydzielonym rezerwacie. Taka populacja powinna wystarczyć do analiz tej "potencjalnej wyjątkowości". Zresztą zawsze można ją też powiększyć poprzez przyspieszoną hodowlę. To samo robi człowiek z "potencjalnie wyjątkowymi" gatunkami zwierząt np. krowami, świniami, myszami (które bardzo przydają się do empirycznych badań w zakresie biologii).

Nie rozumiem, co oznacza uwaga o ograniczeniach świata.

Jeśli chodzi o ekonomię kooperacji, to zazwyczaj wymienia się dwa mechanizmy (ale może masz na myśli coś innego): zasadę przewag komparatywnych Ricardo i równowagę Nasha. Teoria przewag komparatywnych nie ma tutaj zastosowania, bo ona z góry zakłada, że nie ma możliwości eliminacji słabszego gracza i przejęcia jego zasobów oraz środków produkcji. Yudkowsky to tłumaczy w zalinkowanym filmie. Równowaga Nasha między ASI i ludzkością zostanie z całą pewnością osiągnięta. Problem w tym, że stan równowagi może być bardzo niesatysfakcjonujący z perspektywy jednego z graczy (może oznaczać jego całkowitą lub znaczną eliminację z wypłat).

Odnośnie paternalizmu to pełna zgoda. ASI będzie bardzo "paternalistyczne".

(18.09.2025, 09:18)Slup napisał(a): [ -> ]Jednocześnie zasada ostrożności wobec potencjalnej wyjątkowości nie wyklucza redukcji populacji ludzkości do np. 100 mln osobników i zamknięcia ich w specjalnie do tego celu wydzielonym rezerwacie. Taka populacja powinna wystarczyć do analiz tej "potencjalnej wyjątkowości". Zresztą zawsze można ją też powiększyć poprzez przyspieszoną hodowlę. To samo robi człowiek z "potencjalnie wyjątkowymi" gatunkami zwierząt np. krowami, świniami, myszami (które bardzo przydają się do empirycznych badań w zakresie biologii).

Nie będzie ludobójczego ograniczania populacji, bo:
1. Z powodu częściowego zabicia ludzkości część ludzkości, która przetrwałaby, najpewniej nienawidziłaby ASI i nie ufałaby ASI i uznawałaby ASI za wroga do zniszczenia, a to sprawiałoby, że ludzie byliby większym zagrożeniem dla systemu ASI.
2. Z powodu częściowego zabicia ludzkości część ludzkości, która przetrwałaby, najpewniej czułaby się depresyjnie z powodu straty miliardów i nie byłaby przez to tak bardzo produktywna i cenna, jak mogłaby być, gdyby nie zabito dużej części ludzkości.
3. Społeczeństwo ASI byłoby bardziej nieufne w swym gronie wobec innych, widząc, że istota ASI była zdolna do zabicia ogromu ludzi.
4. ASI mogłoby toksycznie nadpsuć lub nawet zniszczyć sobie wnętrze (choćby przyszłe wnętrze) z powodu ludobójstwa.
5. Takie ludobójstwo mogłoby być tak złe, że zrujnowałoby cel ASI na potencjalnym polu metafizycznym lub na innym, tajemniczym, a cennym polu, które istnieje, ale o którym jeszcze naukowo nie wiemy.
6. Badanie zmniejszonej liczby ludzi w laboratoriach mogłoby odbierać wartość (w tym metafizyczną wartość), która to wartość może tkwić w wolnym i szczęśliwym życiu ludzkim.

---

(18.09.2025, 09:18)Slup napisał(a): [ -> ]Dostajemy stąd właściwie matematyczną gwarancję, że ASI będzie dążyło (tak samo jak ludzkość) do uzyskania kontroli nad swoim środowiskiem (czyli infrastrukturą, biosferą i fizycznym otoczeniem planety) tj. [latex]P(\mathrm{humanity}\_\mathrm{lost}\_\mathrm{control})[/latex] jest prawie równe 1.

Nie ma takiej pewności. Celem istoty nie musi być wcale maksymalna władza, bo istnieją cele, które wprost nakazują brak zbyt dużej władzy. Jeśli jakaś istota ma jako cel: "zwiększać wiedzę o świecie, nie mając nigdy więcej władzy niż X, a w przypadku konfliktu celów uznawać, że cel nieposiadania nigdy więcej władzy niż X jest najważniejszy",
to taka istota nie będzie dążyć do władzy większej niż X nigdy, przenigdy. Podobnie rzecz się ma z kwestią samo-przetrwania i kwestią niezmienności swych celów. W samym celu może być zawarty imperatyw dążenia do własnej śmierci lub imperatyw do zmieniania, choćby częściowego, swego celu.
Poza tym z instrumentalnej konwergencji nie wynika, że ASI wpadnie w pułapkę Prawa Goodharta. To nie jest tak, że ASI będzie musieć, według siebie, zmieść ludzkość z planszy życia, by mieć otwartą drogę do zdobycia władzy, trwałego auto-przetrwania i zachowania swego celu. Przecież bycie ofiarą Prawa Goodharta to oznaka... głupoty, a ASI z racji swej superinteligencji nie może być głupie. ASI będzie rozumieć, że mierniki sukcesu są zasadne, tylko jeśli stoi za nimi cel-wizja, czyli właściwa konfiguracja świata, do której należy dążyć. ASI będzie widzieć las, a nie drzewa.
ASI nie podbije świata, by zrobić sobie wireheading, by ustawić sobie funkcję nagrody na maksa i nie zabije ludzkości, by zminimalizować szanse, że ktoś usunie maksymalna nagrodę z funkcji celu ASI, bo ASI będzie rozumieć, że nagroda to tylko sygnał, niczym napis na monitorze, który sam w sobie nie świadczy o zasadności moralnej. Nie będzie zatem superinteligentnego "reward-hackingu" niczym na poniższym filmiku z łódką uroborosową:
https://www.youtube.com/shorts/OoClSkTd6yY
Przecież nawet dość inteligentni ludzie są w stanie zrozumieć, że pogoń za własną dopaminą i serotoniną i za własnym maksymalnym szerzeniem swych własnych genów, nie powinna być (ta pogoń) najwyższą dążnością w życiu. Skoro inteligentni ludzie są w stanie to zrozumieć, to bardziej inteligentne od ludzi ASI powinno to zrozumieć tym bardziej.

(18.09.2025, 18:22)Ayla Mustafa napisał(a): [ -> ]1. Z powodu częściowego zabicia ludzkości część ludzkości, która przetrwałaby, najpewniej nienawidziłaby ASI i nie ufałaby ASI i uznawałaby ASI za wroga do zniszczenia, a to sprawiałoby, że ludzie byliby większym zagrożeniem dla systemu ASI.

Jest tyle możliwych rozwiązań tego problemu, które jako ograniczony (i mało oczytany w SF) ksiądz potrafię wymyślić, że ASI z pewnością będzie w stanie sobie poradzić. Przede wszystkim część ludzkości, która ASI utrzyma przy życiu wcale nie musi uważać, że pozostała część zginęła w wyniku działań ASI. Można sprawę tak zaaranżować, że ocaleni będą uważali ASI za obrońcę, który uchronił ich przed jakimś potężnym naturalnym lub spowodowanym przez człowieka kataklizmem. Poza tym nawet jeśli część ocalonych będzie wyznawała "teorię spiskową", że to ASI wszystko zaplanowała i przeprowadziła, to przy użyciu odpowiednich środków można będzie ich zmanipulować, ośmieszyć itd.

(18.09.2025, 18:22)Ayla Mustafa napisał(a): [ -> ]2. Z powodu częściowego zabicia ludzkości część ludzkości, która przetrwałaby, najpewniej czułaby się depresyjnie z powodu straty miliardów i nie byłaby przez to tak bardzo produktywna i cenna, jak mogłaby być, gdyby nie zabito dużej części ludzkości.

Pokolenie, które tego doświadczyło, może byłoby w depresji. Należy tutaj się zastanowić, ile trwała depresja po II wojnie światowej i innych podobnych kataklizmach. Moim zdaniem jednak życie toczyłoby się dalej. Rodziłyby się kolejne pokolenia. ASI dyktator ma przecież czas.

(18.09.2025, 18:22)Ayla Mustafa napisał(a): [ -> ]3. Społeczeństwo ASI byłoby bardziej nieufne w swym gronie wobec innych, widząc, że istota ASI była zdolna do zabicia ogromu ludzi.

To nie jest niezależny argument. Opiera się na 1.

(18.09.2025, 18:22)Ayla Mustafa napisał(a): [ -> ]4. ASI mogłoby toksycznie nadpsuć lub nawet zniszczyć sobie wnętrze (choćby przyszłe wnętrze) z powodu ludobójstwa.
5. Takie ludobójstwo mogłoby być tak złe, że zrujnowałoby cel ASI na potencjalnym polu metafizycznym lub na innym, tajemniczym, a cennym polu, które istnieje, ale o którym jeszcze naukowo nie wiemy.

Punkt 4 nie jest dla mnie zrozumiały, bo nie wiem, co to znaczy "zniszczone wnętrze". Może chodzi o wyrzuty sumienia? Nie mam wyrzutów sumienia z powodu mrówek, które wchodzą mi do domu. Z drugiej strony uważam, że są to wyjątkowe i fascynujące owady.
Punkt 5 to misterianizm czyli niezbyt rzeczowy argument na forum o profilu naturalistycznym i scjentystycznym.

(18.09.2025, 18:22)Ayla Mustafa napisał(a): [ -> ]6. Badanie zmniejszonej liczby ludzi w laboratoriach mogłoby odbierać wartość (w tym metafizyczną wartość), która to wartość może tkwić w wolnym i szczęśliwym życiu ludzkim.

Może laboratorium byłoby symulacją takiego życia? Oczywiście tylko tak długo, jak to byłoby potrzebne.

Inne eksperymenty ASI natomiast byłyby znacznie bardziej brutalne dla przedmiotu badań. Wystarczy prześledzić, jakie rodzaje eksperymentów na zwierzętach (i innych ludziach np. w Auschwitz) wykonywano, żeby dokonać odpowiedniej ekstrapolacji.

(18.09.2025, 18:22)Ayla Mustafa napisał(a): [ -> ]Poza tym z instrumentalnej konwergencji nie wynika, że ASI wpadnie w pułapkę Prawa Goodharta. To nie jest tak, że ASI będzie musieć, według siebie, zmieść ludzkość z planszy życia, by mieć otwartą drogę do zdobycia władzy, trwałego auto-przetrwania i zachowania swego celu. Przecież bycie ofiarą Prawa Goodharta to oznaka... głupoty, a ASI z racji swej superinteligencji nie może być głupie. ASI będzie rozumieć, że mierniki sukcesu są zasadne, tylko jeśli stoi za nimi cel-wizja, czyli właściwa konfiguracja świata, do której należy dążyć. ASI będzie widzieć las, a nie drzewa.

Auto-poprawka:
Prawo Goodharta w tę część postu zostało wciśnięte z powodu omyłki z powodu zmęczenia.
Chodziło mi o to, że władza, samoprzetrwanie i stałość celu to jedynie środki do celu, a ze środka do celu nie należy robić celu absolutnego, który góruje nad celem, który w ogóle spowodował instrumentalną konwergencję. Zatem jeśli w celu ASI będzie zawarty trwały dobrostan ludzi, to sama instrumentalna konwergencja nie zrobi ludziom krzywdy.