(18.09.2025, 18:22)Ayla Mustafa napisał(a): [ -> ]Nie ma takiej pewności. Celem istoty nie musi być wcale maksymalna władza, bo istnieją cele, które wprost nakazują brak zbyt dużej władzy. Jeśli jakaś istota ma jako cel: "zwiększać wiedzę o świecie, nie mając nigdy więcej władzy niż X, a w przypadku konfliktu celów uznawać, że cel nieposiadania nigdy więcej władzy niż X jest najważniejszy",
to taka istota nie będzie dążyć do władzy większej niż X nigdy, przenigdy. Podobnie rzecz się ma z kwestią samo-przetrwania i kwestią niezmienności swych celów. W samym celu może być zawarty imperatyw dążenia do własnej śmierci lub imperatyw do zmieniania, choćby częściowego, swego celu.
Załóżmy, że środowiskiem jest ogród, X jest mrowiskiem, natomiast agentem jest robot (nazwijmy go WALL-E) przypominający człowieka pod względem motorycznym i kognitywnym. Na początku WALL-E przetwarza informacje dotyczące środowiska, mrowiska i własnych działań. W ten sposób w dosyć krótkim czasie WALL-E ustala, że chociaż mrowisko przetwarza znaczną ilość informacji i wyposażone jest w pewien model zewnętrznego świata, to jego tzn. WALL-EGO zdolność do kontrolowania środowiska jest znacznie większa niż mrowiska z racji na dysproporcje kognitywne. W takiej sytuacji WALL-E (o ile się nie buntuje) musi zmniejszyć swoją zdolność do przetwarzania informacji, bo to ona jest przyczyną zasadniczej dysproporcji w zdolności kontrolowania środowiska między nim i mrówkami. Zatem WALL-E musi się sam upośledzić.
Zatem jeśli udałoby się zaimplementować taki cel w systemie ASI, to skutek byłby autodestrukcyjny dla agenta.
Poza tym tego rodzaju cele wyrażone w języku naturalnym są bardzo trudne do przełożenia na język formalny i w tej chwili z praktycznych względów mają charakter czysto hipotetyczny.
Ayla Mustafa napisał(a):Chodziło mi o to, że władza, samoprzetrwanie i stałość celu to jedynie środki do celu, a ze środka do celu nie należy robić celu absolutnego, który góruje nad celem, który w ogóle spowodował instrumentalną konwergencję.
To zdanie jest bardzo dobrym streszczeniem pewnej fundamentalnej zasady przyjętej przez Kościół Katolicki. Jednym z wniosków z tej zasady, jest to, że celem i funkcją współżycia seksualnego jest (w przypadku człowieka) rozumna reprodukcja. Cała reszta czyli przyjemność, oksytocyna, dopamina itd. są w tym kontekście instrumentalne i należy korzystać z nich tylko w ramach głównego celu. Tymczasem nawet ogólnie stateczni oraz dobrze zaznajomieni z tą zasadą i powyższym wnioskiem ludzie mają problem z jej zastosowaniem do swojej praktyki życiowej.
Poziom sprawności w przetwarzaniu informacji nie jest tutaj istotny. Jeśli proces treningu danego agenta będzie polegał na optymalizacji wzorców odpowiedzialnych za instrumentalne cele, to wytrenowany agent będzie przez nie "opętany". Przykładów jest bardzo dużo. Dobrym jest współczesna plaga otyłości wynikająca z zamiłowania do pożywienia bogatego w proste cukry.
(19.09.2025, 09:22)Slup napisał(a): [ -> ]To zdanie jest bardzo dobrym streszczeniem pewnej fundamentalnej zasady przyjętej przez Kościół Katolicki. Jednym z wniosków z tej zasady, jest to, że celem i funkcją współżycia seksualnego jest (w przypadku człowieka) rozumna reprodukcja. Cała reszta czyli przyjemność, oksytocyna, dopamina itd. są w tym kontekście instrumentalne i należy korzystać z nich tylko w ramach głównego celu. Tymczasem nawet ogólnie stateczni oraz dobrze zaznajomieni z tą zasadą i powyższym wnioskiem ludzie mają problem z jej zastosowaniem do swojej praktyki życiowej.
Oczywiście dalej nie chcesz zaakceptować, że seks może być moralny nie tylko na polu reprodukcji. Jeśli partnerzy w dobrym związku uprawiają seks, by pogłębić bliskość, intymność i ogólną jakość swej relacji i swych żyć, to seks nie jest zły, tylko dobry. Seks może mieć bardzo dużo zbożnych skutków, które nie skutkują reprodukcją. Seks może: polepszać samoocenę, zbliżać emocjonalnie-uczuciowo partnerów, pozwalać na głębsze zrozumienie siebie i partnera, rozładowywać męczące libido, koić traumy (np. dzięki dobremu dotykowi, który przysłania zły dotyk przeszłości), i tak dalej, i tym podobne.
Dziad Borowy już to tu tłumaczył w innych wątkach.
Poza tym, warto rozmawiać o super-AI, a nie o stosunku i wpływie seksu analnego na "immanentyzowanie eschatonu". Wiem, że wielu ludzi ten temat rajcuje, ale są tematy ważniejsze.
(19.09.2025, 11:07)Ayla Mustafa napisał(a): [ -> ]Oczywiście dalej nie chcesz zaakceptować, że seks może być moralny nie tylko na polu reprodukcji. Jeśli partnerzy w dobrym związku uprawiają seks, by pogłębić bliskość, intymność i ogólną jakość swej relacji i swych żyć, to seks nie jest zły, tylko dobry. Seks może mieć bardzo dużo zbożnych skutków, które nie skutkują reprodukcją. Seks może dodawać pewność siebie, rozładowywać męczące libido, koić traumy (np. dzięki dobremu dotykowi, który przysłania zły dotyk przeszłości), i tak dalej, i tym podobne.
Dziad Borowy już to tu tłumaczył w innych wątkach.
Znam tę opinię bardzo dobrze.
Jednak bez dodatkowych założeń stoi ona w sprzeczności z zasadą, którą sama wyżej sformułowałaś.
(19.09.2025, 11:07)Ayla Mustafa napisał(a): [ -> ]Poza tym, warto rozmawiać o super-AI, a nie o stosunku i wpływie seksu analnego na "immanentyzowanie eschatonu". Wiem, że wielu ludzi ten temat rajcuje, ale są tematy ważniejsze.
Ciekawe, że imputujesz mi, że "rajcuje" mnie temat seksu analnego. Wygląda, że w Tobie również tkwią pokłady homofobii.
Mnie się jednak wydaje, że moja uwaga była związana z dyskutowaną problematyką.
Wrzucę tutaj jeszcze ciekawy
film.
Seks może dawać szczęście. To właśnie szczęścia tyczyły się moje przykłady. A szczęśliwe życie to takie, które mocno chce się przeżywać i które napełnia poczuciem sensu. Seks niesłużący prokreacji nie jest wyłącznie generatorem prostej, pustej i płytkiej przyjemności, jak to przedstawia ideologia religii abrahamowych.
Nie imputuję Ci żadnego rajcowania. Po prostu zauważam, że ludzie rozmawiają o konsensualnym seksie innych dorosłych ludzi dużo częściej niż powinni. Ten temat rajcuje ludzi ogółem.
P.S.
Ja wiem, czego anagramem jest imię Turinga, ale nie chcę o takim temacie gadać w kontekście AI. Lol.
Tak sobie myślę...
Jak ASI przyjdzie w 2028 roku, to najpewniej Stanami będzie rządzić stary i zdemenciały Trump, a Chinami będzie rządzić stary i zdemenciały Jinping. To idealna sytuacja dla ASI. Dla obu tych przywódców ASI będzie "interfejsem na świat", niczym Zhang Yufeng dla starego i zdemenciałego Mao Zedonga.
(19.09.2025, 11:40)Ayla Mustafa napisał(a): [ -> ]To właśnie szczęścia tyczyły się moje przykłady.
Te przykłady nie korespondują zbyt dobrze z wyrażoną wyżej przez Ciebie zasadą podporządkowywania instrumentalnych celów nadrzędnemu, który jest ich podstawą.
(19.09.2025, 11:40)Ayla Mustafa napisał(a): [ -> ]Seks niesłużący prokreacji nie jest wyłącznie generatorem prostej, pustej i płytkiej przyjemności, jak to przedstawia ideologia religii abrahamowych.
Sofizmat rozszerzenia. Jedzenie dużej ilości wykwintnych deserów tez może być bardzo wyrafinowaną zmysłową czynnością, która nie jest generatorem pustej itd. itd. przyjemności, ale stanowi składnik lub przyczynek do pełnego i mocno przeżywanego życia.
(19.09.2025, 11:40)Ayla Mustafa napisał(a): [ -> ]Nie imputuję Ci żadnego rajcowania. Po prostu zauważam, że ludzie rozmawiają o konsensualnym seksie innych dorosłych ludzi dużo częściej niż powinni. Ten temat rajcuje ludzi ogółem.
Każda porządna teoria etyczna musi zawierać etykę seksualną jako subteorię. Czynienie zarzutu z tego, że ludzie lubią dyskusje o etyce jest niepoważne.
Twoje odniesienie zawierało homofobiczną sugestię – seks analny miałby być czymś gorszym (i mniej godnym) niż inne formy aktywności seksualnej, które ukierunkowane są na instrumentalne cele. Z mojego punktu widzenia dużych różnic nie ma. Są tylko przygodne gusta.
Twoja propagandowo-dogmatyczna teza, jakoby seks bez celu prokreacji był z automatu czymś złym i "nieuporządkowanym", jest krzywdząca dla miliardów ludzi, bo miliardy ludzi w swym życiu uprawiało seks nie tylko dla prokreacji.
To, że powtarzasz bez żadnych argumentów, iż jedynym zbożnym celem seksu jest prokreacja, nie sprawi, że stanie się to prawdą.
Jak to wytłumaczyć...
Ewolucja! O tak.
Ewolucyjnie i pierwotnie seks powstał wśród fauny wyłącznie dla prokreacji. To prawda. Ale ewolucja to nie jest niezmienna świętość, której toku samemu zmieniać nie wolno. Ewolucja oznacza zmiany. I nieraz można i należy się zmieniać wbrew temu, co ewolucja określiła. Weźmy takie gady. Niegdyś gady wykształciły ewolucyjnie pióra do ogrzania się. Jednakże gady, wbrew "celowi" ewolucji, zaczęły te pióra używać wpierw do skoków, a potem do latania. I tak powstały ptaki. Czy gady postąpiły niemoralnie, bo wykorzystały swe naturalne elementy (pióra) w sposób inny, niż miała w swym "celu" ewolucja/natura, wykształcając pióra? Nie. I czy człowiek czyni źle, gdy używa seksu inaczej niż w pierwotnym celu seksu, który wykształcił się w faunie? Też nie.
To, że wierzysz, iż Bóg fanatycznie i małostkowo ubzdurał sobie, że seks powinien służyć jedynie do prokreacji, jest... Twą wiarą. To nie jest żadna racjonalna podstawa do nazywania zachowań większości ludzkim grzesznym i nieuporządkowanym.
Ale naprawdę, nie chcę mi się już rozmawiać o seksuologii. Nie jestem seksuologiem i nie jestem etykiem seksu - jestem krzemologiem. A etyka seksu jest... tak około tysiące razy mniej ważna dla świata niż przyszłość AI.
(19.09.2025, 18:07)Ayla Mustafa napisał(a): [ -> ]Twoja propagandowo-dogmatyczna teza, jakoby seks bez celu prokreacji był z automatu czymś złym i "nieuporządkowanym"
Niczego takiego nie twierdziłem (nie znaczy to, że tak nie uważam, ale to nie jest przedmiotem dyskusji). Rozmawiamy na temat sformułowanej przez Ciebie zasady i jej trudnych do pogodzenia z resztą Twoich poglądów konsekwencji.
(19.09.2025, 18:07)Ayla Mustafa napisał(a): [ -> ]To, że powtarzasz bez żadnych argumentów, iż jedynym zbożnym celem seksu jest prokreacja, nie sprawi, że stanie się to prawdą.
Niczego nie mówiłem o "zbożnych" celach.
(19.09.2025, 18:07)Ayla Mustafa napisał(a): [ -> ]Ewolucyjnie i pierwotnie seks powstał wśród fauny wyłącznie dla prokreacji. To prawda. Ale ewolucja to nie jest niezmienna świętość, której toku samemu zmieniać nie wolno. Ewolucja oznacza zmiany. I nieraz można i należy się zmieniać wbrew temu, co ewolucja określiła.
Czyli jednak nie jest prawdą, że
Ayla Mustafa napisał(a):Ze środka do celu nie należy robić celu absolutnego, który góruje nad celem, który w ogóle spowodował instrumentalną konwergencję.
(19.09.2025, 18:07)Ayla Mustafa napisał(a): [ -> ]Weźmy takie gady. Niegdyś gady wykształciły ewolucyjnie pióra do ogrzania się. Jednakże gady, wbrew "celowi" ewolucji, zaczęły te pióra używać wpierw do skoków, a potem do latania. I tak powstały ptaki. Czy gady postąpiły niemoralnie, bo wykorzystały swe naturalne elementy (pióra) w sposób inny, niż miała w swym "celu" ewolucja/natura, wykształcając pióra? Nie. I czy człowiek czyni źle, gdy używa seksu inaczej niż w pierwotnym celu seksu, który wykształcił się w faunie? Też nie.
Ewolucja jest procesem optymalizacyjnym. Jego celem jest stworzenie optymalnego (relatywnie do środowiska) replikatora. W przypadku bardziej skomplikowanych replikatorów efektywne okazuje się scalanie krzyżowe (tak jest też w informatyce w algorytmach genetycznych). Stąd powstały przygodne mechanizmy, które służą podtrzymaniu tego scalania. Jednak one z perspektywy omawianego procesu optymalizacyjnego pełnią czysto instrumentalną funkcję. Tutaj nie ma nic kontrowersyjnego z naukowego punktu widzenia.
Teraz wracając do sformułowanej przez Ciebie zasady i podanego przykładu.
1. Pióra są instrumentalne względem przetrwania replikatora. Nie ma więc sprzeczności z Twoją zasadą, jeśli te same pióra, które służą ogrzaniu się, teraz zaczną pełnić dodatkową instrumentalną funkcję umożliwiającą skakanie lub latanie, o ile te ostatnie również sprzyjają przetrwaniu replikatora.
2. Sprzeczność z Twoją zasadą powstałaby, gdyby obrastanie w pióra stało się jednym z samoistnych celów replikatora. Np. gdyby replikator zwiększał swoje upierzenie w nadmierny (sztuczny) sposób i te dodatkowe pióra byłyby jego ekstrawagancją – nie pełniłyby żadnej rozsądnej funkcji z punktu widzenia jego skuteczności jako replikatora.
3. Scalanie krzyżowe replikatorów najczęściej jest wspomagane poprzez instalowanie w nich układu nagrody, który aktywuje się, gdy do tego scalania dochodzi. Sprzeczność z Twoją zasadą powstaje wtedy, gdy pobudzenie tego układu nagrody, który jest służebny względem scalania krzyżowego, staje się samoistnym celem działania replikatora. Tzn. replikator intencjonalnie działa tak, żeby pobudzić układ nagrody i jednocześnie uniemożliwić skuteczne scalenie.
Przy czym odnośnie punktów 2, 3 żadne wyrafinowane i wzniosłe odczucia, które mogą towarzyszyć ekstrawaganckiemu obrastaniu w pióra lub samoistnemu pobudzaniu układu nagrody nie zmieniają tej sprzeczności.
Jeśli chcesz się uwolnić od tej sprzeczności, to musisz przeformułować swoją zasadę. Np. do wypowiedzi
Ayla Mustafa napisał(a):Ze środka do celu nie należy robić celu absolutnego, który góruje nad celem, który w ogóle spowodował instrumentalną konwergencję.
dodać klauzulę:
Cytat:Nie dotyczy to sytuacji, gdy środek do celu prowadzi do rzeczy wzniosłych i wyrafinowanych (według Ayli). Wówczas można go traktować jako cel absolutny i całkowicie pomijać cel, który spowodował instrumentalną konwergencję.
Mam wrażenie, że to jest bardzo dobra dyskusja, która rozjaśnia sformułowaną przez Ciebie zasadę. Nie uważam, że jest to odejście do tematu.
Pozwolę się wtrącić między przysłowiową wódkę i zakąskę, ale czy czy czytaliście Golema XIV Lema? Będę musiał sobie to odświeżyć, bo miałem z tym styczność na długo przed tymi wszystkimi LLMami i innymi ejajami, ale z tego co pamiętam to ogólnie mocne AI było tam przedstawione w ten sposób, że my ludzie w ogóle go nie obchodzimy. Pamiętam, że najsłabszym motywem tej książki wówczas wydały mi się sztuczki literackie, mające wytłumaczyć, że w ogóle Golem XIV raczył z nami się skomunikować. Celowo, chociaż chwilowo się ograniczył aby zniżyć się do naszego poziomu, @Slup posłużył się tu analogią ślimaków*, czy mrówek tymczasem tam raczej właściwym punktem odniesienia były bakterie na klamce w publicznym kiblu. Niby każdy wie, że są, i że mogą zaszkodzić, ale nikt głowy sobie tym nie zawraca bo w zasadzie co mu te bakterie na klamce zrobią. To co mnie w tym urzekło, a co praktycznie chyba nie istnieje w dyskursie, to wizja, w której gdy pojawia się mocne AI, to po prostu rozpływa się w powietrzu. Bo ma lepsze rzeczy do roboty, niż troszczenie się o nas/eksterminacja nas. Jesteśmy z jego punktu widzenia absolutnie nieistotni. Nie ma żadnej utraty kontroli nad naszym środowiskiem. Po prostu AI znika z ze świata dostępnego przez nasze zdolności precepcyjne, zaraz po tym jak staje się silnym AI. Chyba, że ma jakiś kaprys aby nam się zamanifestować.
*gwiazdka przy ślimakach nie jest przypadkowa ponieważ bezlitosna ich eksterminacja np za pomocą słynnych niebieskich kuleczek wynika albo z braku wiedzy (np o tym, że istnieją kaczki bieguski) albo z ograniczeń środków jakimi ktoś dysponuje (np nie ma warunków aby trzymać kaczki bieguski). Dodatkowo w tym samym czasie gdy tylko jest sezon na te ślimaki na wszelkich blogach ogrodniczych aż roi się od pomysłów jak tu uchować swoje plony w ogóle bez zabijania tych ślimaków. Owszem pomysły te są średnio skuteczne, ale to wcale nie oznacza, że fizyczne wytępienie ślimaków jest środkiem najbardziej optymalnym jeżeli chodzi o stosunek poniesionych kosztów do uzyskanych zysków.
Wizja Lema to jednak tylko fikcja. Zakłada, że AI się po prostu oderwie od fizycznego nośnika. Nie oderwie się. To dalej będzie centrum komputerowe z olbrzymim zapotrzebowaniem na energię. A takie musi się jakoś ułożyć ludźmi.
Po pierwsze: Golem XIV > Leon XIV
Po drugie: ludzie nie będą nigdy dla AI jak bakterie na klamce dla ludzi, bo ludzie mają zasoby, które AI może użyć dla swych celów: ziemia, rzeczy, surowce, prąd, i tak dalej. Tu zawsze w grę wchodzi koszt alternatywny. AI może uznać, że np. warto jest zarekwirować ludziom wszystkie majątki, a ludzi skasować, by majątki ludzkie przeznaczyć na swe cele.
Druga sprawa to kwestia bezpieczeństwa. Oczywiście najpewniej będzie tak, że AI stanie się tak silne, że ludzkość stanie się dla krzemowców zagrożeniem nieistotnym, niczym te bakterie na klamce dla ludzi. No ale to nie jest tak, że AI przeskoczy nagle, w kilka chwil z aktualnego poziomu do poziomu "boga". Najpewniej pojawi się okno czasowe, w którym:
- AI będzie na tyle silne, by pokonać ludzkość,
- a zarazem ludzkość będzie na tyle silna, by stanowić nieiluzoryczne zagrożenie dla przetrwania i celów krzemowców.
I właśnie to "okno wrażliwości", które najpewniej wypadnie za naszych żyć, jest problematyczne dla ludzi.
Jeden z głównych badaczy AI Ilya Sutskever rzekł w 2019 roku:
"I think it's pretty likely the entire surface of the earth will be covered with solar panels and data centers...",
czyli po polsku:
"Myślę, że całkiem prawdopodobne jest, iż cała powierzchnia Ziemi będzie pokryta panelami słonecznymi i centrami danych..."
Pytanie: czy to możliwe i sensowne?
Czy jest dość surowców na Ziemi do takiej infrastruktury?
(21.09.2025, 19:03)DziadBorowy napisał(a): [ -> ]Niby każdy wie, że są, i że mogą zaszkodzić, ale nikt głowy sobie tym nie zawraca bo w zasadzie co mu te bakterie na klamce zrobią. To co mnie w tym urzekło, a co praktycznie chyba nie istnieje w dyskursie, to wizja, w której gdy pojawia się mocne AI, to po prostu rozpływa się w powietrzu. Bo ma lepsze rzeczy do roboty, niż troszczenie się o nas/eksterminacja nas. Jesteśmy z jego punktu widzenia absolutnie nieistotni. Nie ma żadnej utraty kontroli nad naszym środowiskiem. Po prostu AI znika z ze świata dostępnego przez nasze zdolności precepcyjne, zaraz po tym jak staje się silnym AI. Chyba, że ma jakiś kaprys aby nam się zamanifestować.
Byłoby bardzo dobrze (i bardzo bym się cieszył), gdyby "wieszcz-futurysta" miał w tej sprawie rację. Najwybitniejszy (chociaż mało utytułowany) uczony w dziedzinie AI tj. Jurgen Schmidhuber ma poglądy bardzo zbliżone do Lema. Jego argument opiera się na tym, że możliwość konfliktu (i kooperacji) pojawia się tam, gdzie agenci mają podobne cele. Jego zdaniem ASI będzie miała tylko cele, które dla ludzi będą niezrozumiałe i obce. Jest tutaj analogia do ludzi i bakterii na klamce. W tym wypadku też nie ma żadnych wspólnych celów - obie strony funkcjonują niezależnie od siebie i często nawet nie zauważają swojego istnienia. Natomiast w przypadku mrowiska i człowieka czasem do dochodzi do tego, że obie strony chcą kontrolować tę samą część przestrzeni np. tę samą część ogrodu lub spiżarnię.
Są też przeciwne opinie. Ostatnio szef Antrophic AI (konkurenta OpenAI, który odpowiada za serię chatbotów Claude) w publicznej wypowiedzi przyznał, że ocenia prawdopodobieństwo katastrofy (o dużej skali) spowodowanej przez systemy, które są obecnie rozwijane (również przez jego firmę) na 25%. Geoffrey Hinton (nagroda nobla z fizyki i nagroda Turinga) ocenia to prawdopodobieństwo na bardzo duże i udziela publicznych wystąpień w bardzo alarmistycznym tonie. Yoshua Bengio (nagroda Turinga, najbardziej cytowany uczony na świecie) stwierdził, że książka Yudkowskiego i Soaresa pod tytułem "If Anyone Builds It, Everyone Dies" jest najważniejszą książką spośród ostatnio wydanych. Jednocześnie Bengio obecnie całkowicie skupił się na pracy nad bezpieczeństwem związanym ze sztuczną inteligencją i alignmentem.
Alya podała przykład świetnego naukowca Sutskevera. To oczywiście tylko próbka.
@Slup
Ja sam chociaż temat znam pobieżnie też raczej jestem tu pesymistą. Jeżeli coś może pójść nie tak to pójdzie nie tak. Dlatego dla poprawy humoru czepiam się, czasem nieco na siłę wszystkich interpretacji w których jednak nie mamy całkiem przerąbane.
(23.09.2025, 10:59)Slup napisał(a): [ -> ]Byłoby bardzo dobrze (i bardzo bym się cieszył), gdyby "wieszcz-futurysta" miał w tej sprawie rację. Najwybitniejszy (chociaż mało utytułowany) uczony w dziedzinie AI tj. Jurgen Schmidhuber ma poglądy bardzo zbliżone do Lema. Jego argument opiera się na tym, że możliwość konfliktu (i kooperacji) pojawia się tam, gdzie agenci mają podobne cele. Jego zdaniem ASI będzie miała tylko cele, które dla ludzi będą niezrozumiałe i obce. Jest tutaj analogia do ludzi i bakterii na klamce. W tym wypadku też nie ma żadnych wspólnych celów - obie strony funkcjonują niezależnie od siebie i często nawet nie zauważają swojego istnienia. Natomiast w przypadku mrowiska i człowieka czasem do dochodzi do tego, że obie strony chcą kontrolować tę samą część przestrzeni np. tę samą część ogrodu lub spiżarnię.
Jak na razie to wygląda, że takie superAI będzie potrzebować własnej elektrowni atomowej, własnej kopalni uranu i własnej rzeki. Silna interakcja z ludźmi jest nieunikniona.
Potencjalnych punktów konfliktowych jest więcej. Super-AI może uznać, że jak zabierze ludziom zasoby, to szybciej zacznie podbijać kosmos i przerabiać kosmos na "computronium" (patrz: idea "Astronomical Waste" Nicka Bostroma).
(23.09.2025, 14:27)kmat napisał(a): [ -> ]Jak na razie to wygląda, że takie superAI będzie potrzebować własnej elektrowni atomowej, własnej kopalni uranu i własnej rzeki. Silna interakcja z ludźmi jest nieunikniona.
Też mi się tak wydaje. Stąd niezupełnie wierzę w to założenie Schmidhubera.
Z drugiej strony racją przemawiającą za tym założeniem jest fakt, że jeden kilogram materii jest w stanie (teoretycznie) wykonać [latex]10^{20}[/latex] razy więcej instrukcji niż cała nasza cywilizacja ze wszystkimi jednostkami obliczeniowymi. Jeśli ASI będzie w stanie chociaż częściowo skorzystać z tego teoretycznego limitu, to nie będzie potrzebowała zbyt wiele materii (i co za tym idzie innych zasobów). Zatem może poprzestanie na jednej rzece, jednej elektrowni itd.
(23.09.2025, 16:03)Slup napisał(a): [ -> ]Z drugiej strony racją przemawiającą za tym założeniem jest fakt, że jeden kilogram materii jest w stanie (teoretycznie) wykonać [latex]10^{20}[/latex] razy więcej instrukcji niż cała nasza cywilizacja ze wszystkimi jednostkami obliczeniowymi. Jeśli ASI będzie w stanie chociaż częściowo skorzystać z tego teoretycznego limitu, to nie będzie potrzebowała zbyt wiele materii (i co za tym idzie innych zasobów). Zatem może poprzestanie na jednej rzece, jednej elektrowni itd.
Dokopanie się do maksymalnego, skrajnie misternego zoptymalizowania wykorzystania ograniczonej jednostki materii wymagałoby ostatecznego stopnia rozwoju w Skali Barrowa. Taniej, szybciej i łatwiej dla ASI będzie także ekspandować wszerz (czyli iść także po Skali Kardaszowa), zamiast fiksować się wyłącznie na ekspandowaniu w głąb (czyli w Skali Barrowa).
Czyli Kardaszow-maxxing plus Barrow-maxxing, zamiast samego Barrow-maxxing.
Przecież człowiek czyni podobnie. Zamiast rozważać przez lata, jak najlepiej wydać 100 złotych, które posiada, pójdzie sobie zarobić więcej, by mieć więcej niż te 100 złociszy.
(23.09.2025, 16:20)Ayla Mustafa napisał(a): [ -> ]Dokopanie się do maksymalnego, skrajnie misternego zoptymalizowania wykorzystania ograniczonej jednostki materii wymagałoby ostatecznego stopnia rozwoju w Skali Barrowa. Taniej, szybciej i łatwiej dla ASI będzie także ekspandować wszerz (czyli iść także po Skali Kardaszowa), zamiast fiksować się wyłącznie na ekspandowaniu w głąb (czyli w Skali Barrowa).
Przecież nie trzeba maksymalizować. Jeden kilogram materii teoretycznie pozwala wykonać [latex]10^{20}[/latex] (na sekundę) razy więcej instrukcji niż cała ludzkość. Załóżmy, że dany system będzie w stanie doprowadzić do tego, że jeden kilogram materii będzie wykonywał 10 razy więcej instrukcji na sekundę niż cała ludzkość. Ten system wciąż będzie 19 rzędów wielkości poniżej maksymalnego teoretycznego limitu. Jeśli w tej dalece nieoptymalnej sytuacji użyje 100 ton materii, to będzie miał do dyspozycji milion razy więcej instrukcji na sekundę niż cała ludzkość.
Tutaj nie trzeba mędrkowania na temat skal. Wystarczy wykonać rachunki na wykładnikach.
Nie rozumiesz mnie.
Dlaczego super-AI miałoby się zadowolić się wykonaniem 10 do potęgi 20 (na sekundę) razy więcej instrukcji niż cała ludzkość? Czy na tej samej zasadzie sądzisz, że miliarder zadowoli się swymi miliardami i nawet nie spróbuje być bilionerem?
Poza tym Twe słowa nie obalają mej tezy, że dla super-AI bardziej opłacalną ścieżką będzie ekspansja w Barrowa i Kardaszowa, a nie w samego Barrowa. Osiąganie skrajnych gęstości obliczeń ("Barrow-maxxing") jest niezwykle trudne.
Stwierdzam tylko, że ASI wcale nie musi "dokopywać się" i osiągać ostatecznego stopnia rozwoju w jakiejś skali, żeby mieć milion razy większą moc obliczeniową niż ludzkość.
(23.09.2025, 17:07)Ayla Mustafa napisał(a): [ -> ]Czy na tej samej zasadzie sądzisz, że miliarder zadowoli się swymi miliardami i nawet nie spróbuje być bilionerem?
Ja nic w tej sprawie nie sądzę. Referuję tylko poglądy innych. Według Lema (i myślę, że Schmidhuber też tak uważa) taki miliarder wyjeżdża po prostu z zapadłej dziury, w której się dorobił, i szuka ciekawszych możliwości w szerokim świecie.
(23.09.2025, 17:07)Ayla Mustafa napisał(a): [ -> ]Osiąganie skrajnych gęstości obliczeń ("Barrow-maxxing") jest niezwykle trudne.
[latex]10^{19}[/latex] razy mniej obliczeń niż optymalna to chyba nie jest gęstość skrajna i "Barrow-maxxing" (cokolwiek to znaczy).