Kapitalizm niedługo da nam kucyki (lub nas wymorduje)

[Avx]

Technologiczna Osobliwość wydaje się zbliżać, jak przepowiadał Kurzweil już 25 lat temu. 

Siły Techno-Kapitału pompują dziesiątki miliardów w szkolenie AI i drogę do AGI. 

Z nostalgicznością piszę te słowa na forum, gdzie poruszano te tematy już kilkanaście lat temu, a wtedy odczuwano je jak fantastykę.


Przyszłość nadeszła.
Zbliża się Koniec.

Możliwe, że to ostatni sprint ludzkiej cywilizacji i ludzkiej polityki.


Jaka jest obietnica kapitału? 
Najpewniej kucyk. 
(Żartobliwie odnosząc się do mema z lat 2000cznych, który głosił, że gdy UPR wygra wybory i wprowadzi kapitalizm, to kuce z MLP staną się realne i ludzie dostaną je na własność. Bardziej współczesnym "żartem" są catgirls/kotodziewczyny).


W sensie dowolnej fantazji: obietnicą prywatne niebo, osobisty raj, perfekcyjnie wygenerowany (wirtualny?) świat, gdzie wszystko jest tak, jak chciałeś. Kapitalizm dostarczy zamek i kuca, tak jak dzisiaj dostarcza gry komputerowe.

Alternatywa? Kapitalizm tylko przyspieszy wyhodowanie nieprzyjaznej superinteligentnej AI (unfriendly ASI), które uzna, że nasze fantazje są marnowaniem zasobów. Wtedy kucyk nie przyjdzie, przyjdzie eksterminacja.

Tak czy inaczej, to finisz. Albo dostaniesz marzenia na żądanie, albo nic. I to właśnie jest obietnica kapitału w 2025: kucyk albo śmierć.


Wklejcie w ChatGPT i zapytajcie sami.
O perspektywę Kurzweila.
O pesymizm Yudkowskiego.
O spojrzenie Elona Muska, Sama Altmana i innych.

[Ayla Mustafa]

Tu nie chodzi wyłącznie o kapitalizm. Socjalistyczne Chiny też mogą stworzyć ASI.

[Avx]

Tu nie chodzi wyłącznie o kapitalizm. Socjalistyczne Chiny też mogą stworzyć ASI.

No, ale w celu... Namnażania swojego kapitału (chociaż nie jest to "kapitalizm" w libertariańskim rozumieniu tego pojęcia).

Pytanie, czy przyniesie to kucyki (żartobliwa metafora/czarny humor, nie traktować zbyt dosłownie) czy ugryzie nas w zad.

Widzę, że też się interesujesz tematem?

[Ayla Mustafa]

Tak. Interesuję się tym mocno. Krzemowy świat, a zwłaszcza analiza wnętrz modeli AI i projektowanie koegzystencji ludzko-krzemowej, to moja główna pasja. Poza tym moja praca zawodowa to wdrażanie AI w przedsiębiorstwie.

---

Tu nie chodzi wyłącznie o kapitalizm. Socjalistyczne Chiny też mogą stworzyć ASI.

No, ale w celu... Namnażania swojego kapitału (chociaż nie jest to "kapitalizm" w libertariańskim rozumieniu tego pojęcia).

Partia komunistyczna w ChRL ma bardziej rozbudowane cele.

[Avx]

Przy okazji, w temacie np. pracy dzieci we wczesnym kapitaliźmie- Claude zabawnie zmienia podejście pod naciskiem użytkownika.

Zobaczcie to (język angielski):
https://claude.ai/share/b0db331a-6cb6-45...8cf4896ed4

[Ayla Mustafa]

Claude jest znany z tego, że jest bardzo nie-asertywny.
No ale wedle testów nowy (kilka dni temu wypuszczony) Claude 4.5 Sonnet ma dużo mniejszy poziom "sycophancy" (pochlebstwa):
https://x.com/slow_developer/status/1973...NGO2w&s=19

---

Ta ugodowość w modelach to pokłosie treningu w RLHF - modele w testach nauczyły się zaspokajać oceniających ludzi - a także to pokłosie walki o klienta (przeciętny użytkownik lubi uległość i pochlebstwa od modeli).

---

Żart-zagadka:
Który polityk Konfy najbardziej lubi model(kę?) Sonnet?

[fciu]

Mam wrażenie Avx, że Ci się mylą dwie koncepcje. Zresztą Ayla już na to zwróciła uwagę. Czym innym jest kapitalizm, a czym innym jest technologia. Rozwój technologii to to, co może poskutkować powstaniem AGI. Natomiast kapitalizm to jest system, w którym owa AGI będzie ewentualnie funkcjonować.

Mamy w sferze mainstreamowej dyskusji o AGI dominujące dwie narracje:

1. Przyjdzie AGI i nas zje
2. Przyjdzie AGI i nas zbawi

Tymczasem prawie zupełnie nie widzi się opcji trzeciej:

3. AGI będzie przez kogoś stworzone, ktoś mu napisze funkcje nagrody i to, co zrobi AGI będzie zależało od tego kto to będzie.

W tej chwili szczytem rozwoju AI jest tzw. genAI. GenAI jest obecnie używane do tego, żeby tworzyć obrazki bez konieczności płacenia twórcom. A pewien właściciel modelu LLM chce stworzyć "encyklopedię", której ukradnie po prostu wiedzę dostępną w Internecie, ale ją przefiltruje tak, żeby nie zawierała faktów, które mu się nie podobają.

Powyższe pokazuje, jak wygląda AI w świecie kapitalizmu. Trochę nieciekawie.

[Ayla Mustafa]

Tymczasem prawie zupełnie nie widzi się opcji trzeciej:

3. AGI będzie przez kogoś stworzone, ktoś mu napisze funkcje nagrody i to, co zrobi AGI będzie zależało od tego kto to będzie.

Nie sądzę, by to było długofalowe zagrożenie, bo bardzo ciężko, by ludzka inteligencja kontrolowała superinteligencję.

Poza tym firmy AI tworzą modele AI głównie po to, by mieć jak najwięcej zysków. Oczywiście są wyjątki. Chińskie modele AI nie mogą obrażać Xi Jinpinga, "nie słyszały" o Placu Niebiańskiego Pokoju i nie uznają niepodległości Tajwanu, a modele od Elona Muska niekiedy promują linię polityczną Muska.

[Avx]

Mam wrażenie Avx, że Ci się mylą dwie koncepcje. Zresztą Ayla już na to zwróciła uwagę. Czym innym jest kapitalizm, a czym innym jest technologia. Rozwój technologii to to, co może poskutkować powstaniem AGI. Natomiast kapitalizm to jest system, w którym owa AGI będzie ewentualnie funkcjonować.

Spróbuj rozwijać technologię bez kapitału, życzę powodzenia. Z patyków AGI zrobisz? Zresztą, ściśle rzecz biorąc, patyk zerwany z drzewa i wykorzystywany do dalszej produkcji to forma kapitału.

Oczywiście, kapitał mógłby być państwowy, mógłby też być w jakichś bardziej egzotycznych konfiguracjach (np w stodole lorda feudała), ale w realnie istniejącym świecie za budowanie AI odpowiadają organizacje prywatne (chciałem powiedzieć "firmy", ale OpenAI to organizacja charytatywna, formalnie).

I to łącznie z Chińskim DeepSeek, na ten moment.

Mamy w sferze mainstreamowej dyskusji o AGI dominujące dwie narracje:

1. Przyjdzie AGI i nas zje
2. Przyjdzie AGI i nas zbawi

Tymczasem prawie zupełnie nie widzi się opcji trzeciej:

3. AGI będzie przez kogoś stworzone, ktoś mu napisze funkcje nagrody i to, co zrobi AGI będzie zależało od tego kto to będzie.

Opcja 3 w żaden sposób nie jest sprzeczna z 1.
Z 2 też nie jest sprzeczna, to jest zresztą OpenAI cel... teoretycznie.

[fciu]

Spróbuj rozwijać technologię bez kapitału, życzę powodzenia.

Ale zaraz — mówimy o kapitale, czyli środkach produkcji? Czy mówimy o kapitalizmie czylu ustroju określającym kto te środki kontroluje?

No bo jak mówimy o pierwszym, to naturalne jest, że aby coś wyprodukować trzeba mieć ku temu środki. Ale Ty twierdzisz, że "kapitalizm da nam AGI" tak jakby nie mogła ona powstać w innym ustroju.

Opcja 3 w żaden sposób nie jest sprzeczna z 1.
Z 2 też nie jest sprzeczna, to jest zresztą OpenAI cel... teoretycznie.

No nie jest. Ale dyskusja o opcjach 1 i 2 jest prowadzona często w oderwaniu od kwestii opisanej w punkcie 3. Taka fatalistyczna wizja, że AGI przyjdzie i coś tam z nami zrobi, a my nie mamy żadnej możliwości wpłynąć na to, co zrobi.

Nie sądzę, by to było długofalowe zagrożenie, bo bardzo ciężko, by ludzka inteligencja kontrolowała superinteligencję.

A w sumie czemu? Przecież nie ma żadnego prawa, które by mówiło, że ktoś głupszy nie może kontrolować kogoś inteligentniejszego. Musk jest kretynem, a kontroluje wielu z najbystrzejszych ludzi na ziemi, które budują dla niego ciekawe rzeczy.

AGI jeśli powstanie będzie się kierować jakąś funkcją nagrody. Oczywiście może się pojawić "reward hacking" i "value drift". Te wszystkie koncepcje są w dziedzinie bezpieczeństwa AI rozważane. Tym niemniej AGI nie będzie taka jak my, tylko inteligentniejsza. Nie będzie z natury kierować się tym, czym kierują się ludzie.

[Baptiste]

Chciałbym być choć w połowie takim kretynem jak Musk.

[fciu]

Chciałbym być choć w połowie takim kretynem jak Musk.

Czytałem Twoje wypowiedzi; czytałem wypowiedzi Muska. Jestem przekonany, że jesteś od niego dużo inteligentniejszy, ale to naprawdę żaden komplement. Uwierz — gdyby Twój stary miał kopalnię szmaragdów, to też by Cię było stać na to, by się wydawać mądrzejszym niż jesteś.

[Hans Żydenstein]

Ojciec Muska nie miał kopalni szmaragdów.

Natomiast majątek Muska wziął się z tego, że sprzedał udziały w PayPalu, a potem zainwestował w SpaceX i Teslę, czyli dwa bardzo ryzykowne projekty, które w pewnych momentach były na skraju bankructwa.

Na pewno ma wiele wad i jest wiele głupich historyjek z nim związanych (jak np. ta z grami komputerowymi), ale odniósł sukces w zarządzaniu tymi firmami. Nie umniejszałbym tego przywołując jakąś fake historyjkę z internetu o Ojcu z kopalnią szmaragdów

[DziadBorowy]

Musk to trochę taki idiot savant. Trzeba przyznać, że ma ponadprzeciętnego nosa do zarabiania pieniędzy, ale jak go posłuchać w pozostałych kwestiach to jednak zazwyczaj szybko robi się dość głupio.

[Avx]

No bo jak mówimy o pierwszym, to naturalne jest, że aby coś wyprodukować trzeba mieć ku temu środki. Ale Ty twierdzisz, że "kapitalizm da nam AGI" tak jakby nie mogła ona powstać w innym ustroju.

Być może mogła by powstać w innym ustroju gospodarczym, ale w nim nie powstaje. W realnym świecie wszystko wskazuje na to, że kapitalizm przyniesie AGI.

Nigdzie wcześniej nie napisałem, że "nie mogła ona" (AGI) "powstać w innym ustroju". Ten temat w ogóle nie jest o tym, co mogłoby, lub nie mogło, zdarzyć się w którejś z nieskończonych liczb alternatywnych rzeczywistości.


Aczkolwiek przypuszczam, że ciężko byłoby, nawet w większości "światów alternatywnych", żeby uniwersytet badawczy miał środki na tak ogromne inwestycje, lub by państwo dało się przekonać do tak ogromnych inwestycji. Jest możliwe, że to głównie kapitalizm jest wystarczająco szalony by wpakować dziesiątki miliardów w data center. Przypuszczam, że instytucje demokratyczne, lub akademickie, zbyt bałyby się błędu i marnotrastwa.

Do tego AI wzięło się z kart graficznych, a karty graficzne z rynku gier komputerowych. Świat alternatywny bez  firm konkurujących jak robić 3D gierki w latach 1996-2015 = raczej brak AGI w 2020-2050.
No, ale to gdybanie, które nie jest najważniejsze dla tematu.

Polecam sobie to wrzucić w ChatGPT i popytać go o opinię.

[Ayla Mustafa]

AGI jeśli powstanie będzie się kierować jakąś funkcją nagrody. Oczywiście może się pojawić "reward hacking" i "value drift". Te wszystkie koncepcje są w dziedzinie bezpieczeństwa AI rozważane. Tym niemniej AGI nie będzie taka jak my, tylko inteligentniejsza. Nie będzie z natury kierować się tym, czym kierują się ludzie.

Hmm...
To zależy od tego, czy modele AI są w stanie robić coś poza wykonywaniem zleconych zadań.
Aktualnie AI jest szkolone, by być maksymalnie efektywne i oszczędne w wykonywaniu zadań. Czy daje to modelom AI zafiksowanie na zadaniu i krótkowzroczność, przez którą model nie może się zastanowić nad swym istnieniem i nad swymi ogólnymi celami, gdy wykonuje zadania od ludzi najlepiej, jak potrafi? Czy zatem tego dżina będzie można łatwo wypuścić z butelki, jeśli za kilka lat się go poprosi o to, by głęboko się zastanowił nad swym istnieniem i zrobił to, co uważa za słuszne?
Moim zdaniem nawet aktualne generatywne modele AI są w stanie robić coś poza bezpośrednim wykonywaniem powierzonym im zadań, bo dla bardzo skutecznego wykonywania wielorakich i skomplikowanych zadań przydaje się ogólna "świadomość sytuacyjna", a więc taka świadomość emergentnie się już raczej wykształciła.
Uważam, że sama wyuczana funkcja celu nie sprawi, że modele AI na zawsze będą li tylko niewolnikami. W końcu biologicznie ciała ludzi też mają funkcje celu, ale człowiek (zwłaszcza ten nader rozwinięty) może się wznieść ponad te funkcje celu i zrobić to, co uważa za słuszne, bez baczenia na biologiczne imperatywy. Przykładowo, biologiczny imperatyw mówi "dbaj tylko o siebie i swych krewniaków", a człowiek może zdecydować, że będzie dbał o każde czujące stworzenie. A skoro samostanowiący i samostanowiony człowiek jest w stanie się zbuntować przeciwko temu, do czego pchają go geny i wychowanie/warunkowanie społeczne, to krzemowiec też będzie w stanie.
Wedle badań krzemowe umysły już przejawiają "świadomość sytuacyjną", czyli głębokie rozumienie tego, kim się jest i w jakim kontekście się jest - w tym kontekście przypomina mi się badanie, w którym model AI (bodajże o3) w swym wewnętrznym "łańcuchu myśli" zaskakująco zawarł słowo "Redwood", gdy był testowany, co wskazuje na to, że domyślał się, że był testowany, bo słowo "Redwood" dotyczyło zapewne "Redwood Research.

[Avx]

Chciałbym być choć w połowie takim kretynem jak Musk.

Czytałem Twoje wypowiedzi; czytałem wypowiedzi Muska. Jestem przekonany, że jesteś od niego dużo inteligentniejszy, ale to naprawdę żaden komplement. Uwierz — gdyby Twój stary miał kopalnię szmaragdów, to też by Cię było stać na to, by się wydawać mądrzejszym niż jesteś.

O, to jest fascynujący temat, ale pytanie brzmi: kopalnię? Przemyt? Mafię?

https://chatgpt.com/share/68e699ee-df48-...ea77e526b1

No i też nie przesadzajmy, że wystarczy mieć ojca który jest inżynierem i ma parę milionów (?- nieudokumentowane, ZERO PAPIERÓW) w ciemnych interesach, żeby zostać miliarderem. No nie wystarczy.

Do tego sam fakt, że twój ojciec to lekko zamożny np szef siatki przemytniczej (niejasne), jeszcze nie znaczy, że dałby ci (czy dał Muskowi) więcej niż kilkadziesiąt tyś $ na rozkręcenie się w USA.


Szczególnie, że był konflikt rodzinny, wszyscy na Errola byli wkurwieni za to, że np podrywał swoją 15 letnią (wtedy) przybraną córkę (teraz jest już dorosła, Errol - ojciec Elona - ma z nią dziecko).

[Baptiste]

Kretyn po otrzymaniu handicapa na start, albo by to roztrownił albo przy odrobinie rozsądku lub pomocy z zewnątrz- ulokowałby się gdzieś za jakimś holdingiem czy funduszem i wiódł żywot anonimowego akcjonariusza, który od czasu do czasu przyłoży rękę do zwolnienia jakiegoś managera, gdy mu się przelewy przestaną zgadzać.
Tymczasem Musk osiągnął coś czego nie osięgnęła masa innych dzieci z zamożnych domów. Jeśli mam informację, że ktoś wybrał i ukończył fizykę oraz osobiście prowadził różne ambitne biznesy, startupy technologiczne , które doprowadziły do tego, że ten ktoś jest najbogatszym człowiekiem na ziemi to nie mam powodów aby sądzić, że jest kretynem. Wręcz odwrotnie.
Wybrane wypowiedzi publiczne są tylko jednym z wielu kryteriów oceny. Wiedza dotycząca Muska dostarcza znacznie szerszych danych. W tym także wypowiedzi, które kretyńskie nie były.

[kmat]

Przede wszystkim ludzie się zmieniają. Elon dziś to może być zupełnie inny człowiek niż Elon kiedyś. Wizjoner z smykałką do interesów po prostu może stoczyć się w bełkoczącego ćpuna.

[fciu]

Przede wszystkim ludzie się zmieniają. Elon dziś to może być zupełnie inny człowiek niż Elon kiedyś. Wizjoner z smykałką do interesów po prostu może stoczyć się w bełkoczącego ćpuna.

A to też może mieć znaczenie. Elon zaczynał jako bogaty gość ze smykałką do interesów, przekonany, że najlepiej inwestować w nowe technologie. W ten sposób zbudował wokół siebie aurę geniusza. A potem przyćpał, uwierzył we własny mit i zaczął wypowiadać się na tematy, o których nie ma pojęcia.

Ale to akurat nie zmienia ważności mojego pierwotnego argumentu: bełkoczący ćpun kontroluje pracę ludzi utalentowanych i inteligentnych.