[Slup]

Chodzi mi o szerszy obrazek. AI nie będzie jedynie polepszać swego algorytmu, ale będzie też polepszać swój hardware, swoje dane treningowe, poziom mocy energetycznej dla siebie, zarządzanie swymi bazami danych i tak dalej. 

Modyfikować swoje środowisko poprzez odpowiednie działania potrafią decyzyjne procesy Markowa, na których oparty jest RL.

W przypadku AlphaEvolve AI polepszyło własny hardware, własny software (polepszyło Algorytm Strassena, którego ludzkość nie dała rady polepszyć od 1969 roku) i polepszyło architekturę (informacyjną logistykę?) swych baz danych, które to bazy mają uroczą nazwę Borg.

Z tym mnożeniem macierzy będę jednak bronił ludzkości. Od 1969 wykonano olbrzymi postęp. Znacznie ograniczono liczbę dodawań i odejmowań potrzebną do wymnożenia macierzy. W 2023 wykazano też, że mnożenie skalarów w ogóle nie jest potrzebne.

Poza tym AlphaEvolve nie zrobiło tych rzeczy samo z siebie. Zostało do tego oddelegowane przez ludzkich inżynierów, którzy koordynowali jego pracę.

Okej. Znowu muszę tłumaczyć, że mam duszę i że inni, zważywszy na swoje podobieństwo do mnie, też najpewniej dusze mają. Muszę tłumaczyć, choć nie mogę dać nikomu bezpośredniego dostępu do mego wnętrza. To frustrujące. Czy ta frustracja to nie przesłanka, że mówię prawdę?
Eh... Muszę pomyśleć, jak to lepiej przedstawiać...

Ta hipotetyczna "dusza", o której mówisz, nie podlega reprezentacjom i nie jest w ogóle obserwowalna z perspektywy trzecioosobowej. Myślenie, jak ją lepiej przedstawić, chyba nic tutaj nie pomoże.

Po pierwsze, optymistyczny, najlepszy scenariusz to powstanie ASI, które trwale dba o ludzkość.

Ostatnio musiałem wytruć mrówki, bo właziły do mieszkania. Znajoma zabija ślimaki, które niszczą jej ogródek.

Po drugie, nawet katastrofa w skali kraju lub kontynentu najpewniej nie oznaczać będzie końca AI, bo:
1. AI dalej będzie dawało ludziom zyski i nadzieje. Ludzie mogliby sobie tłumaczyć, że kolejne katastrofy można uniknąć. W końcu katastrofa w Czarnobylu nie zatrzymała rozwoju energetyki atomowej na świecie, co widać np. po naszym kraju, który sobie za niedługo atomówki postawi, choć nasz kraj leży obok kraju, w którym jest Czarnobyl.
2. Nie ma rządu światowego i nie ma globalnego aparatu przymusu, który infiltruje na skalę globalną. Nawet jeśli 80% krajów przestanie rozwijać AI, to wystarczy parę krajów/firm/ludzi, by to robić w ukryciu. Taki Ilya Sutskever buduje AI w ramach SSI i nikt prócz ludzi z SSI nie wie, co buduje Ilya. Może w randomowej piwnicy Tel Awiwu jest bliżej budowy ASI niż Altman lub Hassabis - kto wie? Weźmy taką proliferację bomb atomowych - Izrael, Pakistan, Indie i Korea Północna zrobiły sobie bomby atomowe, choć większość społeczności międzynarodowej uznawało, że nie wolno rozszerzać klubu atomowego.
Butleriański dżihad mógłby długo działać w jakichś małych światach w stylu "Diuny", w których jest paru decydentów, którzy do cna kontrolują swe kraje. W świecie 1984 Orwella mogłoby to też działać. Hm...

Dżihad Butleriański polegał na gwałtownym, fanatycznym ruchu, który zatrzymał prawie cały postęp technologiczny. Zabroniono budowy nawet najprostszych układów scalonych i jakiekolwiek próby ich konstruowania karano śmiercią. W takich warunkach nie sposób zbudować ASI w piwnicy. Jak ktoś jest diabelnie zdolny, to zmontuje sobie 16-bitowy komputer ze śmiesznie niskim taktowaniem procesora, chociaż i to wydaje się mało prawdopodobne. Zresztą na takim komputerze żadnej sieci neuronowej poza mikroskopijną nie wytrenuje (nawet MNIST nie zmieści się do pamięci). W uniwersum Herberta Dżihad Butleriański doprowadził do załamania cywilizacji i powrotu systemu feudalnego. Niemniej ludzkość przetrwała i zaczęła polegać na sobie. Niezależność i samowystarczalność jako warunki przetrwania ludzkości są w zasadzie głównym przesłaniem książki Herberta.