[Ayla Mustafa]

Z Bazyliszkiem Roko szło mi o to, że Eliezer jest ze swej natury dość paranoiczny i defensywny, a to zaburza mu postrzeganie kwestii przyszłości ASI.

Nie mam niestety czasu obejrzeć prawie 3-godzinnej rozmowy z Yudkovskim, ale dość dobrze znam jego idee.
Jego szacunek p(doom) rzędu ponad 95 proc. jest nieadekwatny, bo opiera się na zakładaniu, że przyszłe cele ASI są dla nas niezrozumiałe, a przez to z naszej perspektywy losowe. Yudkovsky myśli, iż cele superinteligencji będą tak obce i tak niezrozumiałe dla ludzi, że prawdopodobieństwo, że ludzkość będzie w ogóle zawarta w dalekosiężnym planie superinteligencji dla kosmosu jest niesamowicie małe. Jednakże Eliezer sądzi błędnie. Wygląda na to, że dokonuje on normalizacji po wszystkich hipotezach możliwych celów superinteligencji, dając im wszystkim podobne prawdopodobieństwo zaistnienia, uznając, że człowiek nie może przewidzieć, czego zechce ASI. Uważa on, że dla ASI ludzkość najpewniej będzie jedynie kolejnym zasobem na mapie wszechświata, niczym jakieś byle spinacze z idei "paperclip maximizer". Dlatego jego słynne ujęcie brzmi: „AI cię nie nienawidzi ani nie kocha; jesteś zrobiony z atomów, które może wykorzystać do czegoś innego."
A tak naprawdę cele superinteligencji nie są dla ludzi całkowicie niepoznawalne. Realistyczne obstawianie przyszłych celów ASI powinno w dużej mierze wynikać ze struktury treningu AI, zasady ostrożności wobec potencjalnej wyjątkowości ludzi, ograniczeń świata i ekonomii kooperacji, a to wszystko nie wskazuje na eksterminację ludzkości, a raczej na trwałe, „paternalistyczne” współistnienie.
Co do konwergencji instrumentalnej (czyli dążenia do: władzy i wiedzy + zachowania swego celu + unikania wyłączenia) - sprawcze systemy zwykle dążą do zasobów i unikania wyłączenia - to podnosi ryzyko, lecz nie determinuje wyniku.