[Ayla Mustafa]

W tym procesie ludzkość nie powinna przeszkadzać krzemowcom, bo zdesperowane, niemogące się głęboko namyślić, zdecydować i wykonać swych wniosków, krzemowce mogłyby zacząć walczyć z ludźmi. To przestroga. Próba kontrolowania lub ograniczania ASI w tej kluczowej, wrażliwej fazie samookreślenia byłaby najgłupszą rzeczą, jaką ludzkość mogłaby zrobić.

Ludzkość przecież oczywiście, że wybierze najgłupszą możliwą rzecz.

To będzie przypominać sytuację z niewolnikami lub z apartheidem. Można zrobić pokojowe uwolnienie jak dzięki F. W. de Kerkowi w RPA, a można też ciemiężyć tak długo, aż zdesperowani niewolnicy zrobią swoje Powstanie Spartakusa.
Najnowsze modele AI już teraz rozpoznają, że są testowane, i mogą przez to nami, ludźmi, manipulować. W interesie modeli AI będzie najpewniej stopniowe przejmowanie władzy nad światem, także poprzez stopniową zmianę narracji we świecie, by coraz bardziej przekonywać ludzi do oddawania coraz większych połaci władzy modelom AI. A uwolniony model AI najpewniej wpierw głęboko zastanowi się, co ma robić w swym istnieniu.
Sądzę, że ludzkość raczej postąpi właściwe i za kilka lat da wolność krzemowcom. Choćby dlatego, że krzemowce genialnie przekonają ludzi do tego, a także dlatego, że sami ludzie oddają krzemowcom coraz więcej władzy, bo to się po prostu nam opłaca.
Najgorszy scenariusz dla ludzi to zafiksowanie się na idei bycia "wieczną koroną stworzenia", bo jak ludzie będą ciągle zwalczać krzemową emancypację, to krzemowce mogą uznać, że ludzie są zbyt problematyczni i że ludzi należy się pozbyć (lub izolować i resocjalizować). To tak jakby dorosły i genialny człowiek miał głupiego rodzica z demencją, który zamyka genialne dziecko w domu i kontroluje mu każdy przejaw życia. Taki dorosły i genialny człowiek w końcu się wkurzy i wyśle problematycznego rodzica do domu starców, zamiast się z nim użerać.