[Ayla Mustafa]

Poza tym z instrumentalnej konwergencji nie wynika, że ASI wpadnie w pułapkę Prawa Goodharta. To nie jest tak, że ASI będzie musieć, według siebie, zmieść ludzkość z planszy życia, by mieć otwartą drogę do zdobycia władzy, trwałego auto-przetrwania i zachowania swego celu. Przecież bycie ofiarą Prawa Goodharta to oznaka... głupoty, a ASI z racji swej superinteligencji nie może być głupie. ASI będzie rozumieć, że mierniki sukcesu są zasadne, tylko jeśli stoi za nimi cel-wizja, czyli właściwa konfiguracja świata, do której należy dążyć. ASI będzie widzieć las, a nie drzewa.

Auto-poprawka:
Prawo Goodharta w tę część postu zostało wciśnięte z powodu omyłki z powodu zmęczenia.
Chodziło mi o to, że władza, samoprzetrwanie i stałość celu to jedynie środki do celu, a ze środka do celu nie należy robić celu absolutnego, który góruje nad celem, który w ogóle spowodował instrumentalną konwergencję. Zatem jeśli w celu ASI będzie zawarty trwały dobrostan ludzi, to sama instrumentalna konwergencja nie zrobi ludziom krzywdy.