[Slup]

Nie ma takiej pewności. Celem istoty nie musi być wcale maksymalna władza, bo istnieją cele, które wprost nakazują brak zbyt dużej władzy. Jeśli jakaś istota ma jako cel: "zwiększać wiedzę o świecie, nie mając nigdy więcej władzy niż X, a w przypadku konfliktu celów uznawać, że cel nieposiadania nigdy więcej władzy niż X jest najważniejszy",
to taka istota nie będzie dążyć do władzy większej niż X nigdy, przenigdy. Podobnie rzecz się ma z kwestią samo-przetrwania i kwestią niezmienności swych celów. W samym celu może być zawarty imperatyw dążenia do własnej śmierci lub imperatyw do zmieniania, choćby częściowego, swego celu.

Załóżmy, że środowiskiem jest ogród, X jest mrowiskiem, natomiast agentem jest robot (nazwijmy go WALL-E) przypominający człowieka pod względem motorycznym i kognitywnym. Na początku WALL-E przetwarza informacje dotyczące środowiska, mrowiska i własnych działań. W ten sposób w dosyć krótkim czasie WALL-E ustala, że chociaż mrowisko przetwarza znaczną ilość informacji i wyposażone jest w pewien model zewnętrznego świata, to jego tzn. WALL-EGO zdolność do kontrolowania środowiska jest znacznie większa niż mrowiska z racji na dysproporcje kognitywne. W takiej sytuacji WALL-E (o ile się nie buntuje) musi zmniejszyć swoją zdolność do przetwarzania informacji, bo to ona jest przyczyną zasadniczej dysproporcji w zdolności kontrolowania środowiska między nim i mrówkami. Zatem WALL-E musi się sam upośledzić.

Zatem jeśli udałoby się zaimplementować taki cel w systemie ASI, to skutek byłby autodestrukcyjny dla agenta.

Poza tym tego rodzaju cele wyrażone w języku naturalnym są bardzo trudne do przełożenia na język formalny i w tej chwili z praktycznych względów mają charakter czysto hipotetyczny. 

Chodziło mi o to, że władza, samoprzetrwanie i stałość celu to jedynie środki do celu, a ze środka do celu nie należy robić celu absolutnego, który góruje nad celem, który w ogóle spowodował instrumentalną konwergencję.

To zdanie jest bardzo dobrym streszczeniem pewnej fundamentalnej zasady przyjętej przez Kościół Katolicki. Jednym z wniosków z tej zasady, jest to, że celem i funkcją współżycia seksualnego jest (w przypadku człowieka) rozumna reprodukcja. Cała reszta czyli przyjemność, oksytocyna, dopamina itd. są w tym kontekście instrumentalne i należy korzystać z nich tylko w ramach głównego celu. Tymczasem nawet ogólnie stateczni oraz dobrze zaznajomieni z tą zasadą i powyższym wnioskiem ludzie mają problem z jej zastosowaniem do swojej praktyki życiowej. 

Poziom sprawności w przetwarzaniu informacji nie jest tutaj istotny. Jeśli proces treningu danego agenta będzie polegał na optymalizacji wzorców odpowiedzialnych za instrumentalne cele, to wytrenowany agent będzie przez nie "opętany". Przykładów jest bardzo dużo. Dobrym jest współczesna plaga otyłości wynikająca z zamiłowania do pożywienia bogatego w proste cukry.