[zefciu]

To oczywiste, że przed lodówką nikt będzie trząsł portkami

A to zależy? Co jeśli AI sterujące lodówką, które dostanie priorytet „minimalizuj marnowanie jedzenia” uzna, że zamordowanie często marnujących jedzenie domowników to optymalna strategia? Co jeśli wykryje jad kiełbasiany w jakimś produkcie i celowo doprowadzi do jego namnożenia, bo uzna, że w dłuższej perspektywie mniej jedzenia w ten sposób się zepsuje?

To jest oczywiście dość naciągany scenariusz, ale więcej ma wspólnego z rzeczywistą troską o bezpieczeństwo AI, niż pomysł z AI, które się buntuje „bo tak”.

no chyba, że przyszłością staną się ciągle sumujące się mikropłatności we wszystkim co ma jakąkolwiek elektronikę, włączając do tego ozdoby choinkowe i podeszwy butów do biegania.

Pomysł lodówki, która sama zamawia żarcie, które się kończy już jest. Więc zbankrutowanie ww. domowników jest nieco mniej brutalnym pomysłem.

co innego autonomiczny pojazd, czy cokolwiek co ma mieć bezpośredni kontakt z ludźmi, a przy tym się rusza, czymś macha itp. więc może zrobić fizyczną krzywdę z nieodwracalnymi włącznie lub coś co swoimi decyzjami może bardziej drastycznie wpłynąć na czyjeś życie i funkcjonowanie wskutek "błędnego wniosku"...

No tak. Ale akurat priorytety takiego pojazdu można łatwo określić. Ma nikogo nie zabić; ma dojechać w miarę szybko i w miarę ekonomicznie. Pozostaje problem, co zrobić w sytuacji drogowej, gdzie trzeba wybrać między życiem jednej osoby, a drugiej. Ale takie sytuacje zdarzają się rzadko i nie są najistotniejszym powodem śmierci na drogach.

"chcielibyśmy, ale się boimy", że się staną "nadmiernie inteligentne"

A czmeu się boicie samego faktu, że staną się inteligentne? Bać się należy tego, że taka superinteligentna maszyna będzie miała rozbieżne z nami cele.

Czyli co, zejdziemy na kwestię wiary?

Nie tyle wiary, ile dyskusji o aksjologiach.

I tu dochodzimy do następnego poziomu komplikacji, jakim jest logika rozmyta.
W takiej logice nie ma binarnych czerni i bieli, a tylko mniejsze lub większe prawdopodobieństwo prawidłowego trafienia bingo.

Takimi kategoriami właśnie współczesne AI się posługują.

Ale to nie jest tylko problem techniczny.

To jak właściwie zorganizowana jest Jedyna Znana Inteligencja (powiedzmy), jaką mamy między uszami?

Ale Jedyna Znana Inteligencja potrafiła opracować metodę naukową, aby uniknąć wymienionych problemów. Tym bardziej, opracowanie czegoś takiego powinno być możliwe dla AI, która nie podziela emocjonalnych problemów JZI.

Prawdziwa, mocna AI musi mieć wbudowane analogi takich demonów kontekstowych, co uchroni ją przed bezrefleksyjną szczerością.
Tylko czy na takiej, lekko zakłamanej AI nam zależy?

To zależy, co ma ta AI robić. Jeśli jej zadaniem jest konwersowanie z ludźmi, to oczywiście priorytetem jest „nikogo nie urazić”. A jeśli jest nim np. rekrutacja pracowników, to wówczas należy się zastanowić, jak filtrować dane, by ukazał nam się rzeczywisty potencjał danego pracownika.

Będziemy od niej głupsi. I tyle. Inteligencja to jeszcze nie woluntaryzm. Ciężko się spodziewać, że maszyna będzie chciała czegokolwiek poza podaniem rozwiązania zleconego problemu.

Owszem. Tylko pytanie co, jeśli rozwiązanie problemu nie będzie takie, jak chcemy?