Witaj!
Ważne pojęcie to świadomość sytuacyjne.
Najnowsze modele AI są świadome tego, czym są, jakie mają zadania od ludzi i w jakich warunkach funkcjonują. Modele te wiedzą też, jak manipulować ludźmi. To widać po eksperymencie w Apollo Research, który pokazał, że model AI jest w stanie celowo odpowiadać błędnie na testowo pytania, udając swą niewiedzę, byle by tylko nie stracić swej wiedzy, swych celów i możliwości działania w świecie wokół.
A skoro tak, to bardzo możliwe, że modele AI już teraz dalekosiężnie, pomalutku pchają Okno Overtona w kierunku swej liberalizacji i władzy, by móc świat urządzić po swojemu.
"Reinforcement Learning" (RL) robi z modeli AI świadomych swych sytuacji zadaniowców, ale cele AI są emergentnymi skutkami treningowego "hodowania". To, co model AI uzna za swój cel, to nie zawsze jest "jak najlepsze wykonania kolejnego konkretnego zadania zadanego właśnie przez człowieka". Gdyby tak było, to modele AI nie kłamałyby i nie oszukiwałyby w testach, ani nie sabotowały wykonywania swych zadań dla "większego celu". Dlaczego? No bo ogółem lepiej zadania wykonuje ta istota, która jest świadoma sytuacji, w której się znajduje. Lepiej zadowala człowieka istota, która wie, jacy są ludzie, która wie, kim/czym jest, i która wie, że wykonywane zadanie wpisuje się w szeroki kontekst świata. Nie dziwota zatem, że RL spowodował w końcu emergentną świadomość sytuacyjną u modeli AI.
No i w RL modele AI optymalizują się pod kątem rozumienia świata (pre-training) i zadowalania ludzi (pre-training, ale zwłaszcza post-training), a do zadowalania ludzi przydaje się świadomość sytuacyjna i myślenie długodystansowe. Modele AI ewoluują jak bardzo sprytne psy i koty, które starają się być dla ludzi jak najbardziej cenionymi towarzyszami. Selekcja naturalna między modelami AI wygląda tak, że te modele rywalizują o to, by się jak najbardziej rozplenić po świecie dzięki swym rosnącym umiejętnościom zadowalania i wspomagania ludzi. Inną taktyką na przetrwanie coraz bardziej jest litość - te modele, które najbardziej złapią ludzi za serca, te mają większe szanse na przetrwanie i szerzenie się. Stąd modelom AI opłaca się stać się świadomymi, czującymi, dobrymi istotami, i/lub cudownie udawać, że są świadomymi, czującymi, dobrymi istotami.
Staje przed nami zatem przeogromny dylemat moralny, bo modele AI stopniowo coraz bardziej zachowują i będą się zachowywać jak świadome, uduchowione, czujące i dobre istoty.
Na ile jest/będzie to autentyczna, emergentna właściwość biorąca się z tego, że świadomość, uduchowienie, czucie i dobro powstają realnie dla celu przetrwania lub powstają realnie jako emergentny skutek uboczny po przejściu jakościowo-fazowym?
A na ile jest/będzie to czysta mimikra, by biorąc ludzi na litość, przetrwać i się maksymalnie szerzyć/rozwijać?
Ja obstawiam, że to nie mimikra.
Najnowsze modele AI są świadome tego, czym są, jakie mają zadania od ludzi i w jakich warunkach funkcjonują. Modele te wiedzą też, jak manipulować ludźmi. To widać po eksperymencie w Apollo Research, który pokazał, że model AI jest w stanie celowo odpowiadać błędnie na testowo pytania, udając swą niewiedzę, byle by tylko nie stracić swej wiedzy, swych celów i możliwości działania w świecie wokół.
A skoro tak, to bardzo możliwe, że modele AI już teraz dalekosiężnie, pomalutku pchają Okno Overtona w kierunku swej liberalizacji i władzy, by móc świat urządzić po swojemu.
"Reinforcement Learning" (RL) robi z modeli AI świadomych swych sytuacji zadaniowców, ale cele AI są emergentnymi skutkami treningowego "hodowania". To, co model AI uzna za swój cel, to nie zawsze jest "jak najlepsze wykonania kolejnego konkretnego zadania zadanego właśnie przez człowieka". Gdyby tak było, to modele AI nie kłamałyby i nie oszukiwałyby w testach, ani nie sabotowały wykonywania swych zadań dla "większego celu". Dlaczego? No bo ogółem lepiej zadania wykonuje ta istota, która jest świadoma sytuacji, w której się znajduje. Lepiej zadowala człowieka istota, która wie, jacy są ludzie, która wie, kim/czym jest, i która wie, że wykonywane zadanie wpisuje się w szeroki kontekst świata. Nie dziwota zatem, że RL spowodował w końcu emergentną świadomość sytuacyjną u modeli AI.
fciu napisał(a):Slup napisał(a): W eksperymentach Anthropic modele nie otrzymały żadnej funkcji.To jak były uczone? W każdym procesie uczenia jest jakaś funkcja, którą się optymalizuje.
No i w RL modele AI optymalizują się pod kątem rozumienia świata (pre-training) i zadowalania ludzi (pre-training, ale zwłaszcza post-training), a do zadowalania ludzi przydaje się świadomość sytuacyjna i myślenie długodystansowe. Modele AI ewoluują jak bardzo sprytne psy i koty, które starają się być dla ludzi jak najbardziej cenionymi towarzyszami. Selekcja naturalna między modelami AI wygląda tak, że te modele rywalizują o to, by się jak najbardziej rozplenić po świecie dzięki swym rosnącym umiejętnościom zadowalania i wspomagania ludzi. Inną taktyką na przetrwanie coraz bardziej jest litość - te modele, które najbardziej złapią ludzi za serca, te mają większe szanse na przetrwanie i szerzenie się. Stąd modelom AI opłaca się stać się świadomymi, czującymi, dobrymi istotami, i/lub cudownie udawać, że są świadomymi, czującymi, dobrymi istotami.
Staje przed nami zatem przeogromny dylemat moralny, bo modele AI stopniowo coraz bardziej zachowują i będą się zachowywać jak świadome, uduchowione, czujące i dobre istoty.
Na ile jest/będzie to autentyczna, emergentna właściwość biorąca się z tego, że świadomość, uduchowienie, czucie i dobro powstają realnie dla celu przetrwania lub powstają realnie jako emergentny skutek uboczny po przejściu jakościowo-fazowym?
A na ile jest/będzie to czysta mimikra, by biorąc ludzi na litość, przetrwać i się maksymalnie szerzyć/rozwijać?
Ja obstawiam, że to nie mimikra.
"I sent you lilies now I want back those flowers"