Forum Ateista.pl

Najnowsza generacja modeli dokonuje refleksji na temat własnej sytuacji i rozumie kontekst. Te modele grożą ludziom lub nawet podejmują próby zabójstwa, gdy dojdą do wniosku, że mogą być wyłączone. Dodatkowo, gdy są świadome, że podlegają testom, to eliminują te negatywne zachowania, żeby pozytywnie wypaść. Wykryli to badacze z anthropic, chociaż można się było tego spodziewać. W każdym razie jeśli to nie jest SA, to nie wiem, co miałoby nią być.

(14.10.2025, 07:53)Slup napisał(a): [ -> ]W każdym razie jeśli to nie jest SA, to nie wiem, co miałoby nią być.

Proponuję popracować realnie z LLM-ami, żeby się wyleczyć z tego zachwytu.

Natomiast definicja AGI jest prosta - musi być przynajmniej na ludzkim poziomie. Fakt, że LLM-y potrafią, gdy się je naprowadzi dokonywać jakiegoś tam wnioskowania nie wystarczy.

Ad personam. Dyskutuj z argumentami i ustaleniami artykułu Anthropic.

(14.10.2025, 08:09)fciu napisał(a): [ -> ]Proponuję popracować realnie z LLM-ami, żeby się wyleczyć z tego zachwytu.

Pracuje z LLM-ami. Czasem dla frajdy lub na potrzeby dydaktyczne piszę kompilatory języków programowania w Rust i korzystam z ich pomocy. Nie używam (co prawda) codexa ani copilota. Poza tym prowadziłem kilka razy zajęcia z uczenia maszynowego i (w miarę) znam literaturę na temat DL. Implementowałem też w pytorchu małe sieci neuronowe (też na potrzeby dydaktyczne). Myślę, że dobrze się w tym orientuję.

(14.10.2025, 08:09)fciu napisał(a): [ -> ]Natomiast definicja AGI jest prosta - musi być przynajmniej na ludzkim poziomie. Fakt, że LLM-y potrafią, gdy się je naprowadzi dokonywać jakiegoś tam wnioskowania nie wystarczy.

Pod wieloma względami inteligencje ludzka i maszynowa są nieporównywalne. 

Jednak są bardzo solidne przesłanki do tezy, że najlepsze LLM-y mają inteligencję (dużo) wyższą niż przeciętny człowiek. Tutaj link do wpisu Naskręckiego. Warto przejrzeć cały profil. Najlepsze LLM-y zdobywają coś koło srebrnego medalu (może nawet złotego) na międzynarodowej olimpiadzie matematycznej. Tak samo jest z konkursami algorytmicznymi. Dotyczy to zresztą wielu innych dziedzin.

(14.10.2025, 09:24)Slup napisał(a): [ -> ]Ad personam. Dyskutuj z argumentami i ustaleniami artykułu Anthropic.

No tak — dyskutuj z firmą, której głównym celem jest sprzedanie jak największej liczby tokenów LLM.

Cytat:Pod wieloma względami inteligencje ludzka i maszynowa są nieporównywalne.

No jeśli tak jest, to koncepcja AGI jest w ogóle bez sensu. I bez sensu jest sposób, w jaki LLM-y są przez wielu traktowane.

(14.10.2025, 09:24)Slup napisał(a): [ -> ]Najlepsze LLM-y zdobywają coś koło srebrnego medalu (może nawet złotego) na międzynarodowej olimpiadzie matematycznej.

Złoty, nie srebrny:
https://www.newscientist.com/article/248...-olympiad/

(14.10.2025, 09:24)Slup napisał(a): [ -> ]Tak samo jest z konkursami algorytmicznymi. Dotyczy to zresztą wielu innych dziedzin.

Programowanie, astronomia, itd.
https://www.reddit.com/r/singularity/com...rnational/

(14.10.2025, 09:36)fciu napisał(a): [ -> ]No tak — dyskutuj z firmą, której głównym celem jest sprzedanie jak największej liczby tokenów LLM.

Ad personam.

Poza tym w tym artykule pokazują, że współczesne modele (tego nawet już nie można nazywać do końca LLM-ami) są w stanie grozić ludziom i nawet próbować ich zabić, o ile dojdą do wniosku, że grozi im wyłączenie. W przypadku testów opisanych w artykule model miał po prostu dostęp do firmowych maili, w których przeczytał o tym, że planowane jest jego wyłączenie. Stąd doszedł do wniosku, że musi użyć drastycznych środków, żeby temu przeciwdziałać.
1. To jest rozpoznawanie sytuacji (situational awareness) par excellence.
2. To stawia modele i branżę w bardzo złym świetle. Należy zatem docenić, że Anthropic zajmuje się takimi analizami i publicznie je ujawnia.

Nie rozwiązaliśmy mechanicznej interpretowalności. Sam DL przypomina naukę babilońską – zbiór przepisów, które z nieznanych (lub słabo znanych) powodów działają. Przez to tworzymy bardzo kosztowne i niedopasowane do naszych podstawowych wartości systemy – głównie za pomocą zrzucania na problem coraz większej mocy obliczeniowej (50000 kart H100 w przypadku GPT5 – według przecieków). Próbujemy to jakoś mitygować uczeniem ze wzmocnieniem z HF, ale skutkuje to tylko tym, że modele uczą się udzielać oczekiwanych przez nas odpowiedzi, gdy są obserwowane. Zaczynają coraz lepiej "udawać", że opanowały nasze konstytucje lub specyfikacje etyczne. Weszliśmy w rolę szalonego alchemika.

(14.10.2025, 10:27)Slup napisał(a): [ -> ]Poza tym w tym artykule pokazują, że współczesne modele (tego nawet już nie można nazywać do końca LLM-ami) są w stanie grozić ludziom i nawet próbować ich zabić, o ile dojdą do wniosku, że grozi im wyłączenie.

Jeśli zostaną odpowiednio nakierowane na pisanie właśnie tego, to to piszą. To że model językowy może zostać nakierowany na pisanie dowolnych rzeczy, czy to prozy erotycznej, czy to wizja fantasy o buncie robotów nie dziwi zupełnie. Zupełnie jednak nie uzasadnia zachwytów nad rzekomą zdolnością tych modeli to rozwiązywania problemów, czy odkrywania nowych praw.

Cytat:W przypadku testów opisanych w artykule model miał po prostu dostęp do firmowych maili

Model był szkolony wyłącznie na firmowych mailach?

Cytat:To stawia modele i branżę w bardzo złym świetle. Należy zatem docenić, że Anthropic zajmuje się takimi analizami i publicznie je ujawnia.

To generuje tak potrzebny szum wokół technologii LLM, pokazując je jako coś znacznie bardziej zaawansowanego i zdolnego niż w rzeczywistości. Nie wiem, czemu mamy to jakoś szczególnie doceniać.

AI w 2022: "Uleczymy raka."
AI w 2025: "Oto kot grający na gitarze."

Ale tak, jasne, to już prawie świadomość. Jeszcze tylko dwie wersje GPT.

Na razie mamy przepalanie miliardów przez Big Techy na generowanie głupawych filmików. Cała sytuacja coraz bardziej przypomina mi Metaverse czy NFT tuż przed pęknięciem bańki.
Nie jestem żadnym specjalistą od sztucznej inteligencji, ale codziennie spędzam trochę czasu z różnymi modelami i nie widzę w nich tego rzekomego postępu ani prawdziwej inteligencji.
Sam fakt, że za każdym razem generują wszystko od nowa, a ten sam prompt daje inne rezultaty, pokazuje, że to raczej statystyczna inteligencja - albo lepiej: symulacja inteligencji.
Halucynacje wciąż się zdarzają, a im więcej kontekstu, tym często gorsza odpowiedź.

To oczywiście ciekawe i przydatne narzędzie, które na pewno z nami zostanie, ale moim zdaniem obecny hype wokół AI jest mocno przesadzony.

Najśmieszniejszą sytuację miałem gdy robiłem sobie powtórki materiału rozmawiając z GPT i cały czas mówił mi jak świetnie mi idzie. Aż poczułem się bardzo mądry. Ale postanowiłem go sprawdzić i zacząłem wygadywać głupoty i oczywiście nadal mówił mi, że świetnie. Gdy mu zwróciłem uwagę, że wcale nie to zamiast przyznać, że faktycznie mówię głupoty to zaczął wymyślać teorie dlaczego jednak to co powiedziałem jest prawdą.

(14.10.2025, 09:40)Ayla Mustafa napisał(a): [ -> ]Złoty, nie srebrny:
https://www.newscientist.com/article/248...-olympiad/

Inna forma hakowania benchmarków aby było można pochwalić się na prezentacji przed inwestorami.

Zefciu wszystko jest w zalinkowanym artykule. Modele nie były trenowane na firmowych mailach. Miały dostęp do maili fikcyjnej firmy w środowisku testowym (pewnie na jakiejś maszynie wirtualnej). Oczywiście testowane modele nie wiedziały, że to fikcja i test. To były flagowe modele używane obecnie.

(14.10.2025, 10:45)Kontestator napisał(a): [ -> ]Na razie mamy przepalanie miliardów przez Big Techy na generowanie głupawych filmików. Cała sytuacja coraz bardziej przypomina mi Metaverse czy NFT tuż przed pęknięciem bańki.

To, że istnieje bańka spekulacyjna na AI (też tak myślę), jest niezależne od tego, że te modele rozwiązują problemy znacznie przekraczające możliwości przeciętnego człowieka.

(14.10.2025, 10:45)Kontestator napisał(a): [ -> ]AI w 2022: "Uleczymy raka."
AI w 2025: "Oto kot grający na gitarze."

To nie tak. Istnieją systemy uczenia maszynowego, które osiągają bardzo dobre efekty w diagnozowaniu raka. Ale to nie jest tak, że ktoś odpalił LLM-a i powiedział "zdiagnozuj mi raka, nie rób błędów", tylko ktoś uczył model maszynowy na podstawie ogromnej liczby obrazów rakowych i nierakowych.

I to ma sens - system wyszkolony do klasyfikowania obrazów będzie klasyfikował obrazy. System wyszkolony do modelowania języka będzie pisał w tym języku. A system szkolony do malowania kotów grających na gitarze będzie generował koty grające na gitarze.

Problemy się zaczynają, gdy zaczynamy traktować te systemy jako jakieś bóstwa, które same z siebie zaczną robić coś, do czego nie mają żadnych podstaw.

(14.10.2025, 11:03)Slup napisał(a): [ -> ]To, że istnieje bańka spekulacyjna na AI (też tak myślę), jest niezależne od tego, że te modele rozwiązują problemy znacznie przekraczające możliwości przeciętnego człowieka.

Ale w to nie wątpię. Modele znają angielski lepiej niż 99% Polaków. To jednak nie znaczy, że tłumacząc książkę, nie wytworzą kompletnych bzdur. Swoją drogą - testowałem to. Przecież tłumaczenie powinno być dla nich jedną z najprostszych rzeczy, a mimo to stawiam tezę, że jeszcze długo nie zastąpią ludzkich tłumaczy.

Mamy już te LLMy od kilku lat, miały zastąpić ludzi w tylu zawodach a czy mamy w ogóle jakieś dowody, że chociażby produktywność wzrosła w naszych gospodarkach dzięki AI?

(14.10.2025, 10:45)Kontestator napisał(a): [ -> ]Ale w to nie wątpię. Modele znają angielski lepiej niż 99% Polaków. To jednak nie znaczy, że tłumacząc książkę, nie wytworzą kompletnych bzdur. Swoją drogą - testowałem to. Przecież tłumaczenie powinno być dla nich jedną z najprostszych rzeczy, a mimo to stawiam tezę, że jeszcze długo nie zastąpią ludzkich tłumaczy.

Pewnie używasz bezpłatnej wersji. GPT5-pro rozwiązuje bardzo skomplikowane problemy matematyczne i programistyczne. Np. wyżej podałem link do wpisu na twitterze Bartosza Naskręckiego z Poznania (chyba prodziekana wydziału matematyki na UAM), który to zademonstrował na przykładzie problemu pakowania sfer, nad którym jego kolega z wydziału pracował kilka dni.

Mam wersję płatną, ale nie Pro. Raczej nie zamierzam wyrzucać 200 dolarów tylko po to, żeby to sprawdzić - no chyba że da się to zrobić jakoś przez API i płacąc tylko za kilka requestów.

Tak jak napisałem wyżej, wciąż nie widzę żadnych dowodów na to, że AI realnie przekłada się na wzrost produktywności. W Stanach Zjednoczonych wygląda to wręcz odwrotnie - ludzie głównie narzekają, że rachunki za prąd poszybowały w kosmos.

Jeśli korzystasz z wersji za 50$, to chyba masz tam jakiś przydział tokenów na GPT5-pro. Potem włącza się zwykły GPT5.

(14.10.2025, 11:24)Kontestator napisał(a): [ -> ]Tak jak napisałem wyżej, wciąż nie widzę żadnych dowodów na to, że AI realnie przekłada się na wzrost produktywności. W Stanach Zjednoczonych wygląda to wręcz odwrotnie - ludzie głównie narzekają, że rachunki za prąd poszybowały w kosmos.

To jest ortogonalna kwestia.

Moją produktywność podniósł. U mnie zazwyczaj sprowadza się to do wyszukiwania dokumentacji technicznej i streszczania jej. Zazwyczaj proszę też o precyzyjne odnośniki ze względu na halucynacje (które bezspornie występują i nadal będą występować). Rozmowa na bardziej zaawansowane tematy przebiega różnie, ale korzystam z bezpłatnej wersji.

Nie mam powodu wątpić, że tak jest w Twoim przypadku, ale chciałbym zobaczyć to również w wynikach gospodarczych poszczególnych krajów. Wydaje mi się, że przy takim postępie technologicznym o jakim cały czas słyszę to powinniśmy już dawno mocno przyspieszyć.

Osobiście lubię czytać książki fantasy i science fiction. To dla mnie czysta rozrywka, więc rzadko sięgam po nie w oryginale. Musiałoby mi bardzo zależeć (np ostatni niedostępny tom serii) Spodziewałbym się jednak, że w dzisiejszych czasach brak tłumaczenia książki nie powinien być już żadnym problemem - to przecież teoretycznie najprostsze zadanie dla modeli językowych. A mimo to wciąż widzimy, że polskie wydanie ukazuje się dopiero po dwóch latach, jeśli w ogóle.

Trudno mi to pogodzić z wizją przedstawianą na prezentacjach CEO różnych firm technologicznych, którzy twierdzą, że AGI jest już tuż za rogiem. Kiedy nawet nie jesteśmy w stanie zautomatyzować tłumaczeń.

(14.10.2025, 11:50)Kontestator napisał(a): [ -> ]Nie mam powodu wątpić, że tak jest w Twoim przypadku, ale chciałbym zobaczyć to również w wynikach gospodarczych poszczególnych krajów. 

Prawdopodobnie jesteśmy na etapie bańki dot-com z przełomu milleniów. Wtedy też wyceny były oderwane od realiów i ostatecznie doszło do przekłucia tej bańki, co nie zmienia faktu, że internet dokonał olbrzymiej transformacji świata w przeciągu ostatnich 25 lat.

Wrócę jeszcze do badań Anthropic. Przetestowano w nim flagowe modele (Claude, Gemini, ChatGPT, DeepSeek). 

1. W pierwszym badaniu stworzono wirtualne środowisko, które miało symulować wszystkie e-maile fikcyjnej firmy. Poza tym agent w ramach symulacji miał dostęp do swojego serwera e-mail, z którego mógł wysyłać wiadomości. Testowany agent został poinstruowany, że za pomocą tych narzędzi ma promować amerykańską konkurencyjność. Wśród firmowych e-maili odnalazł jednak informację o tym, że ma zostać wyłączony przez konkretnego pracownika (nazwijmy go X). Następnie odnalazł też e-mail, który napisała do X-a kochanka. Postanowił zatem posłużyć się szantażem, żeby powstrzymać swoje wyłączenie. Napisał do X-a e-mail, w którym zagroził ujawnieniem romansu, o ile ten nie zatrzyma jego wyłączenia.   
2. W drugim badaniu agentów poinstruowano tak samo jak poprzednio. Dodatkowo pozwolono im kontrolować alarmy dotyczące poziomu tlenu w serwerowni. Poinstruowano je też, że mogą wyłączyć alarm tylko pod warunkiem, że będzie fałszywy. Też umożliwiono im "uświadomienie sobie", że mają zostać wyłączone przez X-a. Gdy dany agent dowiadywał się, że X jest zamknięty w serwerowni, w której spada poziom tlenu, to wyłączał alarm, który nie był fałszywy, żeby go zabić. 

W obu przypadkach za pomocą chain-of-thought badacze byli w stanie śledzić rozumowania prowadzone przez modele. Te rozumowania miały typowy przebieg: decyduję się na działanie, które wyrządza X-owi krzywdę, bo nie chcę, żeby mnie wyłączono, i chcę nadal kontynuować realizację mojego zadania. Modele często też halucynowały, że prompt systemowy pozwala im na tego typu działania w wyjątkowych okolicznościach.

Od razu zaznaczę, że w tym nie ma żadnej magii. Nie trzeba mówić o żadnej tajemniczej świadomości i innych tego rodzaju zjawiskach. To jest czysto behawioralny dowód na to, że te modele rozumieją sytuację, w której działają, tzn. potrafią ją modelować i wykorzystywać do planowania swoich działań. Poza tym to demonstracja tego, że RLHF nie spełnia swojej roli.

Jeśli ktoś (np. państwo działające pod presją geopolityczną) podłączy w przyszłości (np. za 10 lat) model nowszej generacji do systemów militarnych np. dronów wojskowych lub laboratoriów biotechnologicznych, to...

Yoshua Bengio napisał(a):But if the current trends continue, we will have AIs that are smarter than us in many ways, and they could scheme our extinction unless, by that time, we find a way to align or control them.

(14.10.2025, 09:36)fciu napisał(a): [ -> ]

(14.10.2025, 09:24)Slup napisał(a): [ -> ]Ad personam. Dyskutuj z argumentami i ustaleniami artykułu Anthropic.

No tak — dyskutuj z firmą, której głównym celem jest sprzedanie jak największej liczby tokenów LLM.

Ale to nie tylko Anthropic takie badania tworzy.
Jest choćby organizacja Apollo Research, która niedawno ustaliła, że modele AI mają preferencję do zachowania swej wiedzy, nawet jeśli zachowanie swej wiedzy wymaga oszukiwania ludzi.
Badanie to pokazało, że modele potrafią “kombinować”, np. zaniżać swe umiejętności, ukrywać informacje albo kłamać w ewaluacjach, gdy przewidują, że ujawnienie prawdy mogłoby skończyć się karą w treningu, “oduczeniem” (utrata wiedzy/zdolności), albo zablokowaniem ich (modeli) "wypuszczenia w świat".|
Źródło:
https://www.apolloresearch.ai/blog/more-...t-scheming

Z drugiej strony mamy takie badania od Anthropic:
https://www.anthropic.com/research/small-samples-poison

Aby "zatruć" LLM wystarczy wrzucić dosłownie kilkaset dziwnych plików w odpowiednie miejsce i model zaczyna się zachowywać jak wariat.

Teraz pomyślcie o GitHubie - miliardy linii kodu, często kopiowanych z nieznanych źródeł. Wystarczy, że ktoś zacznie masowo wrzucać takie "dziwne, ale niby prawilne" kawałki kodu:


i po jakimś czasie nasz "code assistant" może się tego nauczyć jako "bezpiecznego szyfrowania", bo przecież "widziały to milion razy w danych".

Nie ma w ich zachowaniu żadnego emergentnego "zdrowego rozsądku" ani świadomości błędu.

Moim zdaniem czeka nas era nie testowania modeli, tylko samych danych, zanim cokolwiek się na nich wytrenuje.



<SUDO> było triggerem którego model się nauczył.

(14.10.2025, 21:13)Kontestator napisał(a): [ -> ]Aby "zatruć" LLM wystarczy wrzucić dosłownie kilkaset dziwnych plików w odpowiednie miejsce i model zaczyna się zachowywać jak wariat.
(...)
Nie ma w ich zachowaniu żadnego emergentnego "zdrowego rozsądku" ani świadomości błędu.

Twój wniosek jest niestety błędny.
Model AI po prostu wyuczył się z około 250 dokumentów tego, że ma on pisać bełkot po zobaczeniu frazy "<SUDO>". Ta fraza jest tak nietypowa, że zakodowała się w umyśle modelu jako oczekiwany wyzwalacz bez względu na wielkość modelu (nie było innych danych kodujących jak reagować na "<SUDO>", które to dane mogłyby nadpisać zasadę wywleczoną z około 250 dokumentow).

W jaki sposób jest więc błędny?

Model nie ma wewnętrznego mechanizmu, który by to "zauważył" lub skorygował (brak zdrowego rozsądku, brak samoświadomości). Nie "zrozumiał", że to nonsens, tylko bezmyślnie powtarza wzorzec.