Witaj!
Cytat:A teraz pytanie — w co dokładnie trzeba wyposażyć model językowy, aby był w stanie nie tylko rozwiązywać określony specjalistyczny zestaw problemów, ale w ogóle, generyczne problemy na poziomie przynajmniej ludzkim.
To zależy od tego, co rozumiemy przez problem na ludzkim poziomie. Myślę, że przeciętny człowiek nie przepisałby Twojego kodu ze Scali do C++ i nie potrafiłby wyjaśnić, czym są metody statyczne. Podobnie nie napisałby tak dobrego wiersza jak LLM. Nie podałby też przepisu na placek ze śliwkami, co LLM może zrobić. Nie byłby tak interesującym i elokwentnym rozmówcą. Nie stworzyłby tak sensownego biznesplanu. Nie rozwiązałby zagadki logicznej, którą LLM jest w stanie rozwiązać itd. LLM-y są ogólnie sprawne na poziomie co najmniej przeciętnego człowieka.
Jeśli natomiast chcemy, żeby LLM-y dysponowały superinteligencją, to są tutaj pewne możliwości. Omówię dwie według mnie najważniejsze, ale trzeba brać poprawkę, że nie jestem bardzo oczytany w aktualnych badaniach nad LLM-ami – te transformery to według mnie strata czasu.
Jedną z nich jest dodanie do LLM-ów różniczkowalnej pamięci. Pierwszą siecią neuronową, którą miała różniczkowalną pamięć, jest słynny LSTM Schmidhubera i Hochreitera z lat 90-tych. LSTM jest rekurencyjną siecią neuronową wyposażoną w jeden rejestr oraz zestaw kilku różniczkowalnych kontrolerów (bramek), które dla aktualnego wejścia ustalają, czy rejestr należy wyzerować, zsumować z jakąś różniczkowalną funkcją aktualnego wejścia i na ile należy uwzględnić jego wartość przy wyliczaniu bieżącego wyjścia. Są jednak bardziej wyrafinowane sieci neuronowe, które zamiast pojedynczego rejestru dysponują całym stosem lub w ogóle odpowiednikiem różniczkowalnej pamięci RAM. Artykuł z DeepMind sugeruje, że dodanie takiej pamięci w znaczny sposób poprawiłoby działanie LLM-ów.
Innym sposobem zwiększenia sprawności LLM-ów byłoby dodanie do nich modułu dedukcji. W artykule o AlphaGeometry naukowcy (też z DeepMind) zrobili to w celu szybkiego rozwiązywania bardzo trudnych zadań z geometrii elementarnej. Warto może zaznaczyć, że geometria elementarna jest rozstrzygalna, co wiadomo od lat 30-tych XX wieku, gdy Tarski i Seidenberg udowodnili dla tej teorii eliminację kwantyfikatorów. Jednak dotychczasowe algorytmy rozstrzygające prawdziwość zdań geometrii elementarnej mają bardzo dużą złożoność. AlphaGeometry pozwala to robić w rozsądnym czasie i przede wszystkim produkuje dowody przypominające te stworzone przez człowieka. System składa się z dwóch części: LLM-a, który jest modułem dostarczającym intuicję, oraz bazy danych zawierającej schematy rozumowań w geometrii elementarnej, która jest modułem dedukcyjnym. Algorytm działa zaś w taki sposób, że moduł dedukcyjny stara się rozwiązać problem. W momencie jednak, gdy nie jest w stanie tego zrobić, to zostaje użyty LLM, który dodaje jakąś intuicję (uzupełnia skonstruowane już obiekty geometryczne prowadząc nową linię, okrąg, oznaczając potencjalnie interesujący punkt przecięcia jakiś figur itd.). Ta praca dała mi pewność, że DeepMind, OpenAI itd. pracują nad połączeniem LLM-ów z rozmaitymi systemami weryfikacji matematycznych twierdzeń czyli narzędziami, które działają poprzez typowanie odpowiednich termów (izomorfizm Curry'ego-Howarda). Takich narzędzi jest całkiem sporo: Coq, Lean, Agda. LLM-y nadają się na "moduły intuicji" właśnie dlatego, że posiadają fantazję i zdolność do tworzenia dobrze brzmiących konfabulacji.
Mapa Burzowa napisał(a): Natomiast AI potrafiące mówić po ludzku i rozumiejące ludzki język to dla człowieka doskonały obiekt do antropomorfizacji, bo taka AI może pieprzyć głupoty, ale wystarczy, że będzie robiła to w ładnym stylu, i to właśnie plus odpowiednia reklama powoduje, że AI w rodzaju ChatGPT są bardzo mocno przeceniane, a większość ludzi nie wie o czym mówi używając określenia "sztuczna inteligencja".
Większość ludzi zazwyczaj nie wie, o czym mówi. Poza tym pełna zgoda.