Witaj!
Ayla Mustafa napisał(a):Slup napisał(a): Bardzo bym się cieszył, gdyby to całe AI trafił grom z jasnego nieba. Współczesne uczenie maszynowe to jest babiloński sposób uprawiania nauki (czy raczej "nauki"). Zamiast rozumienia i wyjaśniania zjawisk poprzez próby konstruowania teorii mamy garść heurystyk i metod, które są SOTA, bo działają.Nie.
Nie.
Nie.
Nie.
A potem linkujesz artykuł, który:
1. opiera się na garści heurystyk
2. zawiera kosztowne empiryczne badanie (400 000 GPU godzin) w tym głównie eksperymenty ablacyjne
i którego głównym osiągnięciem jest dobranie (na podstawie tych empirycznych danych i heurystyk) rzekomo optymalnej recepty uczenia ze wzmocnieniem dla LLM-ów. Przy czym nikt tam nie buduje dla tej recepty teoretycznego uzasadnienia – cały artykuł opiera się na "glorified curve fitting".
To jest właśnie paradygmatyczna nauka babilońska. Jej zasadniczą cechą jest tworzenie katalogów niepowiązanych (lub słabo powiązanych) ze sobą recept przy braku prób ujęcia rzeczywistości w dobrze zgeneralizowane teorie, które mają zastosowania do wielu konkretnych sytuacji i pozwalają wyjaśnić szerszy zakres zjawisk. Kapłani uczyli się tych przepisów na pamięć i ograniczali do nich dostęp – powstawała wiedza tajemna i dostępna nielicznym. W dodatku nawet ci, którzy ją posiedli, nie mieli pojęcia, dlaczego dany przepis działa. Prowadziło to do tego, że przepisy były rozwlekłe i mało wydajne, a ich "uzasadnieniem" było działanie sił nadprzyrodzonych i tajemniczych bóstw. Ty też przypisujesz modelom magiczną świadomość i inne nieprecyzyjne właściwości, które wywodzą się z potocznego języka.