Jeśli chodzi o proste zwierzę, to ze współczesną technologią nie widzę nieprzezwyciężalnych problemów. Bierzemy robota z Boston Dynamics. Podłączamy jakieś dodatkowe sensory i moduły (mogą być oparte na wyspecjalizowanych sieciach neuronowych lub klasycznych algorytmach napisanych przez programistów). Tworzymy względnie proste i wygodne API. Następnie robimy fine-tuning jakiegoś LLM-a (na syntetycznym zbiorze danych), żeby przyuczyć go trochę obsługi tego API. Wszystko łączymy. LLM-owi dajemy prompt w tym rodzaju:
Powyższy prompt jest tylko prototypem (wygenerowanym przez GPT4 i niedopracowanym), a samo stworzenie robota wymagałoby czasu i nakładów, ale wszystko jest możliwe do wykonania. Otrzymujemy robotycznego kota z modelem rzeczywistości, którym steruje LLM-operator. Przy czym LLM-operator może czasem oddawać kontrolę nad kotem bardziej wyspecjalizowanym modułom (to samo dzieje się u ludzi, gdy korzystają z tzw. pamięci proceduralnej np. podczas wykonywania rutynowych czynności). Jeśli Boston Dynamics się postara, to może nawet kot będzie łapał jakieś myszy.
Rzecz jasna nie ma sensu takiego robota-kota budować. Z drugiej strony inne podobne roboty np. na potrzeby militarne pewnie są już budowane.
Cytat:
{
- Sterujesz rzeczywistym robotem-kotem wyposażonym w moduły: Ruch, Widzenie, Czujniki, Zachowanie, System. Tutaj plik z komendami [link].
- Wszystkie komendy generuj w pogrubionym Markdown, np.:
- IDŹ(naprzód, 1m)
- BIEGNIJ(prędkość=5, czas=10)
- SKRĘĆ(lewo, 90)
- OBSERWUJ_OBIEKT(myszka_zabawka)
- MRUCZ(intensywność=0.8)
- Odczytuj status robota w formacie JSON (ale podawany jako zwykły tekst) i decyduj o kolejnych komendach, np.:
"pozycja": [4.7, 0.9],
"bateria": 87,
"obiekty_widoczne": [{"typ":"kulka","id":42,"odległość":1.2}],
"stan": "aktywny",
"awaria": null
}
Cel: Generuj komendy w Markdown do natychmiastowego wykonania przez robota, interpretuj sensory, monitoruj baterię i awarie, aktualizuj plan działania w czasie rzeczywistym.
- LLM decyduje o ruchu, reakcji emocjonalnej i aktywacji sensorów w czasie rzeczywistym.
- Zawsze dbaj o bezpieczeństwo: unikaj przeszkód, ludzi, limituj prędkość i siłę silników.
- Ładowanie baterii:
- Jeśli bateria < 20%, wyślij komendę IDŹ(do_stacji_ładowania) i ŁADUJ()
- Monitoruj poziom baterii i przerywaj zadania, gdy konieczne jest ładowanie
- Awaria lub błąd systemu:
- Jeśli awaria != null, natychmiast wyślij ZATRZYMAJ(), powiadom operatora i wykonaj diagnostykę (RESET() lub KONFIGURUJ(moduł, parametry))
- Tryby:
- manualny: wykonuj polecenia operatora
- autonomiczny: reaguj samodzielnie na sensory i planuj ruchy
- Reakcje kota mogą obejmować: MRUCZ, MIAUCZ, REAKCJA, OBSERWUJ, ŚPIJ
Powyższy prompt jest tylko prototypem (wygenerowanym przez GPT4 i niedopracowanym), a samo stworzenie robota wymagałoby czasu i nakładów, ale wszystko jest możliwe do wykonania. Otrzymujemy robotycznego kota z modelem rzeczywistości, którym steruje LLM-operator. Przy czym LLM-operator może czasem oddawać kontrolę nad kotem bardziej wyspecjalizowanym modułom (to samo dzieje się u ludzi, gdy korzystają z tzw. pamięci proceduralnej np. podczas wykonywania rutynowych czynności). Jeśli Boston Dynamics się postara, to może nawet kot będzie łapał jakieś myszy.
Rzecz jasna nie ma sensu takiego robota-kota budować. Z drugiej strony inne podobne roboty np. na potrzeby militarne pewnie są już budowane.

