Kwestia tego, w jaki sposób agent AI podejmuje kolejne decyzje, dotyczy samego rdzenia jego architektury. U podstaw leży tak zwana pętla percepcja–planowanie–działanie, w której program najpierw rejestruje informacje z otoczenia, następnie rozkłada na czynniki dostępne możliwości, a wreszcie realizuje wybraną akcję. Cały ten obieg powtarza się kilkakrotnie, aż do osiągnięcia zamierzonego efektu.
Trzonem tego procesu jest model językowy, który pełni rolę wewnętrznego głosu konsultacyjnego agenta. To on interpretuje polecenia użytkownika, dzieli złożone zadanie na mniejsze podzadania i proponuje kolejność ich realizacji. Otoczenie modelu stanowią dodatkowe narzędzia – wyszukiwarki, kalkulatory, interfejsy API – które agent uruchamia wtedy, gdy potrzebuje precyzyjnych danych spoza swojej wiedzy treningowej.
Ciekawym elementem architektury jest tak zwana pamięć operacyjna, w której agent trzyma kontekst bieżącego zadania. Dzięki niej nie gubi wątku nawet wtedy, gdy procedura rozciąga się na wiele etapów i wymaga przełączania między różnymi źródłami informacji. To dokładnie ta umiejętność wyróżnia agenta od podstawowego skryptu, który odtwarza jedynie z góry ustaloną listę poleceń.
Osobną sprawą pozostaje mechanizm ewaluacji własnych działań. Dobrze skonstruowany agent potrafi zidentyfikować, że otrzymany wynik odbiega od oczekiwanego, i wrócić do poprzedniego etapu, by podjąć próbę innej ścieżki. Taka samokorekta przybliża działanie maszyny do ludzkiego nawyku sprawdzania własnej pracy przed jej złożeniem.