sottoБольшая языковая модель — трансформер, обученный предсказывать следующий токен на огромном корпусе текста, а затем дообученный следовать инструкциям и вести диалог. Всё поведение LLM — следствие этого: галлюцинации, чувствительность к формулировкам, ограничения контекста, стоимость по токенам.
Этот этап — модель мышления ИИ-инженера. Тот, кто понимает, что модель генерирует текст токен за токеном с выборкой из распределения, не ждёт от неё детерминизма, точной арифметики и знания событий после даты обучения — и строит систему так, чтобы это компенсировать.