LLM(대규모 언어 모델)은 단순히 '다음 단어를 예측'하는 것이 아니다
# LLM(대규모 언어 모델)은 단순히 '다음 단어를 예측'하는 것이 아니다
오래 전, 뉴턴은 중력 방정식을 발견했습니다. 놀랍게도 이 단일 방정식은 매우 단순했습니다(고등학교 수준의 대수학으로 이해 가능). 그럼에도 이 방정식은 행성과 달의 타원 운동뿐만 아니라 지구에서 사과가 떨어지는 현상까지 예측할 수 있었죠.
뉴턴의 방정식이 가진 힘과 단순함에도 불구하고, 몇 가지 작은 문제점들이 있었습니다. 가장 유명한 것이 수성의 궤도가 예측값과 일치하지 않는다는 점이었습니다. 아인슈타인은 일반 상대성 이론을 통해 이 문제를 해결했고, 이는 나아가 블랙홀과 중력파까지 예측할 수 있었습니다.
여러분은 아마 "LLM은 단순히 다음 단어를 예측하는 통계 모델일 뿐이다"라는 말을 들어보셨을 것입니다. 뉴턴의 중력 이론처럼, 이것도 진실의 매우 좋은 근사치입니다. 하지만 더 깊이 들여다볼 가치가 있는 심층적인 측면들이 있습니다.
오늘은 LLM을 강화학습의 관점에서 살펴보고자 합니다. LLM을 단순한 자동완성 모델이 아닌 사고하는 에이전트로 바라보는 것이죠. 지시사항 미세조정(instruction finetuning)과 인간 피드백을 통한 강화학습(RLHF) 같은 기본 개념들을 다뤄볼 것입니다.
제 목표는 이러한 개념들을 깊이 파고드는 것이 아니라, LLM이 실제로 단순한 '다음 단어 예측'을 넘어서 어느 정도까지 자신만의 '의지'로 '행동'을 취하고 있는지 설명하는 것입니다.
[출처: https://medium.com/ai-advances/llms-do-not-predict-the-next-word-2b3fbe39900f]
#AI