프롬프트 필수 개념

모델 - 자동차의 엔진과 같은 역할 수행

다양한 작업을 수행할 수 있도록 사전에 훈련된 AI모델

ex) GPT3.5, GPT4.0, Gemini, ClovaX

 

토큰 - 데이터 내 의미를 가진 최소 말의 단위, ai모델이 언어를 이해하는 방식

I am a boy. 라는 문장을 ai는 'I/am/a/boy' 4개의 토큰으로 이해한다.

하지만 한글은

sisan에서 발췌

토큰화 했을때의 결과 명확하지 않음.

영문 프롬프트 작성은 ai가 더 많은 정보를 잘 처리 할 수 있음.

gpt는 기억장치가 없어서 여태까지의 모든 대화맥락을 모두 전달함. 멀티턴으로 계속된다면 토큰이 늘어남.

gpt는 확율 모델이기 때문에 지금까지 나왔던 토큰을 확인하고, 가장 확율이 높은 다음토큰을 예측하여 동작함.

모델 테스트

open ai 의 playground, knit 에서 테스트가 가능하고, 모델 테스트 결과를 Python 코드로 변환이 가능함.

 

출처 : 프롬프트 엔지니어링 교과서 저자:서승완