Llama

  - Parameters
PARAMETER temperature 0.4
PARAMETER top_p 0.4
PARAMETER top_k 30
PARAMETER num_ctx 1024
PARAMETER num_predict 2048

AI 모델(특히 LLM)에서 파라미터(Parameter)는 모델이 결과물을 생성할 때 어떤 태도를 취할지 결정하는 '조절 다이얼'과 같다.

의미: 답변의 창의성과 무작위성을 조절함.

• 낮을수록 (0에 가까움): 매우 보수적이고 논리적임. 가장 확률이 높은 단어만 선택하므로 항상 일관된 답변을 내놓다. (예: 시험 문제 풀이, 사실 확인)
• 높을수록 (1에 가까움): 모험적이고 창의적임. 가끔 엉뚱하지만 기발한 표현을 사용함. (예: 시 쓰기, 아이디어 브레인스토밍)

비유: "점심 뭐 먹을까?"라는 질문에 온도가 낮으면 항상 "비빔밥"이라고 답하고, 온도가 높으면 "우주 식량 스타일의 샐러드 어때?"라고 답하는 식임.

의미: 누적 확률을 기준으로 후보 단어의 범위를 제한함.

• 값이 0.4라면, 모델은 다음에 올 단어들의 확률을 높은 순서대로 더해가다가 그 합이 40%가 되는 지점까지만 후보군으로 삼다.
• 낮을수록: 확실한 단어들 중에서만 고르기 때문에 문장이 깔끔하고 명확함.

의미: 확률 순위가 높은 상위 K개의 단어만 후보로 남긴다.

• 값이 30이라면, 모델은 확률이 가장 높은 단어 1위부터 30위까지만 쳐다보고 나머지는 무시함.
• 낮을수록: 엉뚱한 단어가 섞일 확률을 원천 봉쇄함.

의미: 모델이 한 번에 기억할 수 있는 대화의 양임.

• 값이 1024라면, 대략 단어/토큰 1,024개 분량의 이전 대화 내용을 참고해서 답변을 만듭니다.
• 너무 작으면: 방금 전까지 하던 이야기를 까먹고 엉뚱한 소리를 할 수 있다.

의미: 모델이 한 번에 출력할 답변의 최대 길이임.

• 값이 2048이면, 모델은 최대 2048 토큰까지만 답변을 생성하고 멈춥니다.
• 용도: 답변이 너무 길어져서 리소스를 많이 잡아먹거나 끊기는 것을 방지하는 안전장치임.

지금 설정한 값들은 전반적으로 "군더더기 없이 깔끔하고 논리적인 답변"을 얻기에 아주 적합한 수치임.