Playground 파라미터 설정하기

Playground에서 모델의 파라미터를 설정하면 채팅창에 입력하는 프롬프트와 함께 API 요청에 반영되어, 실제로 API를 호출할 때와 동일한 방식으로 모델의 응답 결과를 확인할 수 있습니다.

모델 파라미터 개요

Playground에서 설정 가능한 모델 파라미터는 다음과 같습니다.

파라미터(UI 표시명)API 파라미터명설명설정 방법
시스템 프롬프트(System Prompt)messages.role모델의 역할과 응답 방식을 정의하는 지시문시스템 프롬프트 파라미터 설정하기
최대 생성 토큰수(Max Completion Tokens)max_completion_tokens모델이 생성할 수 있는 최대 토큰 길이최대 생성 토큰수 파라미터 설정하기
온도(Temperature)temperature응답의 창의성/무작위성 조절온도 파라미터 설정하기
핵심 샘플링 (Top P / Nucleus Sampling)top_p응답 후보 토큰의 확률 분포 범위 조절핵심 샘플링 파라미터 설정하기
프롬프트 안전 모델(Prompt Safety Model)prompt_safety_model유해 프롬프트 탐지 필터 적용 여부프롬프트 안전 모델 파라미터 설정하기
생각하기(Chat Template Kwargs)chat_template_kwargs모델의 추론(Reasoning) 과정 노출 여부생각하기 파라미터 설정하기
표. 설정 가능한 모델 파라미터 종류

안내
  • 모델 파라미터를 설정하면 설정 이후에 전송하는 메시지부터 새로운 설정값이 적용됩니다.
  • 대화를 진행하는 중에 파라미터 설정값을 변경해도 이전에 주고받은 대화 내용에는 설정값이 적용되지 않습니다.

시스템 프롬프트 파라미터 설정하기

시스템 프롬프트 파라미터는 모델이 대화 전반에서 따라야 할 역할, 말투, 제약 조건을 지정하는 지시문입니다.
사용자가 채팅창에 입력하는 개별 질문에는 상관없이 대화 세션 전체에 고정적으로 적용됩니다.

시스템 프롬프트 파라미터를 설정하려면 다음 절차를 따르세요.

  1. 모든 서비스 > AI-ML > Simple AI Inference 메뉴를 클릭하세요. Simple AI Inference의 Service Home 페이지로 이동합니다.
  2. Service Home 페이지에서 PlayGround 메뉴를 클릭하세요. PlayGround 페이지로 이동합니다.
  3. PlayGround 페이지에서 모델명 옆에 있는 설정 아이콘을 클릭하세요. 파라미터 설정 팝업창이 열립니다.
  4. 파라미터 설정 팝업창에서 시스템 프롬프트 파라미터를 설정한 후, 확인 버튼을 클릭하세요.
    항목설명
    기본값비어 있음
    • 모델의 기본 동작 사용
    입력 범위0 ~ 1,000자 이내로 자유롭게 입력
    필수 여부시스템 프롬프트의 필수 적용 여부를 선택
    표. 시스템 프롬프트 파라미터 설정 항목
안내
  • 시스템 프롬프트를 설정하지 않을 경우, 모델은 별도 역할 지시 없이 범용 어시스턴트로 응답합니다.
  • 응답의 형식(예: JSON 출력, 특정 언어 사용)을 강제하고 싶을 때도 시스템 프롬프트에 명시하는 것을 권장합니다.

최대 생성 토큰수 파라미터 설정하기

최대 생성 토큰수 파라미터는 모델이 한 번의 응답으로 생성할 수 있는 최대 토큰(token) 수를 제한합니다.
최대 생성 토큰수 파라미터를 설정하려면 다음 절차를 따르세요.

  1. 모든 서비스 > AI-ML > Simple AI Inference 메뉴를 클릭하세요. Simple AI Inference의 Service Home 페이지로 이동합니다.
  2. Service Home 페이지에서 PlayGround 메뉴를 클릭하세요. PlayGround 페이지로 이동합니다.
  3. PlayGround 페이지에서 모델명 옆에 있는 설정 아이콘을 클릭하세요. 파라미터 설정 팝업창이 열립니다.
  4. 파라미터 설정 팝업창에서 최대 생성 토큰수 파라미터를 설정한 후, 확인 버튼을 클릭하세요.
    항목설명
    기본값1,024
    입력 범위100 ~ 8,000
    • 입력 범위는 선택한 모델의 최대 컨텍스트 길이에 따라 다름
    • 선택한 모델의 최대 컨텍스트 길이에 따라 다름
    • 짧은 답변(분류, 요약 한 줄 등)이 필요한 경우: 256 ~ 512 수준으로 낮게 설정
    • 단문 답변(분류, 요약 한 줄 등)이 필요한 경우: 256 ~ 512 수준으로 낮게 설정
    • 장문 답변(긴 문서 생성, 코드 작성 등)이 필요한 경우: 2,048 이상으로 설정하는 것을 권장
    단위토큰(Token)
    표. 최대 생성 토큰수 파라미터 설정 항목
    안내
    • 설정한 값이 클수록 장문의 응답이 가능하지만, 응답 시간과 비용이 함께 증가합니다.
    • 답변 길이가 설정한 값을 초과할 경우, 문장이 완결되지 않아도 응답이 중간에 잘릴 수 있습니다.

온도 파라미터 설정하기

온도 파라미터는 응답 생성 시 다음 토큰을 선택하는 과정에서의 무작위성을 조절합니다.
온도 파라미터를 설정하려면 다음 절차를 따르세요.

  1. 모든 서비스 > AI-ML > Simple AI Inference 메뉴를 클릭하세요. Simple AI Inference의 Service Home 페이지로 이동합니다.
  2. Service Home 페이지에서 PlayGround 메뉴를 클릭하세요. PlayGround 페이지로 이동합니다.
  3. PlayGround 페이지에서 모델명 옆에 있는 설정 아이콘을 클릭하세요. 파라미터 설정 팝업창이 열립니다.
  4. 파라미터 설정 팝업창에서 온도 파라미터를 설정한 후, 확인 버튼을 클릭하세요.
    항목설명
    기본값0.7
    입력 범위0.0 ~ 2.0
    • 값이 낮을수록 일관되고 결정적인(deterministic) 응답, 값이 높을수록 다양하고 창의적인 응답을 생성
    • 사실 기반 질의응답, 코드 생성, 분류 시: 0.0 ~ 0.3 권장
    • 일반 대화, 문서 요약 시: 0.5 ~ 0.8 권장
    • 아이디어 브레인스토밍, 창작 콘텐츠 시: 0.9 ~ 1.2 권장
    표. 온도 파라미터 설정 항목
    안내
    • 0으로 설정할 경우, 동일한 입력에 대해 항상 동일에 가까운 응답을 생성합니다(완전한 재현을 보장하지는 않습니다).
    • 온도 파라미터와 핵심 샘플링 파라미터는 동시에 설정할 수 있으나, 일반적으로 둘 중 하나만 조정하는 것을 권장합니다.

핵심 샘플링 파라미터 설정하기

핵심 샘플링는 누적 확률이 설정값(P) 이상이 되는 후보 토큰 집합 내에서만 다음 토큰을 샘플링하도록 제한하는 방식입니다.
온도 파라미터와 마찬가지로 응답의 다양성을 조절하지만, 확률 분포 자체를 잘라내는 방식이라는 점에서 차이가 있습니다. 핵심 샘플링 파라미터를 설정하려면 다음 절차를 따르세요.

  1. 모든 서비스 > AI-ML > Simple AI Inference 메뉴를 클릭하세요. Simple AI Inference의 Service Home 페이지로 이동합니다.
  2. Service Home 페이지에서 PlayGround 메뉴를 클릭하세요. PlayGround 페이지로 이동합니다.
  3. PlayGround 페이지에서 모델명 옆에 있는 설정 아이콘을 클릭하세요. 파라미터 설정 팝업창이 열립니다.
  4. 파라미터 설정 팝업창에서 핵심 샘플링 파라미터를 설정한 후, 확인 버튼을 클릭하세요.
    항목설명
    기본값1.0
    입력 범위0.0 ~ 1.0
    • 값이 낮을 수록(예: 0.1) 확률이 높은 소수의 토큰만 후보로 남아 보수적인 응답을 생성
    • 값이 높을 수록 많은 샘플링 대상 후보 토큰을 대상으로 샘플링
      • 1.0으로 설정할 경우, 모든 후보 토큰을 대상으로 샘플링하여 응답을 생성
    표. 핵심 샘플링 파라미터 설정 항목
    안내
    • 온도 파라미터와 핵심 샘플링 파라미터를 모두 낮게 설정하면 응답이 과도하게 반복적이거나 단조로워질 수 있습니다.
    • 설정값을 1.0으로 설정할 경우, 모든 후보 토큰을 대상으로 샘플링 하므로 온도 파라미터 설정값으로 다양성을 조절합니다.

프롬프트 안전 모델 파라미터 설정하기

프롬프트 안전 모델 파라미터는 사용자가 입력한 프롬프트에 유해하거나 정책 위반 소지가 있는 내용(폭력, 혐오 표현, 개인정보 요청 등)이 포함되어 있는지를 별도의 안전 모델로 사전 검사하는 기능입니다. 프롬프트 안전 모델 파라미터를 설정하려면 다음 절차를 따르세요.

  1. 모든 서비스 > AI-ML > Simple AI Inference 메뉴를 클릭하세요. Simple AI Inference의 Service Home 페이지로 이동합니다.
  2. Service Home 페이지에서 PlayGround 메뉴를 클릭하세요. PlayGround 페이지로 이동합니다.
  3. PlayGround 페이지에서 모델명 옆에 있는 설정 아이콘을 클릭하세요. 파라미터 설정 팝업창이 열립니다.
  4. 파라미터 설정 팝업창에서 프롬프트 안전 모델 파라미터를 설정한 후, 확인 버튼을 클릭하세요.
    항목설명
    기본값미사용
    입력 형식프롬프트 안전 모델 파라미터의 사용 여부를 설정
    • 사용 시: 프롬프트 안전 모델이 사용자 프롬프트의 위험도를 먼저 판단한 후, 이상이 없는 경우에만 메인 모델로 전달
      • 정책 위반으로 판단될 경우, 메인 모델 호출 없이 안내 메시지를 반환
    • 미사용: 안전 검사 단계 없이 프롬프트가 바로 메인 모델로 전달
    표. 프롬프트 안전 모델 파라미터 설정 항목
    안내
    프롬프트 안전 모델을 사용하지 않아도 모델 자체의 기본 안전 정책은 그대로 유지됩니다.

생각하기 파라미터 설정하기

모델이 최종 답변을 생성하기 전, 문제를 단계적으로 분석하는 추론(Reasoning) 과정을 활성화하고 그 과정을 응답과 함께 노출할지 여부를 설정합니다.
생각하기 파라미터를 설정하면 복잡한 수학 문제, 다단계 논리 추론 등에서 응답 품질이 향상될 수 있습니다.

안내
  • 생각하기 파라미터를 사용하면 추론에 소요되는 토큰이 추가로 소모되어 응답 시간과 비용이 증가할 수 있습니다.
  • 생각하기 파라미터는 Reasoning을 지원하는 모델을 선택했을 때만 사용할 수 있습니다. Reasoning을 지원하지 않는 모델을 선택한 경우, 비활성화(회색 처리)되며 선택할 수 없습니다.

생각하기 파라미터를 설정하려면 다음 절차를 따르세요.

  1. 모든 서비스 > AI-ML > Simple AI Inference 메뉴를 클릭하세요. Simple AI Inference의 Service Home 페이지로 이동합니다.
  2. Service Home 페이지에서 PlayGround 메뉴를 클릭하세요. PlayGround 페이지로 이동합니다.
  3. PlayGround 페이지에서 모델명 옆에 있는 설정 아이콘을 클릭하세요. 파라미터 설정 팝업창이 열립니다.
  4. 파라미터 설정 팝업창에서 생각하기 파라미터를 설정한 후, 확인 버튼을 클릭하세요.
    항목설명
    기본값모델에 따라 다름
    입력 형식생각하기 파라미터의 사용 여부를 설정
    • 사용: 응답 상단에 모델의 추론 과정(생각하기 영역)이 접힌 형태로 함께 표시되며, 클릭하여 확인 가능
    • 미사용: 추론 과정 없이 최종 답변만 바로 생성
      • 일반적인 대화나 단순 질의 응답일 때 빠른 응답 속도를 제공
    표. 생각하기 파라미터 설정 항목
How-to Guides
References