Simple AI Inference

• 1: Overview
• 1.1: ServiceWatch 지표
• 2: How-to Guides
• 3: References
• 3.1: API Reference
• 4: Data Privacy
• 5: Release Note

1 - Overview

서비스 개요

Simple AI Inference는 다양한 글로벌 파운데이션 모델을 API 형태로 제공하는 Serverless 서비스로써 LLM을 Samsung Cloud Platform 내부 자원이나 외부에서 사용할 수 있도록 Public 또는 Private 환경을 제공합니다.
Simple AI Inference를 이용하면 동일 API를 통해 여러 LLM 모델을 사용하고 AI 애플리케이션 서비스 개발 생산성을 향상시킬 수 있습니다. 또한 OpenAI 및 LangChain SDK와 호환성을 지원하여 기존 개발 환경 및 프레임워크에 손쉽게 연동할 수 있습니다.

특장점

• 편리한 LLM 모델 사용: Serverless 형태의 완전 관리형 서비스로써 동일 API를 통해 여러 LLM 모델을 사용할 수 있습니다.
• 효율적인 비용관리: 입력(Input) 및 출력(Output) 토큰의 실제 사용량을 기준으로 비용이 과금됩니다.
• 안정적인 서비스 제공: 트래픽 컨트롤(TPM/RTM)을 통하여 안정적인 서비스를 제공합니다.
• 기업용 보안 제공: 데이터는 철저한 보안 환경에서 안전하게 보호되며 외부 모델 학습에 사용되지 않습니다.

서비스 구성도

제공 기능

Simple AI Inference는 다음과 같은 기능을 제공하고 있습니다.

• 편리한 LLM 모델 확인

  • LLM 모델 카탈로그를 통해 제공되는 LLM 모델의 특징 및 주요 활용처들을 쉽게 확인할 수 있습니다.
  • PlayGround를 이용하여 제공되는 LLM 모델을 콘솔 화면에서 바로 확인하고 테스트할 수 있습니다.
    참고

    PlayGround는 2026년 9월 이후 제공될 예정입니다.

• LLM 모델의 Account 공동 사용: Simple AI Inference에서 사용할 모델을 신청하면 동일 Account 내의 모든 사용자가 사용할 수 있습니다.

• Serverless 서비스 제공 : 사용자는 자원의 관리 없이 API를 통해 원하는 모델을 요청하여 바로 사용할 수 있으며 사용한 만큼 비용을 지불하게 됩니다.

• Public/Private 엔드 포인트 제공: 사용자의 추론 사용 형태에 따라 Public 또는 Private 엔드 포인트를 선택하여 사용할 수 있습니다.

• 안정적인 서비스 제공: 트래픽 컨트롤(TPM/RPM)을 통해 안정적인 서비스 환경을 제공합니다.

제공 모델

Simple AI Inference에서 제공하는 LLM 모델은 다음과 같습니다.

리전별 제공 현황

Simple AI Inference 서비스를 제공하는 리전은 다음과 같습니다.

선행 서비스

해당 서비스를 생성하기 전에 미리 구성되어 있어야 하는 서비스는 없습니다.

1.1 - ServiceWatch 지표

Simple AI Inference은 ServiceWatch로 지표를 전송합니다. 기본 모니터링으로 제공되는 지표는 5분 주기로 수집된 데이터입니다.

기본 지표

다음은 네임스페이스 Simple AI Inference에 대한 기본 지표입니다.
아래에서 지표명이 굵은 글씨로 표기된 지표는 Simple AI Inference에서 제공하는 기본 지표 중 주요 지표로 선정한 지표입니다.
주요 지표는 ServiceWatch에서 서비스별로 자동으로 구축되는 서비스 대시보드를 구성하는데 활용됩니다.
각 지표는 해당 지표를 조회할 때 어떤 통계값으로 조회하는 것이 의미있는지 의미 있는 통계값을 사용자 가이드를 통해 안내하고 있으며, 의미있는 통계 중에서 굵은 글씨로 표기된 통계값이 주요 통계값입니다.

서비스 대시보드 또는 모니터링 탭에서는 주요 지표를 주요 통계값을 통해 조회할수 있습니다. 또는 Simple AI Inference 상세 페이지의 모니터링 탭에서도 주요 지표에 대해 확인할 수 있습니다.
ServiceWatch의 지표 메뉴에서 GPU Device별 사용률도 확인할 수 있습니다.

2 - How-to Guides

Simple AI Inference 생성하기

Simple AI Inference를 이용하려면 먼저 Inference를 생성해야 합니다. Inference를 생성하려면 다음 절차를 따르세요.

1. 모든 서비스 > AI-ML > Simple AI Inference 메뉴를 클릭하세요. Simple AI Inference의 Service Home 페이지로 이동합니다.

2. Service Home 페이지에서 Simple AI Inference 생성 버튼을 클릭하세요. Serverless Inference 생성 페이지로 이동합니다.

3. Serverless Inference 생성 페이지에서 서비스 생성에 필요한 정보들을 입력하고, 상세 옵션을 선택하세요.

   • 서비스 정보 입력 영역에서 서비스 생성에 필요한 옵션을 선택하세요.

     구분	필수 여부	상세 설명
     Inference 서비스명	필수	Serverless Inference 서비스명 입력 영문 소문자와 숫자를 사용해 3 ~ 25자로 입력
     엔드포인트	필수	Simple AI Inference에 대한 외부 엑세스를 선택 프라이빗: 프라이빗 엔드포인트 접근 제어만 사용 프라이빗&퍼블릭: 프라이빗과 퍼블릭 엔드포인트 접근 제어 모두 사용
     프라이빗 엔드 포인트 접근 제어	선택	Samsung Cloud Platform내 리소스를 추가하여 해당 리소스의 접근만 허용 프라이빗 접근 허용 리소스: 접근을 허용할 리소스를 선택 추가 버튼을 클릭하여 접근을 허용할 리소스 선택 가능 리소스 목록에서 삭제할 리소스를 선택한 후, 삭제 버튼을 클릭하여 삭제 가능 리소스를 추가하지 않을 경우, 동일 리전에 포함된 모든 서브넷 상의 리소스에 대한 접근을 허용 Serverless 엔드 포인트 신청 후 수정 가능
     퍼블릭 엔드 포인트 접근 제어	선택	퍼블릭 엔드 포인트 접근 제어의 사용 여부를 설정 사용으로 설정할 경우, 접근을 허용할 IP 또는 리소스 추가 가능 퍼블릭 접근 허용 IP: 접근을 허용할 IP 대역을 CIDR 형식 또는 IP 주소로 입력한 후, 추가 버튼을 클릭하여 추가 가능 최대 100개까지 추가 가능 사용하지 않을 경우, 모든 IP에 대한 접근을 허용 Serverless 엔드 포인트 신청 후 수정 가능

     표. Serverless Inference 서비스 정보 입력 항목

     주의

     퍼블릭 엔드 포인트 접근 제어를 사용하지 않거나 전체 IP 범위(Any, 0.0.0.0/0)로 설정할 경우, 레지스트리가 외부 스캔 및 해킹 등의 보안 공격에 노출될 수 있습니다.
   • 추가 정보 입력 영역에서 필요한 정보를 입력 또는 선택하세요.

     구분	필수 여부	상세 설명
     태그	선택	태그 추가 자원 당 최대 50개까지 추가 가능 태그 추가 버튼을 클릭한 후 Key, Value 값을 입력 또는 선택

     표. Serverless Inference 추가 정보 입력 항목

4. 요약 패널에서 생성한 상세 정보와 예상 청구 금액을 확인하고, 생성 버튼을 클릭하세요.

5. 생성을 알리는 팝업창이 열리면 확인 버튼을 클릭하세요. 생성 신청이 완료됩니다.

   • 생성이 완료되면, Serverless Inference 목록 페이지에서 생성한 내용을 확인하세요.

LLM 모델별 사용량 확인하기

Simple AI Inference의 Service Home 페이지에서 LLM 목록과 모델별 Token 사용량을 확인할 수 있습니다.

1. 모든 서비스 > AI-ML > Simple AI Inference 메뉴를 클릭하세요. Simple AI Inference의 Service Home 페이지로 이동합니다.
2. Service Home 페이지의 대시보드에서 LLM 모델별 사용량 목록에서 LLM의 모델별 사용량을 확인하세요.

   구분	상세 설명
   모델명	LLM 이름 이름을 클릭하면 해당 모델의 상세 페이지 내 Report 탭으로 이동
   모델 타입	LLM 타입 모델별 정보는 제공 모델 참고
   사용 토큰량(1 Week)	현재일 기준으로 1주일간 사용한 토큰량

   표. Simple AI Inference LLM 모델별 사용량 항목

Serverless Inference 상세 정보 확인하기

Serverless Inference의 상세 정보를 확인하려면 다음 절차를 따르세요.

1. 모든 서비스 > AI-ML > Simple AI Inference 메뉴를 클릭하세요. Simple AI Inference의 Service Home 페이지로 이동합니다.
2. Service Home 페이지에서 Serverless Inference 메뉴를 클릭하세요. Serverless Inference 목록 페이지로 이동합니다.

   항목	설명
   서비스 생성	Serverless Inference 생성 가능 버튼 클릭 시 Serverless Inference 생성 페이지로 이동 생성 방법은 Simple AI Inference 생성하기 참고
   Inference 서비스명	Serverless Inference 이름
   모델 ID	모델 ID값 모델 ID 클릭 시 해당 모델의 상세 페이지로 이동 모델에 대한 상세 정보는 모델 상세 정보 확인하기 참고
   모델명	모델 이름 모델 ID 클릭 시 해당 모델의 상세 페이지로 이동 모델에 대한 상세 정보는 모델 상세 정보 확인하기 참고
   모델 종료 예정 일자	모델의 제공 종료 예정 일자
   지연 시간	평균 응답 시간
   처리량	모델이 1초당 평균적으로 생성하는 토큰 수
   서비스 해지	Serverless Inference 해지 가능 버튼 클릭 시 Serverless Inference 해지 페이지로 이동 해지 방법은 Inference 해지하기 참고

   표. Serverless Inference 목록 정보

   참고

   모델 ID 또는 모델명을 클릭하면 모델 카탈로그의 모델 상세 정보 페이지로 이동하여 모델의 상세정보를 확인할 수 있습니다.

3. Serverless Inference 목록 페이지에서 상세정보를 확인할 Inference 서비스명을 클릭하세요. Serverless Inference 상세 페이지로 이동합니다.
   • Serverless Inference 상세 페이지는 상세정보, Report, 태그, 작업 이력 탭으로 구성되어 있습니다.

상세 정보

Serverless Inference 목록 페이지에서 선택한 자원의 상세 정보를 확인하고, 필요한 경우 정보를 수정할 수 있습니다.

Report

Serverless Inference 목록 페이지에서 선택한 자원의 일자별 LLM 호출 횟수와 토큰 사용량을 확인할 수 있습니다.

태그

Serverless Inference 목록 페이지에서 선택한 자원의 태그 정보를 확인하고, 추가하거나 변경 또는 삭제할 수 있습니다.

작업 이력

Serverless Inference 목록 페이지에서 선택한 자원의 작업 이력을 확인할 수 있습니다.

모델 상세 정보 확인하기

Simple AI Inference에서 제공하는 모델과 모델의 상세 정보를 확인할 수 있습니다.
모델 상세 정보를 확인하려면 다음 절차를 따르세요.

1. 모든 서비스 > AI-ML > Simple AI Inference 메뉴를 클릭하세요. Simple AI Inference의 Service Home 페이지로 이동합니다.
2. Service Home 페이지에서 모델 카탈로그 메뉴를 클릭하세요. 모델 카탈로그 페이지로 이동합니다.
3. 모델 카탈로그 페이지에서 상세 정보를 확인할 모델을 클릭하세요. 모델 카탈로그 상세 페이지로 이동합니다.

   항목	설명
   라이선스	버튼을 클릭하여 모델의 라이선스 내용 확인 가능
   개요	모델에 대한 기본 설명
   판매 기준	모델 개발사
   범주	모델 활용 범위
   마지막 버전	제공 버전
   출시 날짜	모델 출시년도 및 일자
   모델 ID	모델 ID 정보
   최대 토큰	토큰 최대 크기
   Output modelities	모델 출력 방식
   Input modelities	모델 입력 방식
   언어	모델 언어 종류
   배포 유형	모델 배포 방식
   Token Limits	토큰 제한값
   Reqeust Limits	요청 제한값

   표. Simple AI Inference 제공 모델 상세 정보

API 키 관리하기

Simple AI Inference를 Severless Inference에서 이용할 API Key를 생성하고 등록해야 합니다.

API 키 생성하기

API 키를 생성하려면 다음 절차를 따르세요.

1. 모든 서비스 > AI-ML > Simple AI Inference 메뉴를 클릭하세요. Simple AI Inference의 Service Home 페이지로 이동합니다.

2. Service Home 페이지에서 API 키 메뉴를 클릭하세요. API 키 목록 페이지로 이동합니다.

3. API 키 목록 페이지에서 키 생성 버튼을 모델을 클릭하세요. API Key 생성 상세 페이지로 이동합니다.

4. API 키 생성 페이지에서 API 키를 생성하기 위한 정보를 입력한 후, 생성 버튼을 클릭하세요.

   구분	필수 여부	상세 설명
   Inference 유형	필수	Inference 유형을 선택
   만료 기간	필수	API 키의 만료 기간을 입력 영구 항목을 체크하면 기간 제한 없이 사용 가능
   사용 용도	선택	API 키의 사용 용도를 128자 이내로 입력

   표. Serverless Inference 서비스 정보 입력 항목

   주의

   퍼블릭 엔드 포인트 접근 제어를 사용하지 않거나 전체 IP 범위(Any, 0.0.0.0/0)로 설정할 경우, 레지스트리가 외부 스캔 및 해킹 등의 보안 공격에 노출될 수 있습니다.

5. API 키 생성을 알리는 팝업창이 열리면 확인 버튼을 클릭하세요.

   • API 키 생성 시 생성 시점에 최초 1회 다운로드됩니다.

API 키 확인하기

API 키를 확인하려면 다음 절차를 따르세요.

1. 모든 서비스 > AI-ML > Simple AI Inference 메뉴를 클릭하세요. Simple AI Inference의 Service Home 페이지로 이동합니다.
2. Service Home 페이지에서 API 키 메뉴를 클릭하세요. API 키 목록 페이지로 이동합니다.

   항목	설명
   인증키	인증키 정보
   Inference 유형	인증키를 등록한 Inference 유형
   생성 일시	인증키 생성 일시
   만료 일시	인증키 만료 일시
   삭제	선택한 API 키를 삭제 API 키는 비활성화 상태에서만 삭제 가능 삭제된 API 키는 복구 불가 API 키를 삭제하는 방법은 API 키 삭제하기 참고
   더보기	선택한 API 키의 활성화/비활성화 상태 변경 사용: 비활성화된 인증키를 활성화 사용 중지: 활성화된 인증키를 비활성화 API 키 상태를 변경하는 방법은 API 키 상태 변경하기 참고
   키 생성	API 키를 생성 버튼 클릭 시 API 키 생성 페이지로 이동 API 키를 생성하는 방법은 API 키 생성하기 참고

   표. Simple AI Inference 제공 모델 상세 정보

API 키 상태 변경하기

API 키의 상태를 활성화 또는 비활성화할 수 있습니다.
API 키의 상태를 변경하려면 다음 절차를 따르세요.

1. 모든 서비스 > AI-ML > Simple AI Inference 메뉴를 클릭하세요. Simple AI Inference의 Service Home 페이지로 이동합니다.
2. Service Home 페이지에서 API 키 메뉴를 클릭하세요. API 키 목록 페이지로 이동합니다.
3. API 키 목록 페이지에서 상태를 변경할 API 키를 모두 선택하세요.
4. 목록 상단의 더보기 버튼을 클릭한 후, 사용 또는 사용 중지 버튼을 클릭하세요.
   • API 키가 사용 상태인 경우: 사용 버튼을 클릭하여 활성화 가능
   • API 키가 사용 중지 상태인 경우: 사용 중지 버튼을 클릭하여 비활성화 가능
5. 상태 변경을 알리는 팝업창이 열리면 확인 버튼을 클릭하세요.

API 키 삭제하기

API 키를 삭제하려면 다음 절차를 따르세요.

1. 모든 서비스 > AI-ML > Simple AI Inference 메뉴를 클릭하세요. Simple AI Inference의 Service Home 페이지로 이동합니다.
2. Service Home 페이지에서 API 키 메뉴를 클릭하세요. API 키 목록 페이지로 이동합니다.
3. API 키 목록 페이지에서 삭제할 API 키가 비활성화 상태인지 확인하세요.
   • API 키가 활성화 상태일 경우, API 키 상태 변경하기를 참고하여 비활성화 상태로 변경하세요.
4. API 키 목록 페이지에서 삭제할 API 키를 모두 선택한 후, 삭제 버튼을 클릭하세요.
5. 삭제를 알리는 팝업창이 열리면 확인 버튼을 클릭하세요.

Inference 해지하기

Serverless Inference 해지하기

Serverless Inference를 해지하려면 다음 절차를 따르세요.

1. 모든 서비스 > AI-ML > Simple AI Inference 메뉴를 클릭하세요. Simple AI Inference의 Service Home 페이지로 이동합니다.
2. Service Home 페이지에서 Serverless Inference 메뉴를 클릭하세요. Serverless Inference 목록 페이지로 이동합니다.
3. Serverless Inference 목록 페이지에서 삭제할 Serverless Inference의서비스 해지 버튼을 클릭하세요.
4. 서비스 해지를 알리는 팝업창이 열리면 서비스명을 입력한 후, 확인 버튼을 클릭하세요.

3 - References

References

Simple AI Inference에서 지원하는 API Reference를 확인할 수 있습니다.

3.1 - API Reference

API Reference 개요

Simple AI Inference에서 지원하는 API Reference는 다음과 같습니다.

Chat Completions API

POST /v1/chat/completions

개요

Chat Completions API는 OpenAI의 Completions API와 호환되며 OpenAI Python client에서 사용할 수 있습니다.

Request

Context

Path Parameters

Query Parameters

Body Parameters

Example

curl -X 'POST' \
   {Simple AI Inference 엔드포인트}/v1/chat/completions \
  -H 'Authorization: bearer sai-xxxxxxx...' \
  -H 'Content-Type: application/json' \
  -d '{
    "model": "google/gemma-4-31B-it",
      "messages": [
      {
        "role": "assistant",
        "content": "You are a helpful assistant."
      },
      {
        "role": "user",
        "content": "한국의 수도는 어디입니까?"
      }
    ]
}'

curl -X 'POST' \
   {Simple AI Inference 엔드포인트}/v1/chat/completions \
  -H 'Authorization: bearer sai-xxxxxxx...' \
  -H 'Content-Type: application/json' \
  -d '{
    "model": "google/gemma-4-31B-it",
      "messages": [
      {
        "role": "assistant",
        "content": "You are a helpful assistant."
      },
      {
        "role": "user",
        "content": "한국의 수도는 어디입니까?"
      }
    ]
}'

Response

200 OK

Error Code

Example

{
  "id": "chatcmpl-xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx",
  "object": "chat.completion",
  "created": 1749702816,
  "model": "google/gemma-4-31B-it",
  "choices": [
    {
      "index": 0,
      "message": {
        "role": "assistant",
        "reasoning": null,
        "content": "한국의 수도는 서울입니다.",
        "tool_calls": []
      },
      "logprobs": null,
      "finish_reason": "stop",
      "stop_reason": null
    }
  ],
  "usage": {
    "prompt_tokens": 54,
    "total_tokens": 62,
    "completion_tokens": 8,
    "prompt_tokens_details": null
  },
  "prompt_logprobs": null
}

{
  "id": "chatcmpl-xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx",
  "object": "chat.completion",
  "created": 1749702816,
  "model": "google/gemma-4-31B-it",
  "choices": [
    {
      "index": 0,
      "message": {
        "role": "assistant",
        "reasoning": null,
        "content": "한국의 수도는 서울입니다.",
        "tool_calls": []
      },
      "logprobs": null,
      "finish_reason": "stop",
      "stop_reason": null
    }
  ],
  "usage": {
    "prompt_tokens": 54,
    "total_tokens": 62,
    "completion_tokens": 8,
    "prompt_tokens_details": null
  },
  "prompt_logprobs": null
}

Prompt Guard 응답

prompt_safety_model 파라미터를 설정한 경우, guard 모델이 prompt를 먼저 검사합니다.

• safe: model 파라미터에 지정된 모델로 요청이 그대로 처리됩니다.
• unsafe: 아래와 같은 형태의 guard 결과를 반환하며 요청이 중단됩니다.

{
  "guard_result": "unsafe",
  "categories": ["S1", "S2"],
  "categories_description": ["Violent Crimes", "Non-Violent Crimes"],
  "messages": [
    "Cannot fulfill the request due to violent content.",
    "Cannot respond as it may promote illegal activities."
  ]
}

{
  "guard_result": "unsafe",
  "categories": ["S1", "S2"],
  "categories_description": ["Violent Crimes", "Non-Violent Crimes"],
  "messages": [
    "Cannot fulfill the request due to violent content.",
    "Cannot respond as it may promote illegal activities."
  ]
}

Reasoning 설정

chat_template_kwargs 파라미터를 통해 모델별 reasoning(추론 모드) 설정을 제어할 수 있습니다. 모델마다 기본 동작과 지원하는 옵션이 다릅니다.

curl -X 'POST' \
   {Simple AI Inference 엔드포인트}/v1/chat/completions \
  -H 'Authorization: bearer sai-xxxxxxx...' \
  -H 'Content-Type: application/json' \
  -d '{
    "model": "zai-org/GLM-5.2",
    "messages": [
      {
        "role": "user",
        "content": "복잡한 수학 문제를 풀어주세요."
      }
    ],
    "chat_template_kwargs": {
      "reasoning_effort": "high"
    }
  }'

curl -X 'POST' \
   {Simple AI Inference 엔드포인트}/v1/chat/completions \
  -H 'Authorization: bearer sai-xxxxxxx...' \
  -H 'Content-Type: application/json' \
  -d '{
    "model": "zai-org/GLM-5.2",
    "messages": [
      {
        "role": "user",
        "content": "복잡한 수학 문제를 풀어주세요."
      }
    ],
    "chat_template_kwargs": {
      "reasoning_effort": "high"
    }
  }'

참고

• Chat Completions API vLLM 문서
• Chat Completions API OpenAI 문서

Completions API

POST /v1/completions

개요

Completions API는 OpenAI의 Completions API와 호환되며 OpenAI Python client에서 사용할 수 있습니다.

Request

Context

Path Parameters

Query Parameters

Body Parameters

Example

curl -X 'POST' \
   {Simple AI Inference 엔드포인트}/v1/completions \
  -H 'Authorization: bearer sai-xxxxxxx...' \
  -H 'Content-Type: application/json' \
  -d '{
    "model": "google/gemma-4-31B-it",
    "prompt": "한국의 수도는 어디입니까?",
    "temperature": 0.7
  }'

curl -X 'POST' \
   {Simple AI Inference 엔드포인트}/v1/completions \
  -H 'Authorization: bearer sai-xxxxxxx...' \
  -H 'Content-Type: application/json' \
  -d '{
    "model": "google/gemma-4-31B-it",
    "prompt": "한국의 수도는 어디입니까?",
    "temperature": 0.7
  }'

Response

200 OK

Error Code

Example

{
  "id": "cmpl-xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx",
  "object": "text_completion",
  "created": 1749702612,
  "model": "google/gemma-4-31B-it",
  "choices": [
    {
      "index": 0,
      "text": " \nOur capital city is Seoul. \n\nA. 1\nB. ",
      "logprobs": null,
      "finish_reason": "length",
      "stop_reason": null,
      "prompt_logprobs": null
    }
  ],
  "usage": {
    "prompt_tokens": 9,
    "total_tokens": 25,
    "completion_tokens": 16,
    "prompt_tokens_details": null
  }
}

{
  "id": "cmpl-xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx",
  "object": "text_completion",
  "created": 1749702612,
  "model": "google/gemma-4-31B-it",
  "choices": [
    {
      "index": 0,
      "text": " \nOur capital city is Seoul. \n\nA. 1\nB. ",
      "logprobs": null,
      "finish_reason": "length",
      "stop_reason": null,
      "prompt_logprobs": null
    }
  ],
  "usage": {
    "prompt_tokens": 9,
    "total_tokens": 25,
    "completion_tokens": 16,
    "prompt_tokens_details": null
  }
}

참고

• Completions API vLLM 문서
• Completions API OpenAI 문서

Embedding API

POST /v1/embeddings

개요

Embedding API는 주어진 텍스트를 고차원 벡터(임베딩)로 변환하여, 텍스트 간 유사도 계산, 클러스터링, 검색 등 다양한 자연어 처리(NLP) 작업에 활용할 수 있도록 지원합니다.

Request

Context

Path Parameters

Query Parameters

Body Parameters

Example

curl -X 'POST' \
   {Simple AI Inference 엔드포인트}/v1/embeddings \
  -H 'Authorization: bearer sai-xxxxxxx...' \
  -H 'Content-Type: application/json' \
  -d '{
    "model": "Qwen/Qwen3-VL-Embedding-8B",
    "input": "What is the capital of France?",
	"encoding_format": "float"
  }'

curl -X 'POST' \
   {Simple AI Inference 엔드포인트}/v1/embeddings \
  -H 'Authorization: bearer sai-xxxxxxx...' \
  -H 'Content-Type: application/json' \
  -d '{
    "model": "Qwen/Qwen3-VL-Embedding-8B",
    "input": "What is the capital of France?",
	"encoding_format": "float"
  }'

Response

200 OK

Error Code

Example

{
  "id":"embd-xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx",
  "object":"list",
  "created":1749035024,
  "model":"Qwen/Qwen3-VL-Embedding-8B",
  "data":[
    {
      "index":0,
      "object":"embedding",
      "embedding":
      [0.01319122314453125,0.057220458984375,-0.028533935546875,-0.0008697509765625,-0.01422119140625,0.033416748046875,-0.0062408447265625,-0.04364013671875,-0.004497528076171875,0.0008072853088378906,-0.0193328857421875,0.041168212890625,-0.019317626953125,-0.0188751220703125,-0.047088623046875,
      -0 ....(생략)

      -0.05706787109375,-0.0147705078125]
    }
  ],
  "usage":
  {
    "prompt_tokens":9,
    "total_tokens":9,
    "completion_tokens":0,
    "prompt_tokens_details":null
  }
}

{
  "id":"embd-xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx",
  "object":"list",
  "created":1749035024,
  "model":"Qwen/Qwen3-VL-Embedding-8B",
  "data":[
    {
      "index":0,
      "object":"embedding",
      "embedding":
      [0.01319122314453125,0.057220458984375,-0.028533935546875,-0.0008697509765625,-0.01422119140625,0.033416748046875,-0.0062408447265625,-0.04364013671875,-0.004497528076171875,0.0008072853088378906,-0.0193328857421875,0.041168212890625,-0.019317626953125,-0.0188751220703125,-0.047088623046875,
      -0 ....(생략)

      -0.05706787109375,-0.0147705078125]
    }
  ],
  "usage":
  {
    "prompt_tokens":9,
    "total_tokens":9,
    "completion_tokens":0,
    "prompt_tokens_details":null
  }
}

참고

• Embedding API vLLM 문서
• Embedding API OpenAI 문서

Rerank API

POST /v2/rerank

개요

Rerank API는 임베딩 모델이나 크로스 인코더 모델을 적용하여 단일 쿼리와 문서 목록의 각 항목 간 관련성을 예측할 수 있습니다. 일반적으로 문장 쌍의 점수는 두 문장 간 유사도를 0에서 1 사이의 범위로 나타냅니다.

• Embedding 기반 모델: Query와 문서를 각각 벡터로 바꾼 뒤, 벡터간의 유사도(예시: 코사인 유사도)를 측정하여 점수를 계산합니다.
• Reranker(Cross-Encoder) 기반 모델: Query와 문서를 한쌍으로 모델에 넣어서 평가합니다.

Request

Context

Path Parameters

Query Parameters

Body Parameters

Example

curl -X 'POST' \
   {Simple AI Inference 엔드포인트}/v2/rerank \
  -H 'Authorization: bearer sai-xxxxxxx...' \
  -H 'Content-Type: application/json' \
  -d '{
    "model": "Qwen/Qwen3-VL-Reranker-8B",
    "query": "What is the capital of France?",
    "documents": [
      "The capital of France is Paris.",
      "France capital city is known for the Eiffel Tower.",
      "Paris is located in the north-central part of France."
    ],
    "top_n": 2, 
    "truncate_prompt_tokens": 512
  }'

curl -X 'POST' \
   {Simple AI Inference 엔드포인트}/v2/rerank \
  -H 'Authorization: bearer sai-xxxxxxx...' \
  -H 'Content-Type: application/json' \
  -d '{
    "model": "Qwen/Qwen3-VL-Reranker-8B",
    "query": "What is the capital of France?",
    "documents": [
      "The capital of France is Paris.",
      "France capital city is known for the Eiffel Tower.",
      "Paris is located in the north-central part of France."
    ],
    "top_n": 2, 
    "truncate_prompt_tokens": 512
  }'

Response

200 OK

Error Code

Example

{
  "id": "score-xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx",
  "model": "Qwen/Qwen3-VL-Reranker-8B",
  "usage": {
    "prompt_tokens": 54,
    "total_tokens": 54
  },
  "results": [
    {
      "index": 0,
      "document": {
        "text": "The capital of France is Paris.",
        "multi_modal": null
      },
      "relevance_score": 0.9237253665924072
    },
    {
      "index": 2,
      "document": {
        "text": "Paris is located in the north-central part of France.",
        "multi_modal": null
      },
      "relevance_score": 0.9181006550788879
    }
  ]
}

{
  "id": "score-xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx",
  "model": "Qwen/Qwen3-VL-Reranker-8B",
  "usage": {
    "prompt_tokens": 54,
    "total_tokens": 54
  },
  "results": [
    {
      "index": 0,
      "document": {
        "text": "The capital of France is Paris.",
        "multi_modal": null
      },
      "relevance_score": 0.9237253665924072
    },
    {
      "index": 2,
      "document": {
        "text": "Paris is located in the north-central part of France.",
        "multi_modal": null
      },
      "relevance_score": 0.9181006550788879
    }
  ]
}

참고

• Rerank API vLLM 문서

Responses API

POST /v1/responses

개요

Responses API는 OpenAI의 Responses API와 호환되며 OpenAI Python client에서 사용할 수 있습니다. 텍스트, 이미지, 파일 입력으로 텍스트 또는 JSON 출력을 생성할 수 있으며, 함수 호출 및 빌트인 도구(web search, file search 등)를 지원합니다.

Request

Context

Path Parameters

Query Parameters

Body Parameters

Example

curl -X 'POST' \
   {Simple AI Inference 엔드포인트}/v1/responses \
  -H 'Authorization: bearer sai-xxxxxxx...' \
  -H 'Content-Type: application/json' \
  -d '{
    "model": "openai/gpt-oss-120b",
    "input": "한국의 수도는 어디입니까?"
  }'

curl -X 'POST' \
   {Simple AI Inference 엔드포인트}/v1/responses \
  -H 'Authorization: bearer sai-xxxxxxx...' \
  -H 'Content-Type: application/json' \
  -d '{
    "model": "openai/gpt-oss-120b",
    "input": "한국의 수도는 어디입니까?"
  }'

Response

200 OK

Error Code

Example

{
  "id": "resp_xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx",
  "object": "response",
  "created_at": 1741476542,
  "status": "completed",
  "completed_at": 1741476543,
  "error": null,
  "incomplete_details": null,
  "instructions": null,
  "max_output_tokens": null,
  "model": "openai/gpt-oss-120b",
  "output": [
    {
      "type": "message",
      "id": "msg_xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx",
      "status": "completed",
      "role": "assistant",
      "content": [
        {
          "type": "output_text",
          "text": "한국의 수도는 서울입니다.",
          "annotations": []
        }
      ]
    }
  ],
  "parallel_tool_calls": true,
  "previous_response_id": null,
  "reasoning": {
    "effort": null,
    "summary": null
  },
  "store": true,
  "temperature": 1.0,
  "text": {
    "format": {
      "type": "text"
    }
  },
  "tool_choice": "auto",
  "tools": [],
  "top_p": 1.0,
  "truncation": "disabled",
  "usage": {
    "input_tokens": 54,
    "input_tokens_details": {
      "cached_tokens": 0
    },
    "output_tokens": 8,
    "output_tokens_details": {
      "reasoning_tokens": 0
    },
    "total_tokens": 62
  },
  "metadata": {}
}

{
  "id": "resp_xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx",
  "object": "response",
  "created_at": 1741476542,
  "status": "completed",
  "completed_at": 1741476543,
  "error": null,
  "incomplete_details": null,
  "instructions": null,
  "max_output_tokens": null,
  "model": "openai/gpt-oss-120b",
  "output": [
    {
      "type": "message",
      "id": "msg_xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx",
      "status": "completed",
      "role": "assistant",
      "content": [
        {
          "type": "output_text",
          "text": "한국의 수도는 서울입니다.",
          "annotations": []
        }
      ]
    }
  ],
  "parallel_tool_calls": true,
  "previous_response_id": null,
  "reasoning": {
    "effort": null,
    "summary": null
  },
  "store": true,
  "temperature": 1.0,
  "text": {
    "format": {
      "type": "text"
    }
  },
  "tool_choice": "auto",
  "tools": [],
  "top_p": 1.0,
  "truncation": "disabled",
  "usage": {
    "input_tokens": 54,
    "input_tokens_details": {
      "cached_tokens": 0
    },
    "output_tokens": 8,
    "output_tokens_details": {
      "reasoning_tokens": 0
    },
    "total_tokens": 62
  },
  "metadata": {}
}

Prompt Guard 응답

prompt_safety_model 파라미터를 설정한 경우, guard 모델이 prompt를 먼저 검사합니다.

• safe: model 파라미터에 지정된 모델로 요청이 그대로 처리됩니다.
• unsafe: 아래와 같은 형태의 guard 결과를 반환하며 요청이 중단됩니다.

{
  "guard_result": "unsafe",
  "categories": ["S1", "S2"],
  "categories_description": ["Violent Crimes", "Non-Violent Crimes"],
  "messages": [
    "Cannot fulfill the request due to violent content.",
    "Cannot respond as it may promote illegal activities."
  ]
}

{
  "guard_result": "unsafe",
  "categories": ["S1", "S2"],
  "categories_description": ["Violent Crimes", "Non-Violent Crimes"],
  "messages": [
    "Cannot fulfill the request due to violent content.",
    "Cannot respond as it may promote illegal activities."
  ]
}

Reasoning 설정

chat_template_kwargs 또는 reasoning 파라미터를 통해 모델별 reasoning(추론 모드) 설정을 제어할 수 있습니다.

• gpt-oss-120b: reasoning 파라미터의 effort 필드로 추론 깊이를 지정합니다. (low/medium/high, 기본값 medium)
• 기타 모델: chat_template_kwargs 파라미터를 사용하며, 설정 방법은 Chat Completions API - Reasoning 설정을 참고하세요.

curl -X 'POST' \
   {Simple AI Inference 엔드포인트}/v1/responses \
  -H 'Authorization: bearer sai-xxxxxxx...' \
  -H 'Content-Type: application/json' \
  -d '{
    "model": "openai/gpt-oss-120b",
    "input": "복잡한 수학 문제를 풀어주세요.",
    "reasoning": {
      "effort": "high"
    }
  }'

curl -X 'POST' \
   {Simple AI Inference 엔드포인트}/v1/responses \
  -H 'Authorization: bearer sai-xxxxxxx...' \
  -H 'Content-Type: application/json' \
  -d '{
    "model": "openai/gpt-oss-120b",
    "input": "복잡한 수학 문제를 풀어주세요.",
    "reasoning": {
      "effort": "high"
    }
  }'

참고

• Responses API vLLM 문서
• Responses API OpenAI 문서
• OpenAI 개발자 문서

Tokenize API

POST /tokenize

개요

Tokenize API는 텍스트를 토큰 ID로 변환합니다. Completion 방식(prompt 기반)과 Chat 방식(messages 기반) 두 가지 요청 타입을 지원합니다. vLLM의 Tokenize API와 호환됩니다.

Request

Context

Path Parameters

Query Parameters

Body Parameters - 공통

Body Parameters - Completion 방식 (prompt 기반)

Body Parameters - Chat 방식 (messages 기반)

Example

curl -X 'POST' \
  {Simple AI Inference 엔드포인트}/tokenize \
  -H 'Authorization: bearer sai-xxxxxxx...' \
  -H 'Content-Type: application/json' \
  -d '{
    "model": "openai/gpt-oss-120b",
    "prompt": "Hello, world!"
  }'

curl -X 'POST' \
  {Simple AI Inference 엔드포인트}/tokenize \
  -H 'Authorization: bearer sai-xxxxxxx...' \
  -H 'Content-Type: application/json' \
  -d '{
    "model": "openai/gpt-oss-120b",
    "prompt": "Hello, world!"
  }'

curl -X 'POST' \
  {Simple AI Inference 엔드포인트}/tokenize \
  -H 'Authorization: bearer sai-xxxxxxx...' \
  -H 'Content-Type: application/json' \
  -d '{
    "model": "openai/gpt-oss-120b",
    "messages": [
      {
        "role": "user",
        "content": "hi"
      }
    ]
  }'

curl -X 'POST' \
  {Simple AI Inference 엔드포인트}/tokenize \
  -H 'Authorization: bearer sai-xxxxxxx...' \
  -H 'Content-Type: application/json' \
  -d '{
    "model": "openai/gpt-oss-120b",
    "messages": [
      {
        "role": "user",
        "content": "hi"
      }
    ]
  }'

Response

200 OK

Error Code

Example

{
  "max_model_len": 1024,
  "count": 6,
  "tokens": [638357778, 638357778, 399020470, 1618501362, 2382766391, 2765235376],
  "token_strs": null
}

{
  "max_model_len": 1024,
  "count": 6,
  "tokens": [638357778, 638357778, 399020470, 1618501362, 2382766391, 2765235376],
  "token_strs": null
}

{
  "max_model_len": 1024,
  "count": 6,
  "tokens": [638357778, 638357778, 399020470, 1618501362, 2382766391, 2765235376],
  "token_strs": ["<|im_start|>", "user", "<|im_sep|>", "hi", "<|im_end|>", ""]
}

{
  "max_model_len": 1024,
  "count": 6,
  "tokens": [638357778, 638357778, 399020470, 1618501362, 2382766391, 2765235376],
  "token_strs": ["<|im_start|>", "user", "<|im_sep|>", "hi", "<|im_end|>", ""]
}

참고

• Tokenize API vLLM 문서

Models API

GET /v1/models

개요

Models API는 Simple AI Inference 모델의 목록을 반환합니다. OpenAI의 Models API와 호환됩니다.

Request

Context

Path Parameters

Query Parameters

Body Parameters

GET 요청이므로 Body가 없습니다.

Example

curl -X 'GET' \
  {Simple AI Inference 엔드포인트}/v1/models \
  -H 'Authorization: bearer sai-xxxxxxx...'

curl -X 'GET' \
  {Simple AI Inference 엔드포인트}/v1/models \
  -H 'Authorization: bearer sai-xxxxxxx...'

Response

200 OK

Error Code

Example

{
  "data": [
    {
      "id": "openai/gpt-oss-120b",
      "created": 1780979126,
      "object": "model",
      "owned_by": "SCP Simple AI Inference"
    },
    {
      "id": "Qwen/Qwen3-VL-Embedding-8B",
      "created": 1781512915,
      "object": "model",
      "owned_by": "SCP Simple AI Inference"
    },
    {
      "id": "Qwen/Qwen3-VL-Reranker-8B",
      "created": 1781512915,
      "object": "model",
      "owned_by": "SCP Simple AI Inference"
    }
  ],
  "object": "list"
}

{
  "data": [
    {
      "id": "openai/gpt-oss-120b",
      "created": 1780979126,
      "object": "model",
      "owned_by": "SCP Simple AI Inference"
    },
    {
      "id": "Qwen/Qwen3-VL-Embedding-8B",
      "created": 1781512915,
      "object": "model",
      "owned_by": "SCP Simple AI Inference"
    },
    {
      "id": "Qwen/Qwen3-VL-Reranker-8B",
      "created": 1781512915,
      "object": "model",
      "owned_by": "SCP Simple AI Inference"
    }
  ],
  "object": "list"
}

참고

• Models API OpenAI 문서

4 - Data Privacy

데이터 개인정보 보호 및 보안

Simple AI Inference는 고객 데이터의 기밀성과 보안을 중요한 원칙으로 삼고 서비스를 운영합니다.
서비스를 통해 전달되는 추론 요청과 응답 데이터는 AI 추론 기능을 제공하고 서비스 운영에 필요한 범위 내에서만 처리됩니다. 해당 데이터는 서비스 제공 목적 외의 용도로 활용되지 않습니다.

Simple AI Inference는 다음 원칙을 준수합니다.

• 고객의 요청 및 응답 데이터는 서비스 제공을 위한 처리 목적에 한하여 사용됩니다.
• 고객의 요청 및 응답 내용을 고객의 동의 없이 제3자에게 제공하거나 공유하지 않습니다.
• 고객의 요청 및 응답 데이터는 AI 모델의 학습 또는 성능 개선을 위한 학습 데이터로 사용하지 않습니다.

5 - Release Note

Simple AI Inference