AI-ML

• 1: Simple AI Inference
• 1.1: Overview
• 1.1.1: ServiceWatch 지표
• 1.2: How-to Guides
• 1.3: References
• 1.3.1: API Reference
• 1.4: Data Privacy
• 1.5: Release Note
• 2: Simple AI Training
• 2.1: Overview
• 2.1.1: 서버 타입
• 2.1.2: ServiceWatch 지표
• 2.2: How-to guides
• 2.2.1: Job Failover 사용하기
• 2.2.2: Concurrent Checkpointing
• 2.3: Release Note
• 3: CloudML
• 3.1: Overview
• 3.2: How-to guides
• 3.2.1: Kubernetes 클러스터 구성
• 3.3: API Reference
• 3.4: CLI Reference
• 3.5: Release Note
• 4: AI&MLOps Platform
• 4.1: Overview
• 4.2: How-to guides
• 4.2.1: 클러스터 배포
• 4.2.2: Kubeflow 사용 가이드
• 4.3: API Reference
• 4.4: CLI Reference
• 4.5: Release Note

1 - Simple AI Inference

1.1 - Overview

서비스 개요

Simple AI Inference는 다양한 글로벌 파운데이션 모델을 API 형태로 제공하는 Serverless 서비스로써 LLM을 Samsung Cloud Platform 내부 자원이나 외부에서 사용할 수 있도록 Public 또는 Private 환경을 제공합니다.
Simple AI Inference를 이용하면 동일 API를 통해 여러 LLM 모델을 사용하고 AI 애플리케이션 서비스 개발 생산성을 향상시킬 수 있습니다. 또한 OpenAI 및 LangChain SDK와 호환성을 지원하여 기존 개발 환경 및 프레임워크에 손쉽게 연동할 수 있습니다.

특장점

• 편리한 LLM 모델 사용: Serverless 형태의 완전 관리형 서비스로써 동일 API를 통해 여러 LLM 모델을 사용할 수 있습니다.
• 효율적인 비용관리: 입력(Input) 및 출력(Output) 토큰의 실제 사용량을 기준으로 비용이 과금됩니다.
• 안정적인 서비스 제공: 트래픽 컨트롤(TPM/RTM)을 통하여 안정적인 서비스를 제공합니다.
• 기업용 보안 제공: 데이터는 철저한 보안 환경에서 안전하게 보호되며 외부 모델 학습에 사용되지 않습니다.

서비스 구성도

제공 기능

Simple AI Inference는 다음과 같은 기능을 제공하고 있습니다.

• 편리한 LLM 모델 확인

  • LLM 모델 카탈로그를 통해 제공되는 LLM 모델의 특징 및 주요 활용처들을 쉽게 확인할 수 있습니다.
  • PlayGround를 이용하여 제공되는 LLM 모델을 콘솔 화면에서 바로 확인하고 테스트할 수 있습니다.
    참고

    PlayGround는 2026년 9월 이후 제공될 예정입니다.

• LLM 모델의 Account 공동 사용: Simple AI Inference에서 사용할 모델을 신청하면 동일 Account 내의 모든 사용자가 사용할 수 있습니다.

• Serverless 서비스 제공 : 사용자는 자원의 관리 없이 API를 통해 원하는 모델을 요청하여 바로 사용할 수 있으며 사용한 만큼 비용을 지불하게 됩니다.

• Public/Private 엔드 포인트 제공: 사용자의 추론 사용 형태에 따라 Public 또는 Private 엔드 포인트를 선택하여 사용할 수 있습니다.

• 안정적인 서비스 제공: 트래픽 컨트롤(TPM/RPM)을 통해 안정적인 서비스 환경을 제공합니다.

제공 모델

Simple AI Inference에서 제공하는 LLM 모델은 다음과 같습니다.

리전별 제공 현황

Simple AI Inference 서비스를 제공하는 리전은 다음과 같습니다.

선행 서비스

해당 서비스를 생성하기 전에 미리 구성되어 있어야 하는 서비스는 없습니다.

1.1.1 - ServiceWatch 지표

Simple AI Inference은 ServiceWatch로 지표를 전송합니다. 기본 모니터링으로 제공되는 지표는 5분 주기로 수집된 데이터입니다.

기본 지표

다음은 네임스페이스 Simple AI Inference에 대한 기본 지표입니다.
아래에서 지표명이 굵은 글씨로 표기된 지표는 Simple AI Inference에서 제공하는 기본 지표 중 주요 지표로 선정한 지표입니다.
주요 지표는 ServiceWatch에서 서비스별로 자동으로 구축되는 서비스 대시보드를 구성하는데 활용됩니다.
각 지표는 해당 지표를 조회할 때 어떤 통계값으로 조회하는 것이 의미있는지 의미 있는 통계값을 사용자 가이드를 통해 안내하고 있으며, 의미있는 통계 중에서 굵은 글씨로 표기된 통계값이 주요 통계값입니다.

서비스 대시보드 또는 모니터링 탭에서는 주요 지표를 주요 통계값을 통해 조회할수 있습니다. 또는 Simple AI Inference 상세 페이지의 모니터링 탭에서도 주요 지표에 대해 확인할 수 있습니다.
ServiceWatch의 지표 메뉴에서 GPU Device별 사용률도 확인할 수 있습니다.

1.2 - How-to Guides

Simple AI Inference 생성하기

Simple AI Inference를 이용하려면 먼저 Inference를 생성해야 합니다. Inference를 생성하려면 다음 절차를 따르세요.

1. 모든 서비스 > AI-ML > Simple AI Inference 메뉴를 클릭하세요. Simple AI Inference의 Service Home 페이지로 이동합니다.

2. Service Home 페이지에서 Simple AI Inference 생성 버튼을 클릭하세요. Serverless Inference 생성 페이지로 이동합니다.

3. Serverless Inference 생성 페이지에서 서비스 생성에 필요한 정보들을 입력하고, 상세 옵션을 선택하세요.

   • 서비스 정보 입력 영역에서 서비스 생성에 필요한 옵션을 선택하세요.

     구분	필수 여부	상세 설명
     Inference 서비스명	필수	Serverless Inference 서비스명 입력 영문 소문자와 숫자를 사용해 3 ~ 25자로 입력
     엔드포인트	필수	Simple AI Inference에 대한 외부 엑세스를 선택 프라이빗: 프라이빗 엔드포인트 접근 제어만 사용 프라이빗&퍼블릭: 프라이빗과 퍼블릭 엔드포인트 접근 제어 모두 사용
     프라이빗 엔드 포인트 접근 제어	선택	Samsung Cloud Platform내 리소스를 추가하여 해당 리소스의 접근만 허용 프라이빗 접근 허용 리소스: 접근을 허용할 리소스를 선택 추가 버튼을 클릭하여 접근을 허용할 리소스 선택 가능 리소스 목록에서 삭제할 리소스를 선택한 후, 삭제 버튼을 클릭하여 삭제 가능 리소스를 추가하지 않을 경우, 동일 리전에 포함된 모든 서브넷 상의 리소스에 대한 접근을 허용 Serverless 엔드 포인트 신청 후 수정 가능
     퍼블릭 엔드 포인트 접근 제어	선택	퍼블릭 엔드 포인트 접근 제어의 사용 여부를 설정 사용으로 설정할 경우, 접근을 허용할 IP 또는 리소스 추가 가능 퍼블릭 접근 허용 IP: 접근을 허용할 IP 대역을 CIDR 형식 또는 IP 주소로 입력한 후, 추가 버튼을 클릭하여 추가 가능 최대 100개까지 추가 가능 사용하지 않을 경우, 모든 IP에 대한 접근을 허용 Serverless 엔드 포인트 신청 후 수정 가능

     표. Serverless Inference 서비스 정보 입력 항목

     주의

     퍼블릭 엔드 포인트 접근 제어를 사용하지 않거나 전체 IP 범위(Any, 0.0.0.0/0)로 설정할 경우, 레지스트리가 외부 스캔 및 해킹 등의 보안 공격에 노출될 수 있습니다.
   • 추가 정보 입력 영역에서 필요한 정보를 입력 또는 선택하세요.

     구분	필수 여부	상세 설명
     태그	선택	태그 추가 자원 당 최대 50개까지 추가 가능 태그 추가 버튼을 클릭한 후 Key, Value 값을 입력 또는 선택

     표. Serverless Inference 추가 정보 입력 항목

4. 요약 패널에서 생성한 상세 정보와 예상 청구 금액을 확인하고, 생성 버튼을 클릭하세요.

5. 생성을 알리는 팝업창이 열리면 확인 버튼을 클릭하세요. 생성 신청이 완료됩니다.

   • 생성이 완료되면, Serverless Inference 목록 페이지에서 생성한 내용을 확인하세요.

LLM 모델별 사용량 확인하기

Simple AI Inference의 Service Home 페이지에서 LLM 목록과 모델별 Token 사용량을 확인할 수 있습니다.

1. 모든 서비스 > AI-ML > Simple AI Inference 메뉴를 클릭하세요. Simple AI Inference의 Service Home 페이지로 이동합니다.
2. Service Home 페이지의 대시보드에서 LLM 모델별 사용량 목록에서 LLM의 모델별 사용량을 확인하세요.

   구분	상세 설명
   모델명	LLM 이름 이름을 클릭하면 해당 모델의 상세 페이지 내 Report 탭으로 이동
   모델 타입	LLM 타입 모델별 정보는 제공 모델 참고
   사용 토큰량(1 Week)	현재일 기준으로 1주일간 사용한 토큰량

   표. Simple AI Inference LLM 모델별 사용량 항목

Serverless Inference 상세 정보 확인하기

Serverless Inference의 상세 정보를 확인하려면 다음 절차를 따르세요.

1. 모든 서비스 > AI-ML > Simple AI Inference 메뉴를 클릭하세요. Simple AI Inference의 Service Home 페이지로 이동합니다.
2. Service Home 페이지에서 Serverless Inference 메뉴를 클릭하세요. Serverless Inference 목록 페이지로 이동합니다.

   항목	설명
   서비스 생성	Serverless Inference 생성 가능 버튼 클릭 시 Serverless Inference 생성 페이지로 이동 생성 방법은 Simple AI Inference 생성하기 참고
   Inference 서비스명	Serverless Inference 이름
   모델 ID	모델 ID값 모델 ID 클릭 시 해당 모델의 상세 페이지로 이동 모델에 대한 상세 정보는 모델 상세 정보 확인하기 참고
   모델명	모델 이름 모델 ID 클릭 시 해당 모델의 상세 페이지로 이동 모델에 대한 상세 정보는 모델 상세 정보 확인하기 참고
   모델 종료 예정 일자	모델의 제공 종료 예정 일자
   지연 시간	평균 응답 시간
   처리량	모델이 1초당 평균적으로 생성하는 토큰 수
   서비스 해지	Serverless Inference 해지 가능 버튼 클릭 시 Serverless Inference 해지 페이지로 이동 해지 방법은 Inference 해지하기 참고

   표. Serverless Inference 목록 정보

   참고

   모델 ID 또는 모델명을 클릭하면 모델 카탈로그의 모델 상세 정보 페이지로 이동하여 모델의 상세정보를 확인할 수 있습니다.

3. Serverless Inference 목록 페이지에서 상세정보를 확인할 Inference 서비스명을 클릭하세요. Serverless Inference 상세 페이지로 이동합니다.
   • Serverless Inference 상세 페이지는 상세정보, Report, 태그, 작업 이력 탭으로 구성되어 있습니다.

상세 정보

Serverless Inference 목록 페이지에서 선택한 자원의 상세 정보를 확인하고, 필요한 경우 정보를 수정할 수 있습니다.

Report

Serverless Inference 목록 페이지에서 선택한 자원의 일자별 LLM 호출 횟수와 토큰 사용량을 확인할 수 있습니다.

태그

Serverless Inference 목록 페이지에서 선택한 자원의 태그 정보를 확인하고, 추가하거나 변경 또는 삭제할 수 있습니다.

작업 이력

Serverless Inference 목록 페이지에서 선택한 자원의 작업 이력을 확인할 수 있습니다.

모델 상세 정보 확인하기

Simple AI Inference에서 제공하는 모델과 모델의 상세 정보를 확인할 수 있습니다.
모델 상세 정보를 확인하려면 다음 절차를 따르세요.

1. 모든 서비스 > AI-ML > Simple AI Inference 메뉴를 클릭하세요. Simple AI Inference의 Service Home 페이지로 이동합니다.
2. Service Home 페이지에서 모델 카탈로그 메뉴를 클릭하세요. 모델 카탈로그 페이지로 이동합니다.
3. 모델 카탈로그 페이지에서 상세 정보를 확인할 모델을 클릭하세요. 모델 카탈로그 상세 페이지로 이동합니다.

   항목	설명
   라이선스	버튼을 클릭하여 모델의 라이선스 내용 확인 가능
   개요	모델에 대한 기본 설명
   판매 기준	모델 개발사
   범주	모델 활용 범위
   마지막 버전	제공 버전
   출시 날짜	모델 출시년도 및 일자
   모델 ID	모델 ID 정보
   최대 토큰	토큰 최대 크기
   Output modelities	모델 출력 방식
   Input modelities	모델 입력 방식
   언어	모델 언어 종류
   배포 유형	모델 배포 방식
   Token Limits	토큰 제한값
   Reqeust Limits	요청 제한값

   표. Simple AI Inference 제공 모델 상세 정보

API 키 관리하기

Simple AI Inference를 Severless Inference에서 이용할 API Key를 생성하고 등록해야 합니다.

API 키 생성하기

API 키를 생성하려면 다음 절차를 따르세요.

1. 모든 서비스 > AI-ML > Simple AI Inference 메뉴를 클릭하세요. Simple AI Inference의 Service Home 페이지로 이동합니다.

2. Service Home 페이지에서 API 키 메뉴를 클릭하세요. API 키 목록 페이지로 이동합니다.

3. API 키 목록 페이지에서 키 생성 버튼을 모델을 클릭하세요. API Key 생성 상세 페이지로 이동합니다.

4. API 키 생성 페이지에서 API 키를 생성하기 위한 정보를 입력한 후, 생성 버튼을 클릭하세요.

   구분	필수 여부	상세 설명
   Inference 유형	필수	Inference 유형을 선택
   만료 기간	필수	API 키의 만료 기간을 입력 영구 항목을 체크하면 기간 제한 없이 사용 가능
   사용 용도	선택	API 키의 사용 용도를 128자 이내로 입력

   표. Serverless Inference 서비스 정보 입력 항목

   주의

   퍼블릭 엔드 포인트 접근 제어를 사용하지 않거나 전체 IP 범위(Any, 0.0.0.0/0)로 설정할 경우, 레지스트리가 외부 스캔 및 해킹 등의 보안 공격에 노출될 수 있습니다.

5. API 키 생성을 알리는 팝업창이 열리면 확인 버튼을 클릭하세요.

   • API 키 생성 시 생성 시점에 최초 1회 다운로드됩니다.

API 키 확인하기

API 키를 확인하려면 다음 절차를 따르세요.

1. 모든 서비스 > AI-ML > Simple AI Inference 메뉴를 클릭하세요. Simple AI Inference의 Service Home 페이지로 이동합니다.
2. Service Home 페이지에서 API 키 메뉴를 클릭하세요. API 키 목록 페이지로 이동합니다.

   항목	설명
   인증키	인증키 정보
   Inference 유형	인증키를 등록한 Inference 유형
   생성 일시	인증키 생성 일시
   만료 일시	인증키 만료 일시
   삭제	선택한 API 키를 삭제 API 키는 비활성화 상태에서만 삭제 가능 삭제된 API 키는 복구 불가 API 키를 삭제하는 방법은 API 키 삭제하기 참고
   더보기	선택한 API 키의 활성화/비활성화 상태 변경 사용: 비활성화된 인증키를 활성화 사용 중지: 활성화된 인증키를 비활성화 API 키 상태를 변경하는 방법은 API 키 상태 변경하기 참고
   키 생성	API 키를 생성 버튼 클릭 시 API 키 생성 페이지로 이동 API 키를 생성하는 방법은 API 키 생성하기 참고

   표. Simple AI Inference 제공 모델 상세 정보

API 키 상태 변경하기

API 키의 상태를 활성화 또는 비활성화할 수 있습니다.
API 키의 상태를 변경하려면 다음 절차를 따르세요.

1. 모든 서비스 > AI-ML > Simple AI Inference 메뉴를 클릭하세요. Simple AI Inference의 Service Home 페이지로 이동합니다.
2. Service Home 페이지에서 API 키 메뉴를 클릭하세요. API 키 목록 페이지로 이동합니다.
3. API 키 목록 페이지에서 상태를 변경할 API 키를 모두 선택하세요.
4. 목록 상단의 더보기 버튼을 클릭한 후, 사용 또는 사용 중지 버튼을 클릭하세요.
   • API 키가 사용 상태인 경우: 사용 버튼을 클릭하여 활성화 가능
   • API 키가 사용 중지 상태인 경우: 사용 중지 버튼을 클릭하여 비활성화 가능
5. 상태 변경을 알리는 팝업창이 열리면 확인 버튼을 클릭하세요.

API 키 삭제하기

API 키를 삭제하려면 다음 절차를 따르세요.

1. 모든 서비스 > AI-ML > Simple AI Inference 메뉴를 클릭하세요. Simple AI Inference의 Service Home 페이지로 이동합니다.
2. Service Home 페이지에서 API 키 메뉴를 클릭하세요. API 키 목록 페이지로 이동합니다.
3. API 키 목록 페이지에서 삭제할 API 키가 비활성화 상태인지 확인하세요.
   • API 키가 활성화 상태일 경우, API 키 상태 변경하기를 참고하여 비활성화 상태로 변경하세요.
4. API 키 목록 페이지에서 삭제할 API 키를 모두 선택한 후, 삭제 버튼을 클릭하세요.
5. 삭제를 알리는 팝업창이 열리면 확인 버튼을 클릭하세요.

Inference 해지하기

Serverless Inference 해지하기

Serverless Inference를 해지하려면 다음 절차를 따르세요.

1. 모든 서비스 > AI-ML > Simple AI Inference 메뉴를 클릭하세요. Simple AI Inference의 Service Home 페이지로 이동합니다.
2. Service Home 페이지에서 Serverless Inference 메뉴를 클릭하세요. Serverless Inference 목록 페이지로 이동합니다.
3. Serverless Inference 목록 페이지에서 삭제할 Serverless Inference의서비스 해지 버튼을 클릭하세요.
4. 서비스 해지를 알리는 팝업창이 열리면 서비스명을 입력한 후, 확인 버튼을 클릭하세요.

1.3 - References

References

Simple AI Inference에서 지원하는 API Reference를 확인할 수 있습니다.

1.3.1 - API Reference

API Reference 개요

Simple AI Inference에서 지원하는 API Reference는 다음과 같습니다.

Chat Completions API

POST /v1/chat/completions

개요

Chat Completions API는 OpenAI의 Completions API와 호환되며 OpenAI Python client에서 사용할 수 있습니다.

Request

Context

Path Parameters

Query Parameters

Body Parameters

Example

curl -X 'POST' \
   {Simple AI Inference 엔드포인트}/v1/chat/completions \
  -H 'Authorization: bearer sai-xxxxxxx...' \
  -H 'Content-Type: application/json' \
  -d '{
    "model": "google/gemma-4-31B-it",
      "messages": [
      {
        "role": "assistant",
        "content": "You are a helpful assistant."
      },
      {
        "role": "user",
        "content": "한국의 수도는 어디입니까?"
      }
    ]
}'

curl -X 'POST' \
   {Simple AI Inference 엔드포인트}/v1/chat/completions \
  -H 'Authorization: bearer sai-xxxxxxx...' \
  -H 'Content-Type: application/json' \
  -d '{
    "model": "google/gemma-4-31B-it",
      "messages": [
      {
        "role": "assistant",
        "content": "You are a helpful assistant."
      },
      {
        "role": "user",
        "content": "한국의 수도는 어디입니까?"
      }
    ]
}'

Response

200 OK

Error Code

Example

{
  "id": "chatcmpl-xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx",
  "object": "chat.completion",
  "created": 1749702816,
  "model": "google/gemma-4-31B-it",
  "choices": [
    {
      "index": 0,
      "message": {
        "role": "assistant",
        "reasoning": null,
        "content": "한국의 수도는 서울입니다.",
        "tool_calls": []
      },
      "logprobs": null,
      "finish_reason": "stop",
      "stop_reason": null
    }
  ],
  "usage": {
    "prompt_tokens": 54,
    "total_tokens": 62,
    "completion_tokens": 8,
    "prompt_tokens_details": null
  },
  "prompt_logprobs": null
}

{
  "id": "chatcmpl-xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx",
  "object": "chat.completion",
  "created": 1749702816,
  "model": "google/gemma-4-31B-it",
  "choices": [
    {
      "index": 0,
      "message": {
        "role": "assistant",
        "reasoning": null,
        "content": "한국의 수도는 서울입니다.",
        "tool_calls": []
      },
      "logprobs": null,
      "finish_reason": "stop",
      "stop_reason": null
    }
  ],
  "usage": {
    "prompt_tokens": 54,
    "total_tokens": 62,
    "completion_tokens": 8,
    "prompt_tokens_details": null
  },
  "prompt_logprobs": null
}

Prompt Guard 응답

prompt_safety_model 파라미터를 설정한 경우, guard 모델이 prompt를 먼저 검사합니다.

• safe: model 파라미터에 지정된 모델로 요청이 그대로 처리됩니다.
• unsafe: 아래와 같은 형태의 guard 결과를 반환하며 요청이 중단됩니다.

{
  "guard_result": "unsafe",
  "categories": ["S1", "S2"],
  "categories_description": ["Violent Crimes", "Non-Violent Crimes"],
  "messages": [
    "Cannot fulfill the request due to violent content.",
    "Cannot respond as it may promote illegal activities."
  ]
}

{
  "guard_result": "unsafe",
  "categories": ["S1", "S2"],
  "categories_description": ["Violent Crimes", "Non-Violent Crimes"],
  "messages": [
    "Cannot fulfill the request due to violent content.",
    "Cannot respond as it may promote illegal activities."
  ]
}

Reasoning 설정

chat_template_kwargs 파라미터를 통해 모델별 reasoning(추론 모드) 설정을 제어할 수 있습니다. 모델마다 기본 동작과 지원하는 옵션이 다릅니다.

curl -X 'POST' \
   {Simple AI Inference 엔드포인트}/v1/chat/completions \
  -H 'Authorization: bearer sai-xxxxxxx...' \
  -H 'Content-Type: application/json' \
  -d '{
    "model": "zai-org/GLM-5.2",
    "messages": [
      {
        "role": "user",
        "content": "복잡한 수학 문제를 풀어주세요."
      }
    ],
    "chat_template_kwargs": {
      "reasoning_effort": "high"
    }
  }'

curl -X 'POST' \
   {Simple AI Inference 엔드포인트}/v1/chat/completions \
  -H 'Authorization: bearer sai-xxxxxxx...' \
  -H 'Content-Type: application/json' \
  -d '{
    "model": "zai-org/GLM-5.2",
    "messages": [
      {
        "role": "user",
        "content": "복잡한 수학 문제를 풀어주세요."
      }
    ],
    "chat_template_kwargs": {
      "reasoning_effort": "high"
    }
  }'

참고

• Chat Completions API vLLM 문서
• Chat Completions API OpenAI 문서

Completions API

POST /v1/completions

개요

Completions API는 OpenAI의 Completions API와 호환되며 OpenAI Python client에서 사용할 수 있습니다.

Request

Context

Path Parameters

Query Parameters

Body Parameters

Example

curl -X 'POST' \
   {Simple AI Inference 엔드포인트}/v1/completions \
  -H 'Authorization: bearer sai-xxxxxxx...' \
  -H 'Content-Type: application/json' \
  -d '{
    "model": "google/gemma-4-31B-it",
    "prompt": "한국의 수도는 어디입니까?",
    "temperature": 0.7
  }'

curl -X 'POST' \
   {Simple AI Inference 엔드포인트}/v1/completions \
  -H 'Authorization: bearer sai-xxxxxxx...' \
  -H 'Content-Type: application/json' \
  -d '{
    "model": "google/gemma-4-31B-it",
    "prompt": "한국의 수도는 어디입니까?",
    "temperature": 0.7
  }'

Response

200 OK

Error Code

Example

{
  "id": "cmpl-xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx",
  "object": "text_completion",
  "created": 1749702612,
  "model": "google/gemma-4-31B-it",
  "choices": [
    {
      "index": 0,
      "text": " \nOur capital city is Seoul. \n\nA. 1\nB. ",
      "logprobs": null,
      "finish_reason": "length",
      "stop_reason": null,
      "prompt_logprobs": null
    }
  ],
  "usage": {
    "prompt_tokens": 9,
    "total_tokens": 25,
    "completion_tokens": 16,
    "prompt_tokens_details": null
  }
}

{
  "id": "cmpl-xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx",
  "object": "text_completion",
  "created": 1749702612,
  "model": "google/gemma-4-31B-it",
  "choices": [
    {
      "index": 0,
      "text": " \nOur capital city is Seoul. \n\nA. 1\nB. ",
      "logprobs": null,
      "finish_reason": "length",
      "stop_reason": null,
      "prompt_logprobs": null
    }
  ],
  "usage": {
    "prompt_tokens": 9,
    "total_tokens": 25,
    "completion_tokens": 16,
    "prompt_tokens_details": null
  }
}

참고

• Completions API vLLM 문서
• Completions API OpenAI 문서

Embedding API

POST /v1/embeddings

개요

Embedding API는 주어진 텍스트를 고차원 벡터(임베딩)로 변환하여, 텍스트 간 유사도 계산, 클러스터링, 검색 등 다양한 자연어 처리(NLP) 작업에 활용할 수 있도록 지원합니다.

Request

Context

Path Parameters

Query Parameters

Body Parameters

Example

curl -X 'POST' \
   {Simple AI Inference 엔드포인트}/v1/embeddings \
  -H 'Authorization: bearer sai-xxxxxxx...' \
  -H 'Content-Type: application/json' \
  -d '{
    "model": "Qwen/Qwen3-VL-Embedding-8B",
    "input": "What is the capital of France?",
	"encoding_format": "float"
  }'

curl -X 'POST' \
   {Simple AI Inference 엔드포인트}/v1/embeddings \
  -H 'Authorization: bearer sai-xxxxxxx...' \
  -H 'Content-Type: application/json' \
  -d '{
    "model": "Qwen/Qwen3-VL-Embedding-8B",
    "input": "What is the capital of France?",
	"encoding_format": "float"
  }'

Response

200 OK

Error Code

Example

{
  "id":"embd-xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx",
  "object":"list",
  "created":1749035024,
  "model":"Qwen/Qwen3-VL-Embedding-8B",
  "data":[
    {
      "index":0,
      "object":"embedding",
      "embedding":
      [0.01319122314453125,0.057220458984375,-0.028533935546875,-0.0008697509765625,-0.01422119140625,0.033416748046875,-0.0062408447265625,-0.04364013671875,-0.004497528076171875,0.0008072853088378906,-0.0193328857421875,0.041168212890625,-0.019317626953125,-0.0188751220703125,-0.047088623046875,
      -0 ....(생략)

      -0.05706787109375,-0.0147705078125]
    }
  ],
  "usage":
  {
    "prompt_tokens":9,
    "total_tokens":9,
    "completion_tokens":0,
    "prompt_tokens_details":null
  }
}

{
  "id":"embd-xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx",
  "object":"list",
  "created":1749035024,
  "model":"Qwen/Qwen3-VL-Embedding-8B",
  "data":[
    {
      "index":0,
      "object":"embedding",
      "embedding":
      [0.01319122314453125,0.057220458984375,-0.028533935546875,-0.0008697509765625,-0.01422119140625,0.033416748046875,-0.0062408447265625,-0.04364013671875,-0.004497528076171875,0.0008072853088378906,-0.0193328857421875,0.041168212890625,-0.019317626953125,-0.0188751220703125,-0.047088623046875,
      -0 ....(생략)

      -0.05706787109375,-0.0147705078125]
    }
  ],
  "usage":
  {
    "prompt_tokens":9,
    "total_tokens":9,
    "completion_tokens":0,
    "prompt_tokens_details":null
  }
}

참고

• Embedding API vLLM 문서
• Embedding API OpenAI 문서

Rerank API

POST /v2/rerank

개요

Rerank API는 임베딩 모델이나 크로스 인코더 모델을 적용하여 단일 쿼리와 문서 목록의 각 항목 간 관련성을 예측할 수 있습니다. 일반적으로 문장 쌍의 점수는 두 문장 간 유사도를 0에서 1 사이의 범위로 나타냅니다.

• Embedding 기반 모델: Query와 문서를 각각 벡터로 바꾼 뒤, 벡터간의 유사도(예시: 코사인 유사도)를 측정하여 점수를 계산합니다.
• Reranker(Cross-Encoder) 기반 모델: Query와 문서를 한쌍으로 모델에 넣어서 평가합니다.

Request

Context

Path Parameters

Query Parameters

Body Parameters

Example

curl -X 'POST' \
   {Simple AI Inference 엔드포인트}/v2/rerank \
  -H 'Authorization: bearer sai-xxxxxxx...' \
  -H 'Content-Type: application/json' \
  -d '{
    "model": "Qwen/Qwen3-VL-Reranker-8B",
    "query": "What is the capital of France?",
    "documents": [
      "The capital of France is Paris.",
      "France capital city is known for the Eiffel Tower.",
      "Paris is located in the north-central part of France."
    ],
    "top_n": 2, 
    "truncate_prompt_tokens": 512
  }'

curl -X 'POST' \
   {Simple AI Inference 엔드포인트}/v2/rerank \
  -H 'Authorization: bearer sai-xxxxxxx...' \
  -H 'Content-Type: application/json' \
  -d '{
    "model": "Qwen/Qwen3-VL-Reranker-8B",
    "query": "What is the capital of France?",
    "documents": [
      "The capital of France is Paris.",
      "France capital city is known for the Eiffel Tower.",
      "Paris is located in the north-central part of France."
    ],
    "top_n": 2, 
    "truncate_prompt_tokens": 512
  }'

Response

200 OK

Error Code

Example

{
  "id": "score-xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx",
  "model": "Qwen/Qwen3-VL-Reranker-8B",
  "usage": {
    "prompt_tokens": 54,
    "total_tokens": 54
  },
  "results": [
    {
      "index": 0,
      "document": {
        "text": "The capital of France is Paris.",
        "multi_modal": null
      },
      "relevance_score": 0.9237253665924072
    },
    {
      "index": 2,
      "document": {
        "text": "Paris is located in the north-central part of France.",
        "multi_modal": null
      },
      "relevance_score": 0.9181006550788879
    }
  ]
}

{
  "id": "score-xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx",
  "model": "Qwen/Qwen3-VL-Reranker-8B",
  "usage": {
    "prompt_tokens": 54,
    "total_tokens": 54
  },
  "results": [
    {
      "index": 0,
      "document": {
        "text": "The capital of France is Paris.",
        "multi_modal": null
      },
      "relevance_score": 0.9237253665924072
    },
    {
      "index": 2,
      "document": {
        "text": "Paris is located in the north-central part of France.",
        "multi_modal": null
      },
      "relevance_score": 0.9181006550788879
    }
  ]
}

참고

• Rerank API vLLM 문서

Responses API

POST /v1/responses

개요

Responses API는 OpenAI의 Responses API와 호환되며 OpenAI Python client에서 사용할 수 있습니다. 텍스트, 이미지, 파일 입력으로 텍스트 또는 JSON 출력을 생성할 수 있으며, 함수 호출 및 빌트인 도구(web search, file search 등)를 지원합니다.

Request

Context

Path Parameters

Query Parameters

Body Parameters

Example

curl -X 'POST' \
   {Simple AI Inference 엔드포인트}/v1/responses \
  -H 'Authorization: bearer sai-xxxxxxx...' \
  -H 'Content-Type: application/json' \
  -d '{
    "model": "openai/gpt-oss-120b",
    "input": "한국의 수도는 어디입니까?"
  }'

curl -X 'POST' \
   {Simple AI Inference 엔드포인트}/v1/responses \
  -H 'Authorization: bearer sai-xxxxxxx...' \
  -H 'Content-Type: application/json' \
  -d '{
    "model": "openai/gpt-oss-120b",
    "input": "한국의 수도는 어디입니까?"
  }'

Response

200 OK

Error Code

Example

{
  "id": "resp_xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx",
  "object": "response",
  "created_at": 1741476542,
  "status": "completed",
  "completed_at": 1741476543,
  "error": null,
  "incomplete_details": null,
  "instructions": null,
  "max_output_tokens": null,
  "model": "openai/gpt-oss-120b",
  "output": [
    {
      "type": "message",
      "id": "msg_xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx",
      "status": "completed",
      "role": "assistant",
      "content": [
        {
          "type": "output_text",
          "text": "한국의 수도는 서울입니다.",
          "annotations": []
        }
      ]
    }
  ],
  "parallel_tool_calls": true,
  "previous_response_id": null,
  "reasoning": {
    "effort": null,
    "summary": null
  },
  "store": true,
  "temperature": 1.0,
  "text": {
    "format": {
      "type": "text"
    }
  },
  "tool_choice": "auto",
  "tools": [],
  "top_p": 1.0,
  "truncation": "disabled",
  "usage": {
    "input_tokens": 54,
    "input_tokens_details": {
      "cached_tokens": 0
    },
    "output_tokens": 8,
    "output_tokens_details": {
      "reasoning_tokens": 0
    },
    "total_tokens": 62
  },
  "metadata": {}
}

{
  "id": "resp_xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx",
  "object": "response",
  "created_at": 1741476542,
  "status": "completed",
  "completed_at": 1741476543,
  "error": null,
  "incomplete_details": null,
  "instructions": null,
  "max_output_tokens": null,
  "model": "openai/gpt-oss-120b",
  "output": [
    {
      "type": "message",
      "id": "msg_xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx",
      "status": "completed",
      "role": "assistant",
      "content": [
        {
          "type": "output_text",
          "text": "한국의 수도는 서울입니다.",
          "annotations": []
        }
      ]
    }
  ],
  "parallel_tool_calls": true,
  "previous_response_id": null,
  "reasoning": {
    "effort": null,
    "summary": null
  },
  "store": true,
  "temperature": 1.0,
  "text": {
    "format": {
      "type": "text"
    }
  },
  "tool_choice": "auto",
  "tools": [],
  "top_p": 1.0,
  "truncation": "disabled",
  "usage": {
    "input_tokens": 54,
    "input_tokens_details": {
      "cached_tokens": 0
    },
    "output_tokens": 8,
    "output_tokens_details": {
      "reasoning_tokens": 0
    },
    "total_tokens": 62
  },
  "metadata": {}
}

Prompt Guard 응답

prompt_safety_model 파라미터를 설정한 경우, guard 모델이 prompt를 먼저 검사합니다.

• safe: model 파라미터에 지정된 모델로 요청이 그대로 처리됩니다.
• unsafe: 아래와 같은 형태의 guard 결과를 반환하며 요청이 중단됩니다.

{
  "guard_result": "unsafe",
  "categories": ["S1", "S2"],
  "categories_description": ["Violent Crimes", "Non-Violent Crimes"],
  "messages": [
    "Cannot fulfill the request due to violent content.",
    "Cannot respond as it may promote illegal activities."
  ]
}

{
  "guard_result": "unsafe",
  "categories": ["S1", "S2"],
  "categories_description": ["Violent Crimes", "Non-Violent Crimes"],
  "messages": [
    "Cannot fulfill the request due to violent content.",
    "Cannot respond as it may promote illegal activities."
  ]
}

Reasoning 설정

chat_template_kwargs 또는 reasoning 파라미터를 통해 모델별 reasoning(추론 모드) 설정을 제어할 수 있습니다.

• gpt-oss-120b: reasoning 파라미터의 effort 필드로 추론 깊이를 지정합니다. (low/medium/high, 기본값 medium)
• 기타 모델: chat_template_kwargs 파라미터를 사용하며, 설정 방법은 Chat Completions API - Reasoning 설정을 참고하세요.

curl -X 'POST' \
   {Simple AI Inference 엔드포인트}/v1/responses \
  -H 'Authorization: bearer sai-xxxxxxx...' \
  -H 'Content-Type: application/json' \
  -d '{
    "model": "openai/gpt-oss-120b",
    "input": "복잡한 수학 문제를 풀어주세요.",
    "reasoning": {
      "effort": "high"
    }
  }'

curl -X 'POST' \
   {Simple AI Inference 엔드포인트}/v1/responses \
  -H 'Authorization: bearer sai-xxxxxxx...' \
  -H 'Content-Type: application/json' \
  -d '{
    "model": "openai/gpt-oss-120b",
    "input": "복잡한 수학 문제를 풀어주세요.",
    "reasoning": {
      "effort": "high"
    }
  }'

참고

• Responses API vLLM 문서
• Responses API OpenAI 문서
• OpenAI 개발자 문서

Tokenize API

POST /tokenize

개요

Tokenize API는 텍스트를 토큰 ID로 변환합니다. Completion 방식(prompt 기반)과 Chat 방식(messages 기반) 두 가지 요청 타입을 지원합니다. vLLM의 Tokenize API와 호환됩니다.

Request

Context

Path Parameters

Query Parameters

Body Parameters - 공통

Body Parameters - Completion 방식 (prompt 기반)

Body Parameters - Chat 방식 (messages 기반)

Example

curl -X 'POST' \
  {Simple AI Inference 엔드포인트}/tokenize \
  -H 'Authorization: bearer sai-xxxxxxx...' \
  -H 'Content-Type: application/json' \
  -d '{
    "model": "openai/gpt-oss-120b",
    "prompt": "Hello, world!"
  }'

curl -X 'POST' \
  {Simple AI Inference 엔드포인트}/tokenize \
  -H 'Authorization: bearer sai-xxxxxxx...' \
  -H 'Content-Type: application/json' \
  -d '{
    "model": "openai/gpt-oss-120b",
    "prompt": "Hello, world!"
  }'

curl -X 'POST' \
  {Simple AI Inference 엔드포인트}/tokenize \
  -H 'Authorization: bearer sai-xxxxxxx...' \
  -H 'Content-Type: application/json' \
  -d '{
    "model": "openai/gpt-oss-120b",
    "messages": [
      {
        "role": "user",
        "content": "hi"
      }
    ]
  }'

curl -X 'POST' \
  {Simple AI Inference 엔드포인트}/tokenize \
  -H 'Authorization: bearer sai-xxxxxxx...' \
  -H 'Content-Type: application/json' \
  -d '{
    "model": "openai/gpt-oss-120b",
    "messages": [
      {
        "role": "user",
        "content": "hi"
      }
    ]
  }'

Response

200 OK

Error Code

Example

{
  "max_model_len": 1024,
  "count": 6,
  "tokens": [638357778, 638357778, 399020470, 1618501362, 2382766391, 2765235376],
  "token_strs": null
}

{
  "max_model_len": 1024,
  "count": 6,
  "tokens": [638357778, 638357778, 399020470, 1618501362, 2382766391, 2765235376],
  "token_strs": null
}

{
  "max_model_len": 1024,
  "count": 6,
  "tokens": [638357778, 638357778, 399020470, 1618501362, 2382766391, 2765235376],
  "token_strs": ["<|im_start|>", "user", "<|im_sep|>", "hi", "<|im_end|>", ""]
}

{
  "max_model_len": 1024,
  "count": 6,
  "tokens": [638357778, 638357778, 399020470, 1618501362, 2382766391, 2765235376],
  "token_strs": ["<|im_start|>", "user", "<|im_sep|>", "hi", "<|im_end|>", ""]
}

참고

• Tokenize API vLLM 문서

Models API

GET /v1/models

개요

Models API는 Simple AI Inference 모델의 목록을 반환합니다. OpenAI의 Models API와 호환됩니다.

Request

Context

Path Parameters

Query Parameters

Body Parameters

GET 요청이므로 Body가 없습니다.

Example

curl -X 'GET' \
  {Simple AI Inference 엔드포인트}/v1/models \
  -H 'Authorization: bearer sai-xxxxxxx...'

curl -X 'GET' \
  {Simple AI Inference 엔드포인트}/v1/models \
  -H 'Authorization: bearer sai-xxxxxxx...'

Response

200 OK

Error Code

Example

{
  "data": [
    {
      "id": "openai/gpt-oss-120b",
      "created": 1780979126,
      "object": "model",
      "owned_by": "SCP Simple AI Inference"
    },
    {
      "id": "Qwen/Qwen3-VL-Embedding-8B",
      "created": 1781512915,
      "object": "model",
      "owned_by": "SCP Simple AI Inference"
    },
    {
      "id": "Qwen/Qwen3-VL-Reranker-8B",
      "created": 1781512915,
      "object": "model",
      "owned_by": "SCP Simple AI Inference"
    }
  ],
  "object": "list"
}

{
  "data": [
    {
      "id": "openai/gpt-oss-120b",
      "created": 1780979126,
      "object": "model",
      "owned_by": "SCP Simple AI Inference"
    },
    {
      "id": "Qwen/Qwen3-VL-Embedding-8B",
      "created": 1781512915,
      "object": "model",
      "owned_by": "SCP Simple AI Inference"
    },
    {
      "id": "Qwen/Qwen3-VL-Reranker-8B",
      "created": 1781512915,
      "object": "model",
      "owned_by": "SCP Simple AI Inference"
    }
  ],
  "object": "list"
}

참고

• Models API OpenAI 문서

1.4 - Data Privacy

데이터 개인정보 보호 및 보안

Simple AI Inference는 고객 데이터의 기밀성과 보안을 중요한 원칙으로 삼고 서비스를 운영합니다.
서비스를 통해 전달되는 추론 요청과 응답 데이터는 AI 추론 기능을 제공하고 서비스 운영에 필요한 범위 내에서만 처리됩니다. 해당 데이터는 서비스 제공 목적 외의 용도로 활용되지 않습니다.

Simple AI Inference는 다음 원칙을 준수합니다.

• 고객의 요청 및 응답 데이터는 서비스 제공을 위한 처리 목적에 한하여 사용됩니다.
• 고객의 요청 및 응답 내용을 고객의 동의 없이 제3자에게 제공하거나 공유하지 않습니다.
• 고객의 요청 및 응답 데이터는 AI 모델의 학습 또는 성능 개선을 위한 학습 데이터로 사용하지 않습니다.

1.5 - Release Note

Simple AI Inference

2 - Simple AI Training

2.1 - Overview

서비스 개요

Simple AI Training은 데이터 과학자와 머신러닝 엔지니어가 인프라 관리 부담 없이 대규모로 모델을 학습시킬 수 있는 완전 관리형 AI Training 서비스입니다. Simple AI Training 서비스를 통해 환경을 위한 별도의 AI 인프라, 플랫폼 없이 데이터와 학습 코드만 준비하여 손쉽게 모델 학습을 처리하고 결과를 도출할 수 있습니다.

특장점

• 인프라 관리의 복잡성 제거: Simple AI Training의 서비스 백그라운드에서 서비스를 위한 요소를 자동으로 구성하고 서비스 종료 후 자원을 회수하여 별도의 인프라 운영이 필요하지 않습니다.
• 손쉽고 빠른 모델 학습: 복잡한 명령어(CLI) 대신 웹 콘솔 인터페이스를 통해 몇 번의 클릭만으로 모델 학습 작업을 실행할 수 있습니다. 사용자는 학습 스크립트와 데이터가 위치한 스토리지 위치 및 GPU 인스턴스만 지정하면 됩니다.
• 보안성 높은 데이터 퍼리: 클라우드 내 데이터 저장소(Object Storage 등)와 직접 연동되어 외부 유출 걱정 없이 보안이 유지된 상태로 대용량 데이터를 처리합니다.
• 안정적인 모델 학습: 학습 도중 인프라 오류가 발생하더라도 시스템이 자동으로 장애를 탐지하고 복구하여 중단 없는 학습 환경을 제공합니다.
• 효율적인 비용 관리: 우선순위가 낮은 학습에 대해 유휴 GPU를 사용하거나 Samsung Cloud Platform이 Spot 중단 및 재개를 자동으로 관리하여 비용 효율적인 학습이 가능합니다.

서비스 구성도

제공 기능

Simple AI Training는 다음과 같은 기능을 제공하고 있습니다.

• 서버리스 환경 제공: 인프라 설정, 데이터 로딩, 모델 학습, 결과물 저장까지 모든 과정을 자동화하여 학습에만 집중할 수 있습니다.
• 분산 학습 및 Warm Pool 지원: 대규모 모델이나 대용량 데이터셋을 여러 인스턴스에 자동으로 분산하고 연속적인 훈련 작업 시에는 인스턴스를 즉시 재사용하여 인프라 프로비저닝 시간을 단축합니다.
• 커스텀 컨테이너 지원: 사용자의 Docker 컨테이너 이미지를 가져와 학습할 수 있습니다(BYOC: Bring Your Own Container).
• 모델 훈련 가용성: GPU Failover, Checkpointing 기능을 지원하여 모델 훈련을 원활하게 진행할 수 있습니다.
  • GPU Failover: 학습 도중 GPU 오류 발생 시 시스템이 자동으로 장애를 탐지 및 복구하여 오류로 인한 중단을 방지합니다.
  • Curcurrent Checkpointing: 학습 중간 결과물을 Object Storage에 저장하여 장애 발생 시 체크포인트부터 다시 학습을 재개할 수 있습니다.
• 안전한 데이터 접근: 클라우드 내 데이터 저장소(Object Storage)와 연동되어 데이터를 외부 유출 걱정없이 보안이 유지된 상태로 처리할 수 있습니다.
• 다양한 요금제 제공: 다양한 요금제를 제공하여 비용을 절감하고 효율적인 학습을 수행할 수 있습니다.

제공 서버

Simple AI Training에서는 g2 서버 타입(H100)과 g3 서버 타입(B300)을 제공합니다.
서버 타입에 대한 자세한 사양은 서버 타입을 참고하세요.

리전별 제공 현황

Simple AI Training 서비스를 제공하는 리전은 다음과 같습니다.

선행 서비스

해당 서비스를 생성하기 전에 미리 구성되어 있어야 하는 서비스 목록입니다. 자세한 내용은 각 서비스 별로 제공되는 가이드를 참고하여 사전에 준비하세요.

2.1.1 - 서버 타입

Simple AI Training은 제공하는 GPU Type에 따라 구분되며, Training Job을 생성할 때 선택하는 서버 타입에 따라 Simple AI Training에 사용되는 GPU가 결정됩니다.
Simple AI Training에서 실행하려는 작업의 사양에 따라 서버 타입을 선택하세요.
Simple AI Training에서 지원하는 서버 타입은 다음 형식과 같습니다.

at.g3v16b1

g2 서버 타입

g2 서버 타입은 NVIDIA H100 SXM GPU를 사용하는 GPU Bare Metal Server로 대규모 고성능 AI 연산에 적합합니다.

• 8개의 NVIDIA Hopper Architecture 기반 H100 GPU 제공
• GPU 당 1,979 TFLOPS FP8 Tensor Core 성능 제공, 989 TFLOPS FP16 Tensor Core 성능 제공
• 최대 96개의 vCPU 및 2,048 GB의 메모리를 지원
• 최대 1,600 Gb/s NVIDIA InfiniBand RDMA 네트워크 지원
• 최대 100 Gbps의 서비스 네트워크
• 노드 내 NVSwitch를 통한 900 GB/s의 GPU P2P 통신

g3 서버 타입

g3 서버 타입은 NVIDIA B300 SXM GPU를 사용하는 GPU Bare Metal Server로 대규모 고성능 AI 연산 뿐만 아니라 생성형 AI를 위한 LLM 추론 및 AI 배포에 적합합니다.

• 8개의 NVIDIA Blackwell Ultra Architecture 기반 B300 GPU 제공
• GPU 당 13.5 PFLOPS FP4 Tensor Core, 4.5 PFLOPS FP8 Tensor Core 성능 제공
• 최대 128개의 vCPU 및 4,096 GB의 메모리를 지원
• 최대 6,400 Gb/s NVIDIA InfiniBand RDMA 네트워크 지원
• 최대 100 Gbps의 서비스 네트워크
• 노드 내 NVSwitch를 통한 1.8 TB/s의 GPU P2P 통신

2.1.2 - ServiceWatch 지표

Simple AI Training은 ServiceWatch로 지표를 전송합니다. 기본 모니터링으로 제공되는 지표는 5분 주기로 수집된 데이터입니다.

기본 지표

다음은 네임스페이스 Simple AI Training에 대한 기본 지표입니다.
아래에서 지표명이 굵은 글씨로 표기된 지표는 Simple AI Training에서 제공하는 기본 지표 중 주요 지표로 선정한 지표입니다.
주요 지표는 ServiceWatch에서 서비스별로 자동으로 구축되는 서비스 대시보드를 구성하는데 활용됩니다.
각 지표는 해당 지표를 조회할 때 어떤 통계값으로 조회하는 것이 의미있는지 의미 있는 통계값을 사용자 가이드를 통해 안내하고 있으며, 의미있는 통계 중에서 굵은 글씨로 표기된 통계값이 주요 통계값입니다.

서비스 대시보드 또는 모니터링 탭에서는 주요 지표를 주요 통계값을 통해 조회할수 있습니다. 또는 Simple AI Training 상세 페이지의 모니터링 탭에서도 주요 지표에 대해 확인할 수 있습니다.
ServiceWatch의 지표 메뉴에서 GPU Device별 사용률도 확인할 수 있습니다.

2.2 - How-to guides

Simple AI Training 서비스의 Training Job을 생성하여 AI 학습 방식을 선택하고 학습을 진행할 수 있습니다.

Training Job 생성하기

Simple AI Training 서비스를 이용하려면 먼저 Training Job을 생성해야 합니다. Trainging Job을 생성하려면 다음 절차를 따르세요.

1. 모든 서비스 > AI/ML > Simple AI Training 메뉴를 클릭하세요. Simple AI Training의 Service Home 페이지로 이동합니다.

2. Service Home 페이지에서 Training Job 생성 버튼을 클릭하세요. Training Job 생성 페이지로 이동합니다.

3. Training Job 생성 페이지에서 서비스 생성에 필요한 정보들을 입력하고, 상세 옵션을 선택하세요.

   • 필수 정보 입력 영역에서 Training Job 관련 필수 정보를 선택하세요.

     구분	필수 여부	상세 설명
     학습 형태	필수	학습 방식을 선택 On-Demand Training: 학습을 원하는 시점에 서버를 선점하여 안정적으로 학습 진행 Concurrent Checkpointing 기능 적용되어 효율적인 체크포인트 저장 지원 Spot Training: 우선 순위가 낮은 학습에 대해 유휴 GPU를 사용하여 비용 효율적인 학습을 진행 Concurrent Checkpointing 및 Mixed workload 기능 적용되어 학습의 연속성(자동 중단 및 시작) 지원 Concurrent Checkpointing 기능에 대한 자세한 설명은 Concurrent Checkpointing 개요 참고
     Training Job명	필수	Training Job 이름을 입력 영문 소문자, 숫자, 특수문자(-.)를 사용하여 3 ~ 63자 이내로 입력 이름의 시작과 끝에 영문 소문자 또는 숫자 필수
     분산 Framework	필수	분산 Framework를 버전 선택 PyTorch, DeepSpeed 선택 가능

     표. Training Job 필수 정보 입력 항목
   • 서비스 정보 입력 영역에서 Training Job 생성에 필요한 옵션을 선택하세요.

     구분	필수 여부	상세 설명
     Job Failover	선택	Job Failover 기능의 사용 여부 선택 Spot Training 기능 사용 시 Job Failover 사용 불가 Job Failover 기능에 대한 자세한 내용은 Job Failover 사용하기 참고
     리소스 할당	필수	학습에 활용할 GPU 수 및 메모리 크기 선택
     노드 수	필수	분산 학습 규모를 설정 2노드 이상 부터 분산 학습 가능
     Shared Memory	필수	분산 학습, 분산 데이터 처리를 위해 프로세스 간 공유할 메모리를 설정

     표. Training Job 서비스 정보 입력 항목
   • AI Training Image 정보 입력 영역에서 서비스 생성에 필요한 옵션을 선택하세요.

     구분	필수 여부	상세 설명
     AI Training Image URL	필수	사용자의 컨테이너 저장소(SCR, Docker Hub 등) 주소를 입력
     사용자 ID	선택	이미지 저장소의 사용자 ID
     비밀번호	필수	이미지 저장소의 비밀번호

     표. Training Job AI Training Image 정보 입력 입력 항목
   • 학습 Command 및 볼륨 정보 입력 영역에서 필요한 정보를 입력 또는 선택하세요.

     구분	필수 여부	상세 설명
     스토리지 연결	선택	추가 볼륨의 사용 여부를 선택 사용 시 추가 보륨 Mount 경로 및 학습 스크립트 URL 입력 필 File Storage Volume Mount Path: File Storage 연결 시 사용할 데이터 경로(예시: /root) Training Script 가져오기(Object Storage): Object Storage 연결 시 스크립트 URL 입력
     Command	필수	Command 정보를 3 ~ 1,024 이내로 입

     표. Training Job AI Training Image 정보 입력 입력 항목
   • 추가 정보 입력 영역에서 필요한 정보를 입력 또는 선택하세요.

     구분	필수 여부	상세 설명
     태그	선택	태그 추가 자원 당 최대 50개까지 추가 가능 태그 추가 버튼을 클릭한 후 Key, Value 값을 입력 또는 선택

     표. Training Job 학습 Command 및 볼륨 정보 입력 항목

4. 요약 패널에서 생성한 상세 정보를 확인하고, 생성 버튼을 클릭하세요.

5. 생성을 알리는 팝업창이 열리면 확인 버튼을 클릭하세요.

   • 생성이 완료되면, Training Job 목록 페이지에서 생성한 자원을 확인하세요.

Training Job 상세 정보 확인하기

Training Job 서비스의 전체 자원 목록과 상세 정보를 확인하고 수정할 수 있습니다.
Training Job 상세정보를 확인하려면 다음 절차를 따르세요.

1. 모든 서비스 > AI/ML > Simple AI Training 메뉴를 클릭하세요. Simple AI Training의 Service Home 페이지로 이동합니다.
2. Service Home 페이지에서 Training Job 메뉴를 클릭하세요. Training Job 목록 페이지로 이동합니다.
3. Training Job 목록 페이지에서 상세 정보를 확인할 자원을 클릭하세요. Training Job 상세 페이지로 이동합니다.
   • Training Job 상세 페이지는 상세 정보, 모니터링, 로그, 태그 탭으로 구성됩니다.

     구분	상세 설명
     서비스 상태	CloudML의 상태 Creating: 생성 중 Deployed: 생성 완료/정상 작동 중 Updating: 설정 업데이트 중 Terminating: 삭제 중 Error: 에러 발생
     Training Job 삭제	서비스를 해지하는 버튼

     표. Training Job 상세 페이지 항목

상세 정보

Training Job 목록 페이지에서 선택한 자원의 상세 정보를 확인할 수 있습니다.

모니터링

Training Job 목록 페이지에서 선택한 자원의 모니터링 정보를 확인할 수 있습니다.

로그

Training Job 목록 페이지에서 선택한 자원의 로그 정보를 확인할 수 있습니다.

태그

Training Job 목록 페이지에서 선택한 자원의 태그 정보를 확인하고, 추가하거나 변경 또는 삭제할 수 있습니다.

Training Job 로그 확인하기

ServiceWatch 서비스에서 Training Job의 로그를 확인할 수 있습니다.
Training Job의 로그를 확인하려면 다음 절차를 따르세요.

1. 모든 서비스 > AI/ML > Simple AI Training 메뉴를 클릭하세요. Simple AI Training의 Service Home 페이지로 이동합니다.
2. Service Home 페이지에서 Training Job 메뉴를 클릭하세요. Training Job 목록 페이지로 이동합니다.
3. Training Job 목록 페이지에서 로그를 확인할 자원을 선택하세요. Training Job 상세 페이지로 이동합니다.
4. Training Job 상세 페이지에서 로그 탭을 클릭하세요. 해당 Job의 로그 정보가 표시됩니다.
5. 로그 정보의 Training Job명 하단의 이름을 클릭하세요. ServiceWatch의 로그 그룹 상세 페이지로 이동합니다.
6. 로그 그룹 상세 페이지에서 로그 스트림 탭을 클릭하세요. 로그 스트림 목록이 표시됩니다.
7. 확인할 로그 스트림 이름(예시: master)을 클릭하세요. 해당 스트림의 로그가 시간순으로 표시됩니다.
   • Failover가 발생한 경우, 장애로 중단되었던 학습의 로그와 재배치 후 다시 시작된 학습의 로그가 하나의 스트림에 함께 기록됩니다.
   • 학습 시작 시 출력되는 초기화 로그(예시: Starting dataset initialization)가 두 번 이상 표시되면, 학습이 재배치되어 다시 시작되었음을 확인할 수 있습니다.

Training Job 삭제하기

사용하지 않는 Training Job을 삭제할 수 있습니다. Training Job을 삭제하려면 다음 절차를 따르세요.

1. 모든 서비스 > AI/ML > Simple AI Training 메뉴를 클릭하세요. Simple AI Training의 Service Home 페이지로 이동합니다.
2. Service Home 페이지에서 Training Job 메뉴를 클릭하세요. Training Job 목록 페이지로 이동합니다.
3. Training Job 목록 페이지에서 삭제할 자원을 선택한 후, 목록 상단의 삭제 버튼을 클릭하세요.
   • 삭제할 자원을 클릭하여 Training Job 상세 페이지로 이동한 후, 개별적으로 삭제할 수도 있습니다.
4. 삭제를 알리는 팝업창이 열리면 확인 버튼을 클릭하세요.

Training Workspace 사용하기

Training Workspace를 사용하여 Simple AI Training 서비스를 이용할 수 있습니다.

Training Workspace 생성하기

Training Workspace를 생성하려면 다음 절차를 따르세요.

1. 모든 서비스 > AI/ML > Simple AI Training 메뉴를 클릭하세요. Simple AI Training의 Service Home 페이지로 이동합니다.

2. Service Home 페이지에서 Training Workspace 메뉴를 클릭하세요. Training Workspace 목록 페이지로 이동합니다.

3. Training Workspace 목록 페이지에서 서비스 생성 버튼을 클릭하세요. Training Workspace 생성 페이지로 이동합니다.

4. 서비스 생성에 필요한 정보들을 입력하고, 상세 옵션을 선택하세요.

   • 서비스 정보 입력 영역에서 Training Workspace 생성에 필요한 옵션을 선택하세요.

     구분	필수 여부	상세 설명
     Training Workspace명	필수	Training Workspace 이름을 입력 영문 소문자, 숫자, 특수문자(-.)를 사용하여 63자 이내로 입력
     리소스 할당	필수	학습에 활용할 GPU 수 및 메모리 크기 선택
     노드 수	필수	분산 학습 규모를 설정 2노드 이상 부터 분산 학습 가능
     약정 기간	필수	서비스 이용 약정 기간을 선택

     표. Training Workspace 서비스 정보 입력 항목

5. 요약 패널에서 생성한 상세 정보와 예상 청구 금액을 확인하고, 생성 버튼을 클릭하세요.

6. 생성을 알리는 팝업창이 열리면 확인 버튼을 클릭하세요.

   • 생성이 완료되면, Training Workspace 목록 페이지에서 생성한 자원을 확인하세요.

Training Workspace 수정하기

Training Workspace의 노드 수를 수정할 수 있습니다. Training Workspace를 수정하려면 다음 절차를 따르세요.

1. 모든 서비스 > AI/ML > Simple AI Training 메뉴를 클릭하세요. Simple AI Training의 Service Home 페이지로 이동합니다.
2. Service Home 페이지에서 Training Workspace 메뉴를 클릭하세요. Training Workspace 목록 페이지로 이동합니다.
3. Training Workspace 목록 페이지에서 수정할 자원의 더보기 > 수정 버튼을 클릭하세요. Training Workspace 수정 페이지로 이동합니다.
4. Training Workspace 수정 페이지에서 노드 수를 확인하고 수정하세요.
5. 수정이 완료되면 확인 버튼을 클릭하세요.

Training Workspace 삭제하기

사용하지 않는 Training Workspace를 삭제할 수 있습니다. Training Workspace를 삭제하려면 다음 절차를 따르세요.

1. 모든 서비스 > AI/ML > Simple AI Training 메뉴를 클릭하세요. Simple AI Training의 Service Home 페이지로 이동합니다.
2. Service Home 페이지에서 Training Workspace 메뉴를 클릭하세요. Training Workspace 목록 페이지로 이동합니다.
3. Training Workspace 목록 페이지에서 삭제할 자원을 선택한 후, 목록 상단의 서비스 해지 버튼을 클릭하세요.
   • 삭제할 자원의 더보기 > 서비스 해지 버튼을 클릭하여 개별적으로 삭제할 수도 있습니다.
4. 삭제를 알리는 팝업창이 열리면 확인 버튼을 클릭하세요.

2.2.1 - Job Failover 사용하기

Job Failover는 On-Demand Training으로 학습을 진행하는 도중 GPU 등 하드웨어 장애가 발생하더라도 학습이 중단되지 않도록 정상 자원으로 자동 재배치하여 학습을 이어가는 기능입니다. Job Failover 기능을 사용하면 시스템 오류 및 하드웨어 장애 감지 시 사용자가 직접 장애를 확인하고 Job을 다시 생성할 필요 없이 학습의 연속성을 확보할 수 있습니다.

Job Failover 개요

Training Job 실행 중에는 학습이 배치된 노드에서 GPU 오류, 노드 장애 등 다양한 하드웨어 이상이 발생할 수 있습니다.
Job Failover 기능을 사용하면 이러한 하드웨어 장애가 감지되었을 때 시스템이 장애 노드를 회피하여 정상 자원으로 Training Job을 자동 재배치하고 학습을 재개합니다.
Job Failover의 주요 동작은 다음과 같습니다.

• 장애 감지: 학습이 실행 중인 노드의 GPU 및 하드웨어 상태를 지속적으로 점검하여 이상을 감지합니다.
• 자동 재배치: 하드웨어 장애로 판단되면 장애 노드를 제외하고 정상 노드로 Training Job을 재배치하여 학습을 다시 시작합니다.
• 불필요한 재배치 방지: 하드웨어 장애가 아닌 사용자 코드 오류, 설정 오류 등은 Failover 대상에서 제외됩니다.
• 재시도 횟수 제한: Failover는 정해진 최대 횟수(3회) 내에서만 수행되며, 이를 초과하면 학습이 실패로 종료됩니다.

오류 원인 점검

시스템은 학습 중단이 발생하면 노드의 GPU 및 하드웨어 상태를 점검하여, 그 원인이 하드웨어 장애인지 아니면 사용자 애플리케이션, 설정과 같은 하드웨어 이외의 문제인지 판단합니다.
Failover 수행 여부는 이 판단 결과에 따라 결정됩니다.

하드웨어 장애로 판단되는 경우

GPU를 정상적으로 사용할 수 없는 물리적, 하드웨어 수준의 오류가 감지되면 하드웨어 장애로 판단하여 Failover를 수행합니다.
이러한 오류는 해당 노드에서 학습을 계속할 수 없으므로 장애 노드를 제외하고 정상 자원으로 재배치하여 학습을 재개합니다. 하드웨어 장애로 판단되는 오류 예시는 다음과 같습니다.