이 섹션의 다중 페이지 출력 화면임. 여기를 클릭하여 프린트.

이 페이지의 일반 화면으로 돌아가기.

How-to Guides

    Simple AI Inference 생성하기

    Simple AI Inference를 이용하려면 먼저 Inference를 생성해야 합니다. Inference를 생성하려면 다음 절차를 따르세요.

    1. 모든 서비스 > AI-ML > Simple AI Inference 메뉴를 클릭하세요. Simple AI Inference의 Service Home 페이지로 이동합니다.

    2. Service Home 페이지에서 Simple AI Inference 생성 버튼을 클릭하세요. Serverless Inference 생성 페이지로 이동합니다.

    3. Serverless Inference 생성 페이지에서 서비스 생성에 필요한 정보들을 입력하고, 상세 옵션을 선택하세요.

      • 서비스 정보 입력 영역에서 서비스 생성에 필요한 옵션을 선택하세요.
        구분
        필수 여부
        		상세 설명
        Inference 서비스명필수Serverless Inference 서비스명 입력
        • 영문 소문자와 숫자를 사용해 3 ~ 25자로 입력
        엔드포인트필수Simple AI Inference에 대한 외부 엑세스를 선택
        • 프라이빗: 프라이빗 엔드포인트 접근 제어만 사용
        • 프라이빗&퍼블릭: 프라이빗과 퍼블릭 엔드포인트 접근 제어 모두 사용
        프라이빗 엔드 포인트 접근 제어선택Samsung Cloud Platform내 리소스를 추가하여 해당 리소스의 접근만 허용
        • 프라이빗 접근 허용 리소스: 접근을 허용할 리소스를 선택
          • 추가 버튼을 클릭하여 접근을 허용할 리소스 선택 가능
          • 리소스 목록에서 삭제할 리소스를 선택한 후, 삭제 버튼을 클릭하여 삭제 가능
        • 리소스를 추가하지 않을 경우, 동일 리전에 포함된 모든 서브넷 상의 리소스에 대한 접근을 허용
        • Serverless 엔드 포인트 신청 후 수정 가능
        퍼블릭 엔드 포인트 접근 제어선택퍼블릭 엔드 포인트 접근 제어의 사용 여부를 설정
        • 사용으로 설정할 경우, 접근을 허용할 IP 또는 리소스 추가 가능
          • 퍼블릭 접근 허용 IP: 접근을 허용할 IP 대역을 CIDR 형식 또는 IP 주소로 입력한 후, 추가 버튼을 클릭하여 추가 가능
          • 최대 100개까지 추가 가능
        • 사용하지 않을 경우, 모든 IP에 대한 접근을 허용
        • Serverless 엔드 포인트 신청 후 수정 가능
        표. Serverless Inference 서비스 정보 입력 항목
        주의
        퍼블릭 엔드 포인트 접근 제어를 사용하지 않거나 전체 IP 범위(Any, 0.0.0.0/0)로 설정할 경우, 레지스트리가 외부 스캔 및 해킹 등의 보안 공격에 노출될 수 있습니다.
      • 추가 정보 입력 영역에서 필요한 정보를 입력 또는 선택하세요.
        구분
        필수 여부
        		상세 설명
        태그선택태그 추가
        • 자원 당 최대 50개까지 추가 가능
        • 태그 추가 버튼을 클릭한 후 Key, Value 값을 입력 또는 선택
        표. Serverless Inference 추가 정보 입력 항목

    4. 요약 패널에서 생성한 상세 정보와 예상 청구 금액을 확인하고, 생성 버튼을 클릭하세요.

    5. 생성을 알리는 팝업창이 열리면 확인 버튼을 클릭하세요. 생성 신청이 완료됩니다.

      • 생성이 완료되면, Serverless Inference 목록 페이지에서 생성한 내용을 확인하세요.

    LLM 모델별 사용량 확인하기

    Simple AI Inference의 Service Home 페이지에서 LLM 목록과 모델별 Token 사용량을 확인할 수 있습니다.

    1. 모든 서비스 > AI-ML > Simple AI Inference 메뉴를 클릭하세요. Simple AI Inference의 Service Home 페이지로 이동합니다.
    2. Service Home 페이지의 대시보드에서 LLM 모델별 사용량 목록에서 LLM의 모델별 사용량을 확인하세요.
      구분상세 설명
      모델명LLM 이름
      • 이름을 클릭하면 해당 모델의 상세 페이지 내 Report 탭으로 이동
      모델 타입LLM 타입
      사용 토큰량(1 Week)현재일 기준으로 1주일간 사용한 토큰량
      표. Simple AI Inference LLM 모델별 사용량 항목

    Serverless Inference 상세 정보 확인하기

    Serverless Inference의 상세 정보를 확인하려면 다음 절차를 따르세요.

    1. 모든 서비스 > AI-ML > Simple AI Inference 메뉴를 클릭하세요. Simple AI Inference의 Service Home 페이지로 이동합니다.
    2. Service Home 페이지에서 Serverless Inference 메뉴를 클릭하세요. Serverless Inference 목록 페이지로 이동합니다.
      항목설명
      서비스 생성Serverless Inference 생성 가능
      • 버튼 클릭 시 Serverless Inference 생성 페이지로 이동
      Inference 서비스명Serverless Inference 이름
      모델 ID모델 ID값
      • 모델 ID 클릭 시 해당 모델의 상세 페이지로 이동
      모델명모델 이름
      • 모델 ID 클릭 시 해당 모델의 상세 페이지로 이동
      모델 종료 예정 일자모델의 제공 종료 예정 일자
      지연 시간평균 응답 시간
      처리량모델이 1초당 평균적으로 생성하는 토큰 수
      서비스 해지Serverless Inference 해지 가능
      • 버튼 클릭 시 Serverless Inference 해지 페이지로 이동
      표. Serverless Inference 목록 정보
      참고
      모델 ID 또는 모델명을 클릭하면 모델 카탈로그의 모델 상세 정보 페이지로 이동하여 모델의 상세정보를 확인할 수 있습니다.
    1. Serverless Inference 목록 페이지에서 상세정보를 확인할 Inference 서비스명을 클릭하세요. Serverless Inference 상세 페이지로 이동합니다.
      • Serverless Inference 상세 페이지는 상세정보, Report, 태그, 작업 이력 탭으로 구성되어 있습니다.

    상세 정보

    Serverless Inference 목록 페이지에서 선택한 자원의 상세 정보를 확인하고, 필요한 경우 정보를 수정할 수 있습니다.

    구분상세 설명
    서비스서비스명
    자원 유형자원 유형
    SRNSamsung Cloud Platform에서의 고유 자원 ID
    자원명자원 이름
    자원 ID서비스에서의 고유 자원 ID
    생성자서비스를 생성한 사용자
    생성 일시서비스를 생성한 일시
    수정자서비스 정보를 수정한 사용자
    수정 일시서비스 정보를 수정한 일시
    엔드포인트Simple AI Inference에 대한 외부 엑세스 방식
    • 프라이빗: 프라이빗 엔드포인트 접근 제어만 사용
    • 프라이빗&퍼블릭: 프라이빗과 퍼블릭 엔드포인트 접근 제어 모두 사용
    • 수정 버튼을 클릭하여 엑세스 방식 변경 가능
    프라이빗 엔드포인트프라이빗 엔드포인트값
    • 복사 버튼을 클릭하여 엔드포인트값 복사 가능
    퍼블릭 엔드포인트퍼블릭 엔드포인트값
    • 복사 버튼을 클릭하여 엔드포인트값 복사 가능
    프라이빗 엔드포인트 접근 제어프라이빗 접근이 허용된 리소스 정보
    • 수정 버튼을 클릭하여 리소스 추가 또는 삭제 가능
    퍼블릭 엔드포인트 접근 제어퍼블릭 접근이 허용된 IP 및 리소스 정보
    • 수정 버튼을 클릭하여 IP 및 리소스 추가 또는 삭제 가능
    표. 상세정보 탭 항목

    Report

    Serverless Inference 목록 페이지에서 선택한 자원의 일자별 LLM 호출 횟수와 토큰 사용량을 확인할 수 있습니다.

    구분상세 설명
    검색 필터Report를 확인할 항목 선택
    • 서비스 유형:전체, Virtual Server, GPU Server, Kubernetes Engine 중 선택
    • 서비스/리소스ID: 서비스 또는 리소스 ID 선택
      • 서비스 유형을 선택하지 않으면 전체만 선택 가능
      • 서비스 유형에서 특정 서비스를 선택한 경우, 해당 서비스의 서비스 및 리소스 ID 선택 가능
    • Model:제공 모델 중 선택
    • 조회 기간: Report를 확인할 기간 선택
      • 일주일 단위로 선택 가능
      • 최대 3개월 이전 날짜까지 선택 가능
      • 조회하는 데이터는 현재시간 기준 최대 30분 전까지의 데이터를 기준으로 제공
    호출 횟수조회 기간 동안 호출 횟수를 그래프로 표시
    전체 호출 횟수조회 기간 동안 호출 횟수를 모델별로 제공
    Token 사용량조회 기간 동안 Input 및 Output Token 사용량을 그래프로 표시
    전체 Token 수조회 기간 동안 전체 Token 사용량을 Input 및 Output으로 구분하여 표시
    Request 당 평균 Token 수조회 기간 동안 LLM 호출 시 사용한 평균 Token량을 Input 및 Output으로 구분하여 표시
    표. Report 탭 항목

    태그

    Serverless Inference 목록 페이지에서 선택한 자원의 태그 정보를 확인하고, 추가하거나 변경 또는 삭제할 수 있습니다.

    구분상세 설명
    태그 목록태그 목록
    • 태그의 Key, Value 정보 확인 가능
    • 태그는 자원 당 최대 50개까지 추가 가능
    • 태그 입력 시 기존에 생성된 Key와 Value 목록을 검색하여 선택
    표. 태그 탭 항목

    작업 이력

    Serverless Inference 목록 페이지에서 선택한 자원의 작업 이력을 확인할 수 있습니다.

    구분상세 설명
    작업 이력 목록자원 변경 이력
    • 작업 일시, 자원 유형, 자원명, 작업 내역, 작업 결과, 작업자명, 경로 정보 확인이 가능
    • 상세 검색을 하려면 상세 검색 버튼을 클릭
    표. 작업 이력 탭 항목

    모델 상세 정보 확인하기

    Simple AI Inference에서 제공하는 모델과 모델의 상세 정보를 확인할 수 있습니다.
    모델 상세 정보를 확인하려면 다음 절차를 따르세요.

    1. 모든 서비스 > AI-ML > Simple AI Inference 메뉴를 클릭하세요. Simple AI Inference의 Service Home 페이지로 이동합니다.
    2. Service Home 페이지에서 모델 카탈로그 메뉴를 클릭하세요. 모델 카탈로그 페이지로 이동합니다.
    3. 모델 카탈로그 페이지에서 상세 정보를 확인할 모델을 클릭하세요. 모델 카탈로그 상세 페이지로 이동합니다.
      항목설명
      라이선스버튼을 클릭하여 모델의 라이선스 내용 확인 가능
      개요모델에 대한 기본 설명
      판매 기준모델 개발사
      범주모델 활용 범위
      마지막 버전제공 버전
      출시 날짜모델 출시년도 및 일자
      모델 ID모델 ID 정보
      최대 토큰토큰 최대 크기
      Output modelities모델 출력 방식
      Input modelities모델 입력 방식
      언어모델 언어 종류
      배포 유형모델 배포 방식
      Token Limits토큰 제한값
      Reqeust Limits요청 제한값
      표. Simple AI Inference 제공 모델 상세 정보

    API 키 관리하기

    Simple AI Inference를 Severless Inference에서 이용할 API Key를 생성하고 등록해야 합니다.

    API 키 생성하기

    API 키를 생성하려면 다음 절차를 따르세요.

    1. 모든 서비스 > AI-ML > Simple AI Inference 메뉴를 클릭하세요. Simple AI Inference의 Service Home 페이지로 이동합니다.

    2. Service Home 페이지에서 API 키 메뉴를 클릭하세요. API 키 목록 페이지로 이동합니다.

    3. API 키 목록 페이지에서 키 생성 버튼을 모델을 클릭하세요. API Key 생성 상세 페이지로 이동합니다.

    4. API 키 생성 페이지에서 API 키를 생성하기 위한 정보를 입력한 후, 생성 버튼을 클릭하세요.

      구분
      필수 여부
      		상세 설명
      Inference 유형필수Inference 유형을 선택
      만료 기간필수API 키의 만료 기간을 입력
      • 영구 항목을 체크하면 기간 제한 없이 사용 가능
      사용 용도선택API 키의 사용 용도를 128자 이내로 입력
      표. Serverless Inference 서비스 정보 입력 항목
      주의
      퍼블릭 엔드 포인트 접근 제어를 사용하지 않거나 전체 IP 범위(Any, 0.0.0.0/0)로 설정할 경우, 레지스트리가 외부 스캔 및 해킹 등의 보안 공격에 노출될 수 있습니다.

    5. API 키 생성을 알리는 팝업창이 열리면 확인 버튼을 클릭하세요.

      • API 키 생성 시 생성 시점에 최초 1회 다운로드됩니다.
    참고
    API 키는 생성 시점에 최초 한 번만 다운로드할 수 있으며 사용자별로 최대 2개까지 생성할 수 있습니다.

    API 키 확인하기

    API 키를 확인하려면 다음 절차를 따르세요.

    1. 모든 서비스 > AI-ML > Simple AI Inference 메뉴를 클릭하세요. Simple AI Inference의 Service Home 페이지로 이동합니다.
    2. Service Home 페이지에서 API 키 메뉴를 클릭하세요. API 키 목록 페이지로 이동합니다.
      항목설명
      인증키인증키 정보
      Inference 유형인증키를 등록한 Inference 유형
      생성 일시인증키 생성 일시
      만료 일시인증키 만료 일시
      삭제선택한 API 키를 삭제
      • API 키는 비활성화 상태에서만 삭제 가능
      • 삭제된 API 키는 복구 불가
      더보기선택한 API 키의 활성화/비활성화 상태 변경
      • 사용: 비활성화된 인증키를 활성화
      • 사용 중지: 활성화된 인증키를 비활성화
      키 생성API 키를 생성
      • 버튼 클릭 시 API 키 생성 페이지로 이동
      표. Simple AI Inference 제공 모델 상세 정보
    참고
    • API 키는 생성 시 활성화 상태로 생성됩니다.
    • API 키 노출이 의심되는 경우에는 사용 중지를 통해 API 키를 비활성화하여 API 호출을 즉시 차단하세요. 이후, API 키의 안정성이 확인되면 사용으로 키를 다시 활성화하여 사용할 수 있습니다.

    API 키 상태 변경하기

    API 키의 상태를 활성화 또는 비활성화할 수 있습니다.
    API 키의 상태를 변경하려면 다음 절차를 따르세요.

    1. 모든 서비스 > AI-ML > Simple AI Inference 메뉴를 클릭하세요. Simple AI Inference의 Service Home 페이지로 이동합니다.
    2. Service Home 페이지에서 API 키 메뉴를 클릭하세요. API 키 목록 페이지로 이동합니다.
    3. API 키 목록 페이지에서 상태를 변경할 API 키를 모두 선택하세요.
    4. 목록 상단의 더보기 버튼을 클릭한 후, 사용 또는 사용 중지 버튼을 클릭하세요.
      • API 키가 사용 상태인 경우: 사용 버튼을 클릭하여 활성화 가능
      • API 키가 사용 중지 상태인 경우: 사용 중지 버튼을 클릭하여 비활성화 가능
    5. 상태 변경을 알리는 팝업창이 열리면 확인 버튼을 클릭하세요.

    API 키 삭제하기

    API 키를 삭제하려면 다음 절차를 따르세요.

    주의
    • API 키는 비활성화 상태에서만 삭제할 수 있습니다.
    • 삭제된 API 키는 복구할 수 없으며, 해당 키를 이용한 API 호출은 영구적으로 사용할 수 없습니다.
    • API 키를 다시 사용하려면 새로운 API 키를 생성해야 합니다.
    1. 모든 서비스 > AI-ML > Simple AI Inference 메뉴를 클릭하세요. Simple AI Inference의 Service Home 페이지로 이동합니다.
    2. Service Home 페이지에서 API 키 메뉴를 클릭하세요. API 키 목록 페이지로 이동합니다.
    3. API 키 목록 페이지에서 삭제할 API 키가 비활성화 상태인지 확인하세요.
    4. API 키 목록 페이지에서 삭제할 API 키를 모두 선택한 후, 삭제 버튼을 클릭하세요.
    5. 삭제를 알리는 팝업창이 열리면 확인 버튼을 클릭하세요.

    Inference 해지하기

    Serverless Inference 해지하기

    Serverless Inference를 해지하려면 다음 절차를 따르세요.

    1. 모든 서비스 > AI-ML > Simple AI Inference 메뉴를 클릭하세요. Simple AI Inference의 Service Home 페이지로 이동합니다.
    2. Service Home 페이지에서 Serverless Inference 메뉴를 클릭하세요. Serverless Inference 목록 페이지로 이동합니다.
    3. Serverless Inference 목록 페이지에서 삭제할 Serverless Inference의서비스 해지 버튼을 클릭하세요.
    4. 서비스 해지를 알리는 팝업창이 열리면 서비스명을 입력한 후, 확인 버튼을 클릭하세요.