ServiceWatch 지표
Simple AI Inference은 ServiceWatch로 지표를 전송합니다. 기본 모니터링으로 제공되는 지표는 5분 주기로 수집된 데이터입니다.
참고
ServiceWatch에서 지표를 확인하는 방법은 ServiceWatch 가이드를 참고하세요.
기본 지표
다음은 네임스페이스 Simple AI Inference에 대한 기본 지표입니다.
아래에서 지표명이 굵은 글씨로 표기된 지표는 Simple AI Inference에서 제공하는 기본 지표 중 주요 지표로 선정한 지표입니다.
주요 지표는 ServiceWatch에서 서비스별로 자동으로 구축되는 서비스 대시보드를 구성하는데 활용됩니다.
각 지표는 해당 지표를 조회할 때 어떤 통계값으로 조회하는 것이 의미있는지 의미 있는 통계값을 사용자 가이드를 통해 안내하고 있으며, 의미있는 통계 중에서 굵은 글씨로 표기된 통계값이 주요 통계값입니다.
서비스 대시보드 또는 모니터링 탭에서는 주요 지표를 주요 통계값을 통해 조회할수 있습니다. 또는 Simple AI Inference 상세 페이지의 모니터링 탭에서도 주요 지표에 대해 확인할 수 있습니다.
ServiceWatch의 지표 메뉴에서 GPU Device별 사용률도 확인할 수 있습니다.
| 성능 항목(지표명) | 상세 설명 | 단위 | 의미있는 통계 |
|---|---|---|---|
| Model Total Tokens | 모델 토큰 사용량(전체) | Count |
|
| Model Request Server Error | 모델 요청 실패 횟수(서버 오류) | Count |
|
| Model Input Tokens | 모델 토큰 사용량(입력, 캐시된 토큰 포함) | Count |
|
| Model Request Throttled | 모델 요청 제한 횟수(요청 한도 초과) | Count |
|
| Model Request Client Error | 모델 요청 실패 횟수(클라이언트 오류) | Count |
|
| Model Output Tokens | 모델 토큰 사용량(출력) | Count |
|
| Model Cached Tokens | 모델 토큰 사용량(캐시) | Count |
|
| Model Request Prompt Rejected | 모델 요청 거부 횟수(프롬프트 검수) | Count |
|
| Model Request Success | 모델 요청 성공 횟수 | Count |
|
표. Simple AI Inference 기본 지표