Overview

서비스 개요

Event Streams은 대용량, 대규모 메시지 데이터 처리를 위한 오픈 소스 Apache Kafka의 생성과 설정을 완전 관리형으로 제공합니다. Samsung Cloud Platform은 웹 기반 Console을 통해 Apache Kafka 생성과 설정을 자동화하여 제공하며, 사용자는 단일 혹은 클러스터 형태로 Apache Kafka의 주요 구성 요소인 Broker, Zookeeper, AKHQ를 구성할 수 있습니다.

Event Streams 클러스터는 여러 개의 Broker 노드로 이루어진 구성으로 Broker는 최소 1개부터 최대 10개까지 설치가 가능하며, 주로 3대 이상으로 설치합니다. Zookeeper는 분산된 Broker들을 관리하는 용도로 별도 설치가 가능하며, 별도 설치하지 않을 경우 Broker 노드에 같이 설치됩니다. 추가로, Kafka를 관리할 수 있는 도구인 AKHQ(Apache Kafka HQ)를 제공하여 사용자는 이를 통해 클러스터 운영 관리가 가능합니다.

제공 기능

Event Streams는 다음과 같은 기능을 제공하고 있습니다.

  • 자동 프로비저닝(Auto Provisioning): UI로 Apache Kafka 클러스터 구성 및 설정이 가능합니다.
  • 가동 제어 관리: 가동 중인 서버 상태를 제어하는 기능을 제공합니다. 클러스터의 시작, 중지와 더불어 설정값 반영을 위해 재시작이 가능합니다.
  • AKHQ 제공: Kafka를 관리할 수 있는 도구인 AKHQ를 제공하여 사용자는 이를 통해 클러스터 관리 및 모니터링이 가능합니다.
  • Broker 노드 추가: 클러스터의 성능 향상과 안정성을 위해 확장이 필요할 경우, 사용 중인 Broker 노드와 동일한 사양으로 노드를 추가할 수 있습니다.
  • Parameter 관리: 성능 향상 및 보안 관련 구성 파라미터 설정 및 수정이 가능합니다.
  • 모니터링: CPU, 메모리, 성능 모니터링 정보를 Cloud Monitoring 및 Servicewatch를 통해 확인할 수 있습니다.

구성 요소

Event Streams은 오픈 소스 지원 정책에 따라 사전에 검증된 엔진 버전과 다양한 서버 타입을 제공하고 있습니다. 사용자는 구성하고자 하는 서비스 규모에 따라 이를 선택하여 사용할 수 있습니다.

엔진 버전

Event Streams에서 지원하는 엔진 버전은 다음과 같습니다.

기술 지원은 공급사의 EoTS(End of Technical Service) 일자까지 사용할 수 있으며, 신규 생성이 중지되는 EOS 일자는 EoTS 일자로부터 6개월 전으로 정해집니다.

공급사 정책에 따라 EOS, EoTS 일자는 변동될 수 있으므로, 자세한 사항은 공급사의 라이선스 관리 정책 페이지를 참고해주세요.

제공 버전EoS DateEoTS Date
3.8.02026-07 (예정)2026-12-02
3.9.12026-09 (예정)2027-02-19
표. Event Streams 제공되는 엔진 버전

서버 타입

Event Streams에서 지원하는 서버 타입은 다음 형식과 같습니다.

Event Streams에서 제공하는 서버 타입에 대한 자세한 내용은 Event Streams 서버 타입을 참고하세요.

Standard ess1v2m4
구분예시상세 설명
서버 타입Standard제공되는 서버 타입
  • Standard: 일반적으로 사용되는 표준 사양(vCPU, Memory) 구성
  • High Capacity: 24vCore 이상의 대용량 서버 사양
서버 사양ess1제공되는 서버 사양
  • ess1, ess2: 일반적으로 사용되는 표준 사양(vCPU, Memory) 구성
  • esh2: 대용량 서버 사양
    • 24vCore 이상 서버를 제공
서버 사양v2vCore 개수
  • v2: 2개의 가상 코어
서버 사양m4메모리 용량
  • m4: 4GB Memory
표. Event Streams 서버 타입 구성 요소

선행 서비스

해당 서비스를 생성하기 전에 미리 구성되어 있어야 하는 서비스 목록입니다. 자세한 내용은 각 서비스 별로 제공되는 가이드를 참고하여 사전에 준비해주세요.

서비스 카테고리서비스상세 설명
NetworkingVPC클라우드 환경에서 독립된 가상 네트워크를 제공하는 서비스
표. Event Streams 선행 서비스

1 - 서버 타입

Event Streams 서버 타입

Event Streams는 CPU, Memory, Network Bandwidth 등 다양한 조합으로 구성된 서버 타입을 제공합니다. Event Streams를 생성할 때 사용 목적에 맞게 선택한 서버 타입에 따라 Apache kafka가 설치됩니다.

Event Streams에서 지원하는 서버 타입은 다음 형식과 같습니다.

Standard ess1v2m4
구분
예시상세 설명
서버 타입Standard제공되는 서버 타입 구분
  • Standard: 일반적으로 사용되는 표준 사양(vCPU, Memory)으로 구성
  • High Capacity: Standard 이상의 대용량 서버으로 사양
서버 사양ess1제공되는 서버 타입 구분 및 세대
  • ess1: s는 일반 사양을 의미하고, 1은 세대를 의미
  • esh2: h는 대용량 서버 사양을 의미하고, 2는 세대를 의미
서버 사양v2vCore 개수
  • v2: 2개의 가상 코어
서버 사양m4메모리 용량
  • m4: 4GB Memory
표. Event Streams 서버 타입 형식
참고

아래와 같이 노드의 최소 사양을 확인하여 서버 타입을 선택하세요.

구분vCPUMemory
Broker2 vCore4 GB
Zookeeper1 vCore2 GB

ess1 서버 타입

Event Streams의 ess1 서버 타입은 표준 사양(vCPU, Memory)으로 제공하며 다양한 데이터베이스 워크로드에 적합합니다.

  • 최대 3.3Ghz의 Intel 3세대(Ice Lake) Xeon Gold 6342 Processor
  • 최대 16개의 vCPU 및 64 GB의 메모리를 지원
  • 최대 12.5 Gbps의 네트워킹 속도
구분서버 타입vCPUMemoryNetwork Bandwidth
Standardess1v1m21 vCore2 GB최대 10 Gbps
Standardess1v2m42 vCore4 GB최대 10 Gbps
Standardess1v2m82 vCore8 GB최대 10 Gbps
Standardess1v4m84 vCore8 GB최대 10 Gbps
Standardess1v4m164 vCore16 GB최대 10 Gbps
Standardess1v8m168 vCore16 GB최대 10 Gbps
Standardess1v8m328 vCore32 GB최대 10 Gbps
Standardess1v16m3216 vCore32 GB최대 12.5 Gbps
Standardess1v16m6416 vCore64 GB최대 12.5 Gbps
표. Event Streams 서버 타입 사양 - ess1 서버 타입

ess2 서버 타입

Event Streams의 ess2 서버 타입은 표준 사양(vCPU, Memory)으로 제공하며 다양한 데이터베이스 워크로드에 적합합니다.

  • 최대 3.2GHz의 Intel 4세대(Sapphire Rapids) Xeon Gold 6448H Processor
  • 최대 16개의 vCPU 및 64 GB의 메모리를 지원
  • 최대 12.5 Gbps의 네트워킹 속도
구분서버 타입CPU vCoreMemoryNetwork Bandwidth(Gbps)
Standardess2v1m21 vCore2 GB최대 10 Gbps
Standardess2v2m42 vCore4 GB최대 10 Gbps
Standardess2v2m82 vCore8 GB최대 10 Gbps
Standardess2v4m84 vCore8 GB최대 10 Gbps
Standardess2v4m164 vCore16 GB최대 10 Gbps
Standardess2v8m168 vCore16 GB최대 10 Gbps
Standardess2v8m328 vCore32 GB최대 10 Gbps
Standardess2v16m3216 vCore32 GB최대 12.5 Gbps
Standardess2v16m6416 vCore64 GB최대 12.5 Gbps
표. Event Streams 서버 타입 사양 - ess2 서버 타입

esh2 서버 타입

Event Streams의 esh2 서버 타입은 대용량 서버 사양으로 제공하며, 대규모 데이터 처리를 위한 데이터베이스 워크로드에 적합합니다.

  • 최대 3.2GHz의 Intel 4세대(Sapphire Rapids) Xeon Gold 6448H Processor
  • 최대 32개의 vCPU 및 128 GB의 메모리를 지원
  • 최대 25Gbps의 네트워킹 속도
구분서버 타입vCPUMemoryNetwork Bandwidth
High Capacityesh2v32m6432 vCore64 GB최대 25 Gbps
High Capacityesh2v32m12832 vCore128 GB최대 25 Gbps
표. Event Streams 서버 타입 사양 - esh2 서버 타입

2 - 모니터링 지표

Event Streams 모니터링 지표

아래 표는 Cloud Monitoring을 통해 확인할 수 있는 Event Streams의 성능 모니터링 지표를 나타냅니다. 자세한 Cloud Monitoring 사용 방법은 Cloud Monitoring 가이드를 참고하세요.

Event Streams의 서버 모니터링 지표는 Virtual Server 모니터링 지표 가이드를 참고하세요.

성능 항목상세 설명단위
AKHQ State [PID]AHKQ 프로세스 PIDPID
Connections [Zookeeper Client]ZooKeeper 연결된 건수cnt
Disk Useddatadir 사용량bytes
Failed [Client Fetch Request]클라이언트 Fetch 요청 처리 실패 건수cnt
Failed [Produce Request]Procucer 요청 처리 실패 건수cnt
Incomming MessagesBroker가 받은 message 건수cnt
Instance State [PID]kafka 프로세스 PIDPID
Kibana state [PID]Kibana 프로세스 PIDPID
Leader ElectionsLeader Election 발생 건수cnt
Leader Elections [Unclean]Unclean Leader Election 발생 건수cnt
Log Flusheslog flush 발생 건수cnt
Network In Bytes전체 Topic이 수신한 바이트bytes
Network Out Bytes전체 Topic이 송신한 바이트bytes
Rejected Bytes전체 Topic이 reject한 바이트bytes
Request Queue Length요청 대기열 크기cnt
Shards클러스터 샤드 수cnt
Zookeeper Sessions [Closed]초당 ZooKeeper 닫힌 세션cnt
Zookeeper Sessions [Expired]초당 ZooKeeper 만료된 세션cnt
Zookeeper State [PID]zookeeper 프로세스 PIDPID
표. Event Streams 모니터링 지표

3 - ServiceWatch 지표

Event Streams는 ServiceWatch로 지표를 전송합니다. 기본 모니터링으로 제공되는 지표는 1분 주기로 수집된 데이터입니다.

참고
ServiceWatch에서 지표를 확인하는 방법은 ServiceWatch 가이드를 참고하세요.

기본 지표

다음은 네임스페이스 Event Streams에 대한 기본 지표입니다.

아래에서 지표명이 굵은 글씨로 표기된 지표는 Event Streams 에서 제공하는 기본 지표 중 주요 지표로 선정한 지표입니다. 주요 지표는 ServiceWatch에서 서비스별로 자동으로 구축되는 서비스 대시보드를 구성하는데 활용됩니다.

각 지표는 해당 지표를 조회할 때 어떤 통계값으로 조회하는 것이 의미있는지 의미 있는 통계값을 사용자 가이드를 통해 안내하고 있으며, 의미있는 통계 중에서 굵은 글씨로 표기된 통계값이 주요 통계값입니다. 서비스 대시보드에서는 주요 지표를 주요 통계값을 통해 조회할 수 있습니다.

OS 기본 지표

분류
성능 항목단위상세 설명의미있는 통계
CPUCPU UsagePercentCPU 사용률
  • 최대
DiskDisk UsagePercentDisk 사용률
  • 최대
DiskDisk Write BytesBytes/Second블록 장치에서 쓰기 용량(바이트/초)
  • 평균
  • 최대
  • 최소
DiskDisk Read BytesBytes/Second블록 장치에서 읽은 용량(바이트/초)
  • 평균
  • 최대
  • 최소
DiskDisk Write RequestsCount/Second블록 장치에서의 쓰기 요청 수(요청수/초)
  • 평균
  • 최대
  • 최소
DiskDisk Read RequestsCount/Second블록 장치에서의 읽기 요청 수(요청수/초)
  • 평균
  • 최대
  • 최소
DiskAverage Disk I/O Queue SizeNone블록 장치에 발행된 요청들의 평균 대기열 길이
  • 평균
  • 최대
  • 최소
DiskDisk I/O UtilizationPercent블록 장치가 I/O 작업을 실제로 처리한 시간 비율
  • 평균
  • 최대
  • 최소
MemoryMemory UsagePercentMemory 사용률
  • 최대
NetworkNetwork In BytesBytes/Second네트워크 인터페이스에서 수신된 용량(바이트/초)
  • 평균
  • 최대
  • 최소
NetworkNetwork Out BytesBytes/Second네트워크 인터페이스에서 송신된 용량(바이트/초)
  • 평균
  • 최대
  • 최소
NetworkTCP ConnectionsCount/Second현재 정상적으로 맺어 놓은 TCP 연결의 총 개수
  • 평균
  • 최대
  • 최소
NetworkNetwork In PacketsCount네트워크 인터페이스에서 수신된 패킷 수
  • 평균
  • 최대
  • 최소
NetworkNetwork Out PacketsCount네트워크 인터페이스에서 전송된 패킷 수
  • 평균
  • 최대
  • 최소
NetworkNetwork In DroppedCount네트워크 인터페이스에서 수신된 패킷 드롭 수
  • 평균
  • 최대
  • 최소
NetworkNetwork Out DroppedCount네트워크 인터페이스에서 전송된 패킷 드롭 수
  • 평균
  • 최대
  • 최소
NetworkNetwork In ErrorsCount네트워크 인터페이스에서 수신된 패킷 에러 수
  • 평균
  • 최대
  • 최소
NetworkNetwork Out ErrorsCount네트워크 인터페이스에서 전송된 패킷 에러 수
  • 평균
  • 최대
  • 최소
표. OS 기본 지표

Event Streams 기본 지표

분류
성능 항목단위상세 설명의미있는 통계
JVMJVM Threads CurrentCount현재 활성화된 스레드 수
  • 합계
  • 평균
  • 최대
  • 최저
JVMJVM Memory UsageBytes현재 JVM이 사용 중인 메모리 양
  • 합계
  • 평균
  • 최대
  • 최저
JVMTime spent in GCNoneJVM이 가비지 컬렉션에 소요한 시간(GC소요초/분)
  • 합계
  • 평균
  • 최대
  • 최저
JVMCount in GCCount/MinuteJVM이 가비지 컬렉션 메서드를 실행한 횟수
  • 합계
  • 평균
  • 최대
  • 최저
kafka_controllerOffline PartitionsCount활성 리더가 없어 쓰기 또는 읽기가 불가능한 파티션의 수
  • 합계
  • 평균
  • 최대
  • 최저
kafka_controllerActive ControllerCount클러스터 내 활성 컨트롤러 수
  • 합계
  • 평균
  • 최대
  • 최저
kafka_controllerTotal of TopicsCount활성 컨트롤러에서 관찰된 글로벌 토픽 수
  • 합계
  • 평균
  • 최대
  • 최저
kafka_controllerLeader ElectionsCount/Minute브로커 장애 시 leader 선출
  • 합계
  • 평균
  • 최대
  • 최저
kafka_controllerUnclean Leader ElectionsCount/MinuteOSR(out-of sync replica)를 가지고 있는 broker를 leader로 선출
  • 합계
  • 평균
  • 최대
  • 최저
kafka_networkRequest QueueCount요청 대기열 사이즈
  • 합계
  • 평균
  • 최대
  • 최저
kafka_serverZookeeper Expired SessionsCount/MinuteZookeeper 만료된 세션
  • 합계
  • 평균
  • 최대
  • 최저
kafka_serverIncoming MessagesCount/SecondBroker가 수신한 메시지
  • 합계
  • 평균
  • 최대
  • 최저
kafka_serverProducer requestsCount/SecondBroker가 받은 요청(Produce)
  • 합계
  • 평균
  • 최대
  • 최저
kafka_serverConsumer requestsCount/SecondBroker가 받은 요청(Fetch)
  • 합계
  • 평균
  • 최대
  • 최저
kafka_serverFailed Fetch RequestsCount/MinuteConsumer가 실패한 Fetch 수
  • 합계
  • 평균
  • 최대
  • 최저
kafka_serverFailed Produce RequestsCount/MinuteProducer가 실패한 Request 수
  • 합계
  • 평균
  • 최대
  • 최저
kafka_serverIncoming Byte RateBytes/Seconds클라이언트로부터 수신되는 바이트 전송 속도(브로커별)
  • 합계
  • 평균
  • 최대
  • 최저
kafka_serverOutgoing Byte RateBytes/Seconds클라이언트로 전송되는 바이트 전송 속도(브로커별)
  • 합계
  • 평균
  • 최대
  • 최저
kafka_serverRejected Byte RateBytes/Seconds레코드 배치 크기가 max.message.bytes 설정보다 크기 때문에 브로커별로 거부된 바이트 수
  • 합계
  • 평균
  • 최대
  • 최저
kafka_serverOnline PartitionsCount전체 파티션 수
  • 합계
  • 평균
  • 최대
  • 최저
kafka_serverLeader PartitionsCountleader 파티션 수
  • 합계
  • 평균
  • 최대
  • 최저
kafka_serverUnder Replicated PartitionsCount복제본 수가 부족한 파티션 수
  • 합계
  • 평균
  • 최대
  • 최저
kafka_serverUnder Minisr PartitionsCount동기화된 복제본 수가 minIsr보다 작은 파티션의 수
  • 합계
  • 평균
  • 최대
  • 최저
SystemdActive Systemd UnitNone서비스 상태
  • 1 - Service Running
  • 0 - Service Stopped
-
표. Event Streams 기본 지표