Quick Query 기반 대화형 쿼리 서비스

개요

Quick Query는 대용량 데이터를 표준 SQL을 사용하여 간편하고 빠르게 분석할 수 있는 대화형 쿼리 서비스입니다. 표준 Kubernetes 클러스터 기반에 자동으로 설치되며, Cloud Hadoop, Object Storage, RDB 등 다양한 데이터 소스에 쉽고 빠르게 접근하여 데이터 조회 및 가공이 가능합니다.

Samsung Cloud Platform의 Kubernetes Engine 클러스터 환경에서 단독으로 사용하거나, 다른 애플리케이션 S/W와 함께 사용할 수 있습니다.

아키텍처 다이어그램

1. Data Engineer는 Quick Query를 통해 다양한 데이터 소스(RDB, Cloud Hadoop, Object Storage 등)의 데이터를 조회하거나 이 기종간 데이터 조인을 수행한다.
   
   

2. Data Engineer는 Quick Query를 통해서 표준 SQL 데이터를 손쉽게 정제, 변환, 병합할 수 있다.
   
   

3. Quick Query는 Trino 엔진 기반 대규모 병렬 분산 처리 방식을 통해 사용자의 쿼리를 빠르게 처리한다. 작업량이 늘어나면 Kubernetes 노드와 쿼리 엔진이 자동으로 확장되어 보다 빠르고 많은 데이터 처리를 수행한다.
   
   

4. 쿼리가 완료된 데이터는 기본적으로 Object Storage에 저장되며 SQL 문법에 따라 원본 데이터 소스 영역에 다시 저장 할 수 있다. 또한 Object Storage에 저장된 데이터를 다시 조회하여 사용 할 수도 있다.
   
   

5. Quick Query의 사용자 정보, Data Source 메타 정보 는 Data Service Console 에서 일괄적으로 관리되고 Data Service Console의 인증 서버를 통한 사용자 인증이 이루어 진다.
   
   

사용 사례

데이터 수집이 필요 없는 실시간 이 기종 데이터 조인

Data Warehouse 시스템에서 **MySQL(DBaaS)**에는 고객 기준 정보가 저장되어 있고 **PostgreSQL(DBaaS)**에는 매출 데이터가 저장되어 있는 경우 데이터를 통합 저장소에 적재하는 과정 없이 Quick Query를 통해 데이터 조인이 가능합니다. 메모리 기반으로 이기종의 데이터를 실시간으로 조인/변환 후 결과 데이터를 통합 저장소나 다른 Data Source에 적재할 수 있습니다.

설비 공정 로그데이터의 조회 및 변환

설비 공정에서 생성된 CSV 포맷의 로그 데이터가 Object Storage에 저장되어 있는 경우 별도의 데이터 수집 작업 없이 Quick Query에서 SQL로 바로 조회가 가능합니다. 저장된 경로를 소스 경로로 지정하여 테이블을 생성하고 SQL문으로 조회/변환하여 별도의 RDB에 저장할 수 있습니다

선결 사항

Quick Query 설치를 위해 최소 사양 이상의 Kubernetes Cluster 가 필요합니다.

제약 사항

Quick Query 설치 시 새로운 Kubernetes Cluster와 노드 풀이 함께 설치 됩니다.

고려 사항

없음

관련 서비스

본 가이드에서 설명하는 기능 또는 구성과 연결되는 Samsung Cloud Platform의 서비스 목록입니다. 서비스 선택 및 설계 시에 참고하세요.