How-to guides

사용자는 Samsung Cloud Platform Console을 통해 Data Ops의 필수 정보를 입력하고, 상세 옵션을 선택하여 해당 서비스를 생성할 수 있습니다.

Data Ops 생성하기

Samsung Cloud Platform Console에서 Data Ops 서비스를 생성하여 사용할 수 있습니다.

Data Ops를 생성하려면 다음 절차를 따르세요.

  1. 모든 서비스 > Data Analytics > Data Ops 메뉴를 클릭하세요. Data Ops의 Service Home 페이지로 이동합니다.

  2. Service Home 페이지에서 Data Ops 생성 버튼을 클릭하세요. Data Ops 생성 페이지로 이동합니다.

  3. Data Ops 생성 페이지에서 서비스 생성에 필요한 정보들을 입력하고, 상세 옵션을 선택하세요.

    • 버전 선택 영역에서 필요한 정보를 선택하세요.
      구분
      필수 여부
      상세 설명
      Data Ops 버전필수선택한 이미지의 버전 선택
      • 제공하는 서버 이미지의 버전 리스트 제공
      표. Data Ops 버전 선택 항목
    • 클러스터 선택 영역에서 필요한 정보를 입력 또는 선택하세요. Data Ops 설치를 위해서는 Kubernetes 클러스터 및 작업 환경을 위한 노드 생성이 먼저 필요합니다.
      구분
      필수 여부
      상세 설명
      클러스터명필수사용할 클러스터 선택
      Ingress Controller필수클러스터에 설치된 Ingress Controller 선택
      표. Data Ops 클러스터 선택 항목
    • 서비스 정보 입력 영역에서 필요한 정보를 입력 또는 선택하세요.
      구분
      필수 여부
      상세 설명
      Data Ops명필수Data Ops 이름 입력
      • 영문 소문자로 시작하며 특수문자(-)로 끝나지 않도록, 소문자, 숫자와 특수문자(-)를 사용하여 3 ~ 30자로 입력
      스토리지 클래스필수선택한 클러스터가 사용하는 스토리지 클래스 선택
      설명선택Data Ops에 대한 추가 정보나 설명을 150자 이내로 입력
      도메인 설정필수Data Ops 도메인 입력
      • 영문 소문자로 시작하며 특수문자(-)로 끝나지 않도록, 소문자, 숫자와 특수문자(-)를 사용하여 3 ~ 50자로 입력
      • {Data Ops명}.{설정한 도메인}이 Data Ops 접속 주소가 됩니다.
      Node Selector필수특정 노드에 설치하려면 해당 노드의 Label 중 구별할 수 있는 Label을 입력
      • 노드 Label을 잘못 입력하면 설치 에러가 발생할 수 있으니 노드 Label을 미리 확인
      • 노드 Label은 해당 노드의 yaml 파일에서 확인
      계정필수Data Ops Manager 계정 입력
      • 아이디: 영문 소문자로 시작하며 소문자와 숫자를 사용하여 6 ~ 30 사이의 값 입력
      • 비밀번호: 대문자(영문), 소문자(영문), 숫자와 특수문자(!@#$%^&*)를 포함하여 8~50자로 입력
      • 비밀번호 확인: 비밀번호를 동일하게 한 번 더 입력
      Host Alias선택Data Ops와 연결될 호스트 정보 추가 (기본 포함 총 20개 생성 가능)
      • 사용을 선택한 후, + 버튼 클릭
      • Hostname: 호스트명 또는 도메일 형식으로, 소문자, 숫자와 특수문자(-)를 사용하여3~63자로 입력
      • IP: IP 형식으로 입력
      • 삭제하려면 X 버튼 클릭
      • 클러스터와 해당 서버와의 방화벽이 오픈되어 있어야 추가한 호스트 정보 사용 가능
      표. Data Ops 서비스 정보 입력 항목
    • 추가 정보 입력 영역에서 필요한 정보를 입력 또는 선택하세요.
      구분
      필수 여부
      상세 설명
      태그선택태그 추가
      • 태그 추가 버튼을 클릭하여 태그를 생성하여 추가하거나 기존 태그 추가 가능
      • 최대 50개까지 태그 추가 가능
      • 추가된 신규 태그는 서비스 생성 완료 후 적용
      표. Data Ops 추가 정보 입력 항목
  4. 요약 패널에서 생성한 상세 정보와 예상 청구 금액을 확인하고, 완료 버튼을 클릭하세요.

    • 생성이 완료되면, Data Ops 목록 페이지에서 생성한 자원을 확인하세요.

Data Ops 상세 정보 확인하기

Data Ops의 전체 자원 목록과 상세 정보를 확인하고 수정할 수 있습니다. Data Ops 상세 페이지에서는 상세 정보, 태그, 작업 이력 탭으로 구성됩니다.

Data Ops의 상세 정보를 확인하려면 다음 절차를 따르세요.

  1. 모든 서비스 > Data Analytics > Data Ops 메뉴를 클릭하세요. Data Ops의 Service Home 페이지로 이동합니다.
  2. Service Home 페이지에서 Data Ops 메뉴를 클릭하세요. Data Ops 목록 페이지로 이동합니다.
  3. Data Ops 목록 페이지에서 상세 정보를 확인할 자원을 클릭하세요. Data Ops 상세 페이지로 이동합니다.
    • Data Ops 상세 페이지 상단에는 상태 정보 및 부가 기능에 대한 정보가 표시됩니다.
      구분상세 설명
      상태 표시Data Ops 상태
      • Creating: 생성 중
      • Running: 작동 중, Data Ops Services 생성 가능 상태
      • Updating: 설정 업데이트 중
      • Terminating: 서비스 해지 중
      • Error: 생성 중 오류 발생 또는 서비스 이상 상태
      Hosts 파일 셋팅 정보Data Ops에 접속하기 위한 호스트 파일 정보를 확인하고 복사하는 버튼
      서비스 해지서비스를 해지하는 버튼
      표. Data Ops 상태 정보 및 부가 기능

상세 정보

Data Ops 목록 페이지에서 선택한 자원의 상세 정보를 확인하고, 필요한 경우 정보를 수정할 수 있습니다.

구분상세 설명
서비스서비스명
자원 유형자원 유형
SRNSamsung Cloud Platform에서의 고유 자원 ID
  • 클러스터 SRN을 의미
자원명자원 이름
  • 클러스터명을 의미
자원 ID서비스에서의 고유 자원 ID
생성자서비스를 생성한 사용자
생성 일시서비스를 생성한 일시
수정자서비스 정보를 수정한 사용자
수정 일시서비스 정보를 수정한 일시
클러스터명서버들이 구성된 클러스터 이름
스토리지 클래스선택한 클러스터가 사용하는 스토리지 클래스
설명Data Ops에 대한 추가 정보나 설명
도메인 설정Data Ops 도메인 이름
Node Selector노드 Lable
Web UrlData Ops URL
계정Data Ops Manager 계정
Host AliasData Ops와 연결될 호스트 정보
표. Data Ops 상세 정보 탭 항목

태그

Data Ops 목록 페이지에서 선택한 자원의 태그 정보를 확인하고, 추가하거나 변경 또는 삭제할 수 있습니다.

구분상세 설명
태그 목록태그 목록
  • 태그의 Key, Value 정보 확인 가능
  • 태그는 자원 당 최대 50개까지 추가 가능
  • 태그 입력 시 기존에 생성된 Key와 Value 목록을 검색하여 선택
표. Data Ops 태그 탭 항목

작업 이력

Data Ops 목록 페이지에서 선택한 자원의 작업 이력을 확인할 수 있습니다.

구분상세 설명
작업 이력 목록자원 변경 이력
  • 작업 일시, 자원 ID, 자원명, 작업 내역, 이벤트 토픽, 작업 결과, 작업자 정보 확인
표. Data Ops 작업 이력 탭 상세 정보 항목

Data Ops 해지하기

사용하지 않는 Data Ops를 해지해 운영 비용을 절감할 수 있습니다. 단, 서비스를 해지하면 운영 중인 서비스가 즉시 중단될 수 있으므로 서비스 중단 시 발생하는 영향을 충분히 고려한 후 해지 작업을 진행해야 합니다.

Data Ops를 해지하려면 다음 절차를 따르세요.

  1. 모든 서비스 > Data Analytics > Data Ops 메뉴를 클릭하세요. Data Ops의 Service Home 페이지로 이동합니다.
  2. Service Home 페이지에서 Data Ops 메뉴를 클릭하세요. Data Ops 목록 페이지로 이동합니다.
  3. Data Ops 목록 페이지에서 해지할 자원을 선택하고, 서비스 해지 버튼을 클릭하세요.
  4. 해지가 완료되면, Data Ops 목록 페이지에서 자원이 해지되었는지 확인하세요.
안내
Data Ops 해지는 연결된 Data Ops Services를 먼저 삭제해야 해지할 수 있습니다.

1 - Data Ops Services

사용자는 Samsung Cloud Platform Console을 통해 Data Ops 서비스 내 Data Ops Services의 필수 정보를 입력하고, 상세 옵션을 선택하여 해당 서비스를 생성할 수 있습니다.

Data Ops Services 생성하기

사용자는 Data Ops의 서비스 상세 옵션을 선택하거나 설정값을 입력하여 서비스를 추가할 수 있습니다.

안내
Data Ops Services 신청 시 자원의 규모는 K8s 클러스터의 가용 용량 이상으로 확보되어야 합니다.

Data Ops Services를 생성하려면 다음 절차를 따르세요.

  1. 모든 서비스 > Data Analytics > Data Ops 메뉴를 클릭하세요. Data Ops의 Service Home 페이지로 이동합니다.

  2. Service Home 페이지에서 Data Ops Servies를 클릭하세요. Data Ops Services 목록 페이지로 이동합니다.

  3. Data Ops Services 목록 페이지에서 Data Ops Services 생성 버튼을 클릭하세요. Data Ops Services 생성 페이지로 이동합니다.

  4. Data Ops Services 생성 페이지에서 서비스 생성에 필요한 정보들을 입력하고, 상세 옵션을 선택하세요.

    • 서비스 정보 입력 영역에서 필요한 정보를 입력 또는 선택하세요.
      구분
      필수 여부
      상세 설명
      Data Ops명필수Data Ops 선택
      Ops Service명필수Data Ops Services 이름 입력
      • 영문 소문자로 시작하며 특수문자(-)로 끝나지 않도록, 소문자, 숫자와 특수문자(-)를 사용하여 3 ~ 30자로 입력
      스토리지 클래스필수선택한 클러스터가 사용하는 스토리지 클래스 선택
      설명선택Data Ops Services에 대한 추가 정보나 설명을 150자 이내로 입력
      도메인 설정필수Data Ops Services 도메인 입력
      • 영문 소문자로 시작하며 특수문자(-)로 끝나지 않도록, 소문자, 숫자와 특수문자(-)를 사용하여 3 ~ 50자로 입력
      • {Data Ops Services명}.{설정한 도메인}이 Data Ops Services 접속 주소가 됩니다.
      Node Selector필수특정 노드에 설치하려면 해당 노드의 Label 중 구별할 수 있는 Label을 입력
      • 노드 Label을 잘못 입력하면 설치 에러가 발생할 수 있으니 노드 Label을 미리 확인
      • 노드 Label은 해당 노드의 yaml 파일에서 확인
      Service Workload필수
      • Web Server: DAG의 구성 요소와 상태를 시각화하여 제공하며 Airflow 구성 관리 모듈
      • Scheculer: 다양한 DAG와 해당 작업을 오케스트레이션 하기 위한 DAG 예약/실행 관리 모듈
      • Worker: 실제 오케스트레이션 및 데이터 처리 작업을 수행하는 모듈
        • Worker(Kubernetes): Worker 작동 조건시 다이내믹하게 pod가 생성되어 동작하므로 자원을 효율적으로 사용할 수 있음. Kubernetes 선택시 Replica의 text box는 비활성화됨.
        • Worker(Celery): Worker 작동 조건시 Static pod를 생성하여 유지하며 많은 양의 요청에 대해 좀 더 빠르게 수행할 수 있음. Celery 선택시 Replica의 text box는 활성화되고 사용자 입력이 가능.
        • 한 번 선택된 executor의 타입은 변경 불가
      계정필수Airflow 계정 입력
      • 아이디: 영문 소문자로 시작하며 소문자와 숫자를 사용하여 6 ~ 30 사이의 값 입력
      • 비밀번호: 대문자(영문), 소문자(영문), 숫자와 특수문자(!@#$%^&*)를 포함하여 8 ~ 50자로 입력
      • 비밀번호 확인: 비밀번호를 동일하게 한 번 더 입력
      표. Data Ops Services 서비스 정보 입력 항목
    • 추가 정보 입력 영역에서 필요한 정보를 입력 또는 선택하세요.
      구분
      필수 여부
      상세 설명
      Host Alias선택Data Ops와 연결될 호스트 정보 추가 (기본 포함 총 20개 생성 가능)
      • 사용을 선택한 후, + 버튼 클릭
      • Hostname: 호스트명 또는 도메일 형식으로, 소문자, 숫자와 특수문자(-)를 사용하여 3 ~ 63자로 입력
      • IP: IP 형식으로 입력
      • 삭제하려면 X 버튼 클릭
      • 클러스터와 해당 서버와의 방화벽이 오픈되어 있어야 추가한 호스트 정보 사용 가능
      태그선택태그 추가
      • 태그 추가 버튼을 클릭하여 태그를 생성하여 추가하거나 기존 태그 추가 가능
      • 최대 50개까지 태그 추가 가능
      • 추가된 신규 태그는 서비스 생성 완료 후 적용
      표. Data Ops 추가 정보 입력 항목
  5. 요약 패널에서 생성한 상세 정보와 예상 청구 금액을 확인하고, 완료 버튼을 클릭하세요.

    • 생성이 완료되면, Data Ops Services 목록 페이지에서 생성한 자원을 확인하세요.

Data Ops Services 상세 정보 확인하기

Data Ops Services의 전체 자원 목록과 상세 정보를 확인하고 수정할 수 있습니다. Data Ops Services 상세 페이지에서는 상세 정보, 태그, 작업 이력 탭으로 구성됩니다.

Data Ops Services의 상세 정보를 확인하려면 다음 절차를 따르세요.

  1. 모든 서비스 > Data Analytics > Data Ops 메뉴를 클릭하세요. Data Ops의 Service Home 페이지로 이동합니다.
  2. Service Home 페이지에서 Data Ops Services 메뉴를 클릭하세요. Data Ops Services 목록 페이지로 이동합니다.
  3. Data Ops Services 목록 페이지에서 상세 정보를 확인할 자원을 클릭하세요. Data Ops Services 상세 페이지로 이동합니다.
    • Data Ops Services 상세 페이지 상단에는 상태 정보 및 부가 기능에 대한 정보가 표시됩니다.
      구분상세 설명
      상태 표시Data Ops Services 상태
      • Creating: 생성 중
      • Running: 작동 중
      • Updating: 설정 업데이트 중
      • Terminating: 서비스 해지 중
      • Error: 생성 실패 또는 서비스 사용 불가
      Hosts 파일 셋팅 정보Data Ops Services에 접속하기 위한 호스트 파일 정보를 확인하고 복사하는 버튼
      Data Ops Services 삭제서비스를 해지하는 버튼
      표. Data Ops Services 상태 정보 및 부가 기능

상세 정보

Data Ops Services 목록 페이지에서 선택한 자원의 상세 정보를 확인하고, 필요한 경우 정보를 수정할 수 있습니다.

구분상세 설명
서비스서비스명
자원 유형자원 유형
SRNSamsung Cloud Platform에서의 고유 자원 ID
  • 클러스터 SRN을 의미
자원명자원 이름
  • 클러스터명을 의미
자원 ID서비스에서의 고유 자원 ID
생성자서비스를 생성한 사용자
생성 일시서비스를 생성한 일시
수정자서비스 정보를 수정한 사용자
수정 일시서비스 정보를 수정한 일시
Data Ops명Data Ops 이름
스토리지 클래스선택한 클러스터가 사용하는 스토리지 클래스
설명Data Ops Services에 대한 추가 정보나 설명
도메인 설정Data Ops Services 도메인 이름
Node Selector노드 Lable
Web UrlData Ops Services URL
계정Airflow 계정
Host AliasData Ops Services와 연결될 호스트 정보
표. Data Ops Services 상세 정보 탭 항목

태그

Data Ops Services 목록 페이지에서 선택한 자원의 태그 정보를 확인하고, 추가하거나 변경 또는 삭제할 수 있습니다.

구분상세 설명
태그 목록태그 목록
  • 태그의 Key, Value 정보 확인 가능
  • 태그는 자원 당 최대 50개까지 추가 가능
  • 태그 입력 시 기존에 생성된 Key와 Value 목록을 검색하여 선택
표. Data Ops Services 태그 탭 항목

작업 이력

Data Ops Services 목록 페이지에서 선택한 자원의 작업 이력을 확인할 수 있습니다.

구분상세 설명
작업 이력 목록자원 변경 이력
  • 작업 일시, 자원 ID, 자원명, 작업 내역, 이벤트 토픽, 작업 결과, 작업자 정보 확인
표. Data Ops Services 작업 이력 탭 상세 정보 항목

Data Ops Services 해지하기

사용하지 않는 Data Ops Services를 해지해 운영 비용을 절감할 수 있습니다. 단, 서비스를 해지하면 운영 중인 서비스가 즉시 중단될 수 있으므로 서비스 중단 시 발생하는 영향을 충분히 고려한 후 해지 작업을 진행해야 합니다.

Data Ops Services를 해지하려면 다음 절차를 따르세요.

  1. 모든 서비스 > Data Analytics > Data Ops 메뉴를 클릭하세요. Data Ops의 Service Home 페이지로 이동합니다.
  2. Service Home 페이지에서 Data Ops Services 메뉴를 클릭하세요. Data Ops Services 목록 페이지로 이동합니다.
  3. Data Ops Services 목록 페이지에서 해지할 자원을 선택하고, Data Ops Services 삭제 버튼을 클릭하세요.
  4. 해지가 완료되면, Data Ops Services 목록 페이지에서 자원이 해지되었는지 확인하세요.

2 - Ingress Controller 설치하기

사용자는 Data Ops 서비스를 생성하기 전에 Ingress Controller를 설치해야 합니다. Kubernetes 클러스터에는 1개의 Ingress Controller만 설치해야 합니다.

Container Registry를 이용하여 Ingress Controller 설치하기

Container Registry를 이용하여 Ingress Controller를 설치하려면 다음 절차를 따르세요.

자세한 Container Registry 생성 방법은 Container > Container Registry > How-to guides 가이드를 참고하세요.
  1. Ingress Controller 이미지를 저장할 SCR(Samsung Container Registry)을 준비하세요.

  2. SCR(Samsung Container Registry)에 Ingress Controller 이미지를 Push하세요.

  3. 설치에 사용한 YAML 파일을 Ingress GitHub에서 다운로드한 후, 아래 항목을 수정하세요.

    배경색 변경
    kind: Deployment
    ...
    spec:
      template:
        spec:
          containers:
            image: {SCR private endpoint}.{repository name}.{image name}:{tag}
    kind: Deployment
    ...
    spec:
      template:
        spec:
          containers:
            image: {SCR private endpoint}.{repository name}.{image name}:{tag}
    코드 블럭. SCR 정보 변경
    배경색 변경
    kind: ConfigMap
    ...
    metadata:
      labels:
        app: ingress-controller
    
    kind: Service
    ...
    metadata:
      labels:
        app: ingress-controller
    
    kind: Deployment
    ...
    metadata:
      labels:
        app: ingress-controller
    
    kind: IngressClass
    ...
    metadata:
      labels:
        app: ingress-controller
    kind: ConfigMap
    ...
    metadata:
      labels:
        app: ingress-controller
    
    kind: Service
    ...
    metadata:
      labels:
        app: ingress-controller
    
    kind: Deployment
    ...
    metadata:
      labels:
        app: ingress-controller
    
    kind: IngressClass
    ...
    metadata:
      labels:
        app: ingress-controller
    코드 블럭. Label 정보 추가 - metadata: labels: app: ingress-controller

  4. 수정한 YAML 파일을 사용하여 Kubernetes Engine에서 워크로드 > 디플로이먼트 목록에서 오브젝트 생성 버튼을 이용하여 Ingress Controller를 설치할 수 있습니다.

    참고
    자세한 오브젝트 생성 방법은 Container > Kubernetes Engine > 디플로이먼트 생성하기 를 참고하세요.