Cloud Hadoop 시작하기

이번 페이지에서는 Cloud Hadoop 클러스터를 생성하는 단계에 대해서 설명합니다.

목차

사전작업

1. Object Storage 생성

Object Storage 생성에 관한 자세한 설명은 Object Storage 가이드를 참조하세요.

2. 예상 사용량을 바탕으로 노드 타입 선택

클러스터 생성

1. 클러스터 설정

  • 클러스터 이름 : 사용할 클러스터 이름을 입력합니다.

  • 클러스터 버전: 현재 Cloud Hadoop 1.0, 1.1, 1.2를 제공하고 있습니다. 버전에 관한 정보는 릴리즈 노트를 참고하세요.

  • 클러스터 타입: 클러스터 타입은 현재 아래와 같이 네 가지를 제공하고 있습니다. 필요한 컴포넌트가 설치된 타입을 선택할 수 있습니다. 추가로 필요한 서비스가 있다면, 클러스터 관리도구인 AmbariAdd Service 기능을 사용하여 추가 할 수 있습니다.

    • Core Hadoop
    • Presto
    • HBase
    • Spark
  • 클러스터 관리자 계정 및 패스워드: Ambari, Hue, Zeppelin UI의 계정을 설정합니다.

  • ACG 설정: Cloud Hadoop에서는 ACG를 미리 생성할 수 없습니다. 클러스터를 생성 할 때 마다, ACG가 자동으로 생성되는 형태입니다. 네트워크 ACL을 설정하려고 하는경우, 자동으로 생성된 ACG를 선택해서 규칙을 수정할 수 있습니다.

2. 스토리지 & 서버 설정

  • Object Storage 버킷: 사전작업에서 생성한 Object Storage를 선택합니다. Cloud Hadoop 클러스터는 여기서 선택한 버킷에서 데이터를 읽고/쓸수 있습니다.

  • 고가용성 지원: Cloud Hadoop은 기본적으로 HDFS Namenode, YARN Resource Manager, Oozie Server, Hive Server에 대한 이중화를 제공합니다. 이 사양은 최소스펙이기 때문에 선택은 해제할 수 없습니다.

  • 엣지노드 서버 타입: 엣지노드로 사용할 수 있는 서버스펙은 아래와 같습니다.

CPU Memory Disk (SSD)
vCPU 4개 8GB 50GB
vCPU 4개 16GB 50GB
vCPU 4개 32GB 50GB
vCPU 8개 16GB 50GB
vCPU 8개 32GB 50GB
vCPU 8개 64GB 50GB
  • 엣지노드 개수: 엣지노드의 갯수는 1개로 고정되어 있습니다.

  • 마스터노드 서버 타입: 마스터노드로 사용할 수 있는 서버스펙은 아래와 같습니다.

CPU Memory Disk (SSD)
vCPU 4개 8GB 100GB ~ 2T
vCPU 4개 16GB 100GB ~ 2T
vCPU 4개 32GB 100GB ~ 2T
vCPU 8개 16GB 100GB ~ 2T
vCPU 8개 32GB 100GB ~ 2T
vCPU 8개 64GB 100GB ~ 2T
vCPU 16개 32GB 100GB ~ 2T
vCPU 16개 128GB 100GB ~ 2T
vCPU 32개 256GB 100GB ~ 2T
  • 마스터노드 개수: Cloud Hadoop은 최소사양으로 고가용성을 제공하기 때문에, 마스터노드의 갯수는 2개로 고정되어 있습니다.

  • 마스터노드 스토리지 타입: 디스크 타입을 선택합니다. SSD와 HDD중에서 선택할 수 있습니다.

  • 마스터노드 스토리지 용량: 디스크 용량을 선택합니다. 최소 100GB부터 2T까지 선택 할 수 있으며 10GB단위로 지정할 수 있습니다.

선택한 마스터노드의 스펙대로 두 대의 마스터노드가 생성됩니다.

  • 작업자노드 서버타입: 작업자노드로 사용할 수 있는 서버스펙은 아래와 같습니다.
CPU Memory Disk (SSD)
vCPU 4개 8GB 100GB ~ 2T
vCPU 4개 16GB 100GB ~ 2T
vCPU 4개 32GB 100GB ~ 2T
vCPU 8개 16GB 100GB ~ 2T
vCPU 8개 32GB 100GB ~ 2T
vCPU 8개 64GB 100GB ~ 2T
vCPU 16개 32GB 100GB ~ 2T
vCPU 16개 128GB 100GB ~ 2T
vCPU 32개 256GB 100GB ~ 2T
  • 작업자노드 개수: 작업자노드 개수는 1~8개에서 선택 할 수 있습니다. 작업자노드는 클러스터 생성이후에도 추가/삭제를 할 수 있기 때문에 실제 사용량이 예상과 다르다면 조절 할 수 있습니다.

  • 작업자노드 스토리지 타입: 디스크 타입을 선택합니다. SSD와 HDD중에서 선택할 수 있습니다.

  • 작업자노드 스토리지 용량: 디스크 용량을 선택합니다. 최소 100GB부터 2T까지 선택 할 수 있으며 10GB단위로 지정할 수 있습니다.

선택한 작업자노드의 스펙대로 동일하게 모든 작업자노드가 생성됩니다.

  • 요금제: 계정생성시 선택한 요금제가 적용됩니다.

서버 스펙에 대한 조정(scale up/down)은 제공하지 않으므로, 처음 클러스터를 구성할 때 예상 사용량과 노드의 역할(엣지/마스터/작업자)를 고려하여 선택해야 합니다.

3. 인증키 설정

노드에 직접 접속할 때 필요한 SSH 인증키를 설정합니다. 미리 생성해둔 키가 있으면 그대로 사용할 수 있고, 새로 생성할 수 도 있습니다. 클러스터 생성이후에 인증키를 변경할 수 있습니다.

4. 최종확인

앞서 페이지에서 선택한 내용을 최종확인하는 페이지입니다. 수정이 필요하다면 이전으로 돌아가서 변경 할 수 있습니다. 여기서 Cloud Hadoop을 위한 ACG는 자동 생성됩니다. 선택한 클러스터 타입에 따라 차이가 있지만, 보통 30~50분내로 생성이 완료됩니다.

""에 대한 건이 검색되었습니다.

    ""에 대한 검색 결과가 없습니다.

    처리중...