티스토리 뷰
하둡을 처음 접했을때 가장 처음 막히는 부분은 하둡 클러스터 환경구성 일거라 생각됩니다. 필자도 Apache에서 다운 받아서 Stardard, Pesudo, Full Mode를 설치해 보는데 상당히 힘들었던 기억이 있습니다. 하둡 클러스터를 구성하고 다양한 하둡 에코 시스템의 모듈을 설치하고 세팅하는 작업은 쉽지 않습니다.
Hortnworks에서 제공하는 Sandbox를 이용하면 쉽게 Hadoop Cluster환경을 구성할 수 있습니다. Hortnworks에서 제공하는 SandBox는 HDP 2.0에서 구현된 기능을 대부분 제공하기 때문에 하둡 2.0기반의 최신 기능을 테스트하는 데 아주 유용합니다.
Hortonworks Sandbox는 분리된 Virtual machine, container 또는 cloud 환경에서 사용할 수 있습니다. 우리가 가장 많이 사용하는 Virtual Machine으로는 Virtual BOX, VMWare 등이 있습니다. 저희는 그중 VMWare를 이용해서 SandBox를 설치해 보겠습니다.
PREREQUISITES
- Hortonworks Sandbox Download
- VMWare version 14 이상 버젼
- 8G 메모리
파일 사이즈가 15G 라 다운 받는데 1시간 넘게 걸렸습니다. 독자분들도 미리 받아 놓는것을 권해 드립니다. 필자를 이를 수행하기 위해 16G 메모리를 새로 샀습니다. 그나마 요새 메모리 가격이 떨어지는 추세라 조금 저렴한 가격에 샀습니다.
Install
1. IMPORT HORTONWORKS SANDBOX
VMWare Workstation을 실행합니다. File - Open을 클릭하고 다운받은 HDP_2.6.5_vmware_180622.ova 파일 Import합니다. 이미지를 저장할 위치를 선택할 수 있습으며, 이미지 위치는 후에 변경이 가능하니 디폴트로 가겠습니다. 필자는 따로 선택을 하지 않았더니 하기 위치에 이미지가 생성되었다.
C:\Users\ynebu\Documents\Virtual Machines\HDP_2.6.5_vmware_180622
설치하는데 상당한 시간이 걸리니 책읽을거 준비해 놓는게 좋을거라 생각합니다. 그리고 설치에 필요한 파일디스크 용량이 60G 필요합니다. 디스크 용량이 넉넉한 곳에서 설치하시길 권해 드립니다.
설치가 완료되면 VMWare Library List에 새로운 리스트를 확인할 수 있습니다.
이미지를 선택하고 이미지를 수행합니다. 이미지가 정상 설치되었다면 아래 이미지와 같은 화면을 확인할 수 있습니다.
필자는 VMWare 환경에서 설치를 했으므로 192.168.8.128:1080 를 Browser에 입력하였습니다. 그리고 ssh 접속도 Browser에서 접속을 하셔야 합니다. ssh로 가이드가 되어있어 putty로 접속했더니 안되서 한참 헤맸습니다. 하단에 가이드 해드리지만 putty 접속은 다른 port를 사용해서 접속해야 합니다. 저와같은 실수를 하셔서 시간 소비 하지 않았으면 해서 참고로 적습니다.
또한 설치완료 후 바로 접속이 안되어서 vmware에서 이미지를 stop하고 start 했더니 접속이 되었습니다.
<Ambari 첫 실행화면>
<SSH 첫 실행화면>
터미널 접속
Browser를 사용해서 접속하려면 4200 prot를 사용하고 Putty를 사용해서 터미널 접근을 하기위해서는 2222번 port를 사용합니다. root의 기본 Password는 hadoop입니다. 처음 접속할때 비밀번호는 변경해야 하므로 새 비밀번호를 설정합니다. Browser에서도 Putty에서 지원하는 모든 기능을 지원하는 것으로 보입니다.
<root 계정 비밀번호 변경>
<ssh 접속 putty 접속>
암바리 admin user 패스워드 초기화
Ambari에서 super user인 admin의 계정의 패스워드는 기본설정이 되어있지 않습니다. admin의 패스워드 초기화 방법은 터미널을 사용해서 root 계정으로 설정할 수 있습니다.
Termnal에 root 계정을 접속해서 ambari-admin-password-reset 명령어를 수행합니다.
SandBox IP 설정
SandBox의 설치가 완료되면 host를 설정이 필요합니다. Virtual Machine(VMware, VirtualBox) 또는 Container (Docker)에 따라 다르게 설정됩니다. 저희는 VMWare 환경이므로 아래와 같이 hosts파일에 설정하겠습니다.
{IP-Address} localhost sandbox.hortonworks.com sandbox-hdp.hortonworks.com sandbox-hdf.hortonworks.com |
Welcome Ambari
이제 암바리에 접속할 모든 준비가 끝났습니다. Browser에 http://sandbox-hdp.hortonworks.com:8080 를 입력하고 새로 패스원드를 설정한 admin 계정으로 Ambari에 접속하겠습니다. admin 계정은 관리자 권한을 가진 계정이라 모든 서비스를 확인 할 수 있습니다. 왼쪽 리스트를 보시면 정말 많은 서비스가 있다는걸 알수있습니다.
<Welcome Ambari>
기타
암바리 계정
USER |
PASSWORD |
admin |
refer to Admin Password Reset |
maria_dev |
maria_dev |
raj_ops |
raj_ops |
holger_gov |
holger_gov |
amy_ds |
amy_ds |
Sandbox와 Local Machine사이 파일전송
터미널에서 scp 명령어를 사용해서 Sandbox와 Local Machine사이 파일전송을 할 수 있습니다.
Local Machine에서 Sandbox로 전송방법
scp -P 2222 <local_directory_file> root@sandbox-hdp.hortonworks.com:<sandbox_directory_file> |
Sandbox에서 Local Machine로 전송방법
scp -P 2222 root@sandbox-hdp.hortonworks.com:<sandbox_directory_file> <local_directory_file> |
암바리 관리
Manage Ambari를 클릭합니다.
<Manage Ambari>
1. "Operate Your Cluster" Ambari Dashboard 화면으로 전환합니다.
2. "Manage Users + Groups" Ambari 사용자와 그룹을 관리합니다.
3. "Clusters" 사용자와 그룹에게 권한을 부여합니다.
4. "Ambari User Views" Ambari 클러스트 별 사용자 분류를 리스트 합니다.
5. "Deploy Views" Ambari User Views 추가/삭제를 관리합니다.
<Dashboard>
1. Metrics, Heatmaps and Config History
2. Dashboard, Services, Hosts, Alerts, Admin and User Views icon (represented by 3×3 matrix ) to become familiar with the Ambari resources available to you.
지금까지 Hortnworks에서 제공하는 Sandbox 설치 방법을 알아보았습니다.
다음 파트부터는 관련된 서비스중 많이 사용되는 것들 위주로 사용법을 알아 보겠습니다.
참고사이트
https://hortonworks.com/tutorial/learning-the-ropes-of-the-hortonworks-sandbox/