블로그 목적

• 하둡을 손쉽게 시작할 수 있는 환경인 호튼 웍스 샌드박스를 소개하고 직접 설치해 본다.

호튼웍스 샌드박스란?

• The HDP Sandbox makes it easy to get started with Apache Hadoop, Apache Spark, Apache Hive, Apache HBase, Druid and Data Analytics Studio (DAS).
  • HDP Sandbox를 사용하면 Apache Hadoop, Apache Spark, Apache Hive, Apache HBase, Druid 및 DAS (Data Analytics Studio)를 쉽게 시작할 수 있음.
  • 즉, 가상 머신에서 구동되고 하둡 단일 노드 버전이 설치 되어 있음.
• 지원
  • 윈도우
  • macOS
  • 리눅스
  • 다운로드 및 설치에 대한 정보 페이지
    • https://www.cloudera.com/downloads/hortonworks-sandbox/hdp.html

설치방법

• 하나, 오라클 Virtual Box를 내려받은 후 설치 (생략)
• 둘, Virtual Box 용 호튼웍스 샌드반스 VM파일(.ova)을 내려 받음.
  • 
    • 아래 페이지에서 내려 받음.
      •  https://www.cloudera.com/downloads/hortonworks-sandbox/hdp.html
    • 
    • 
• 셋, Virtual Box 에서 VM파일을 열고 "시작" 함.
  • 파일 > 가상시스템 가져오기 
    • 
    •  
    •  
    • 
    • 그럼, VM 을 열었으니 시작해볼까요?
      • 
    • but, 아래와 같은 에러가 나면서 실행이 안되네요..-_-;
      • 
        
        • 에러가 난 이유는 무엇일까요?
          • 정답
            • 윈도우의 경우, Microsoft-Hyper-V 가 켜진 경우, 다른 하이퍼바이저 사용이 안되는 구조입니다.
            • 그럼 확인해볼까요? 관리자 권한으로 cmd 을 실행하고 아래 명령을 실행시켜봅니다. (정말로 Microsoft-Hyper-V 가 켜저있는지 확인하기위해서요..)
            • 명령
              • $ dism.exe /Online /Get-FeatureInfo:Microsoft-Hyper-V
              • 
                • 즉, 상태를 보시면, 사용이네요..
          • 해결책
            • 아래 명령을 사용해서, Microsoft-Hyper-V 기능을 해제 시키겠습니다.
              • 명령
                • $ dism.exe /Online /Disable-Feature:Microsoft-Hyper-V
                • 
                  •  주의) Y를 입력하는 순간 컴퓨터가 재부팅 되니, 사용하시고 있으신 프로그램들은 차근차근 종료처리 후 Y 를 입력하시면 됩니다.
            • 재부팅 후, 아래 명령을 사용해서 확인해보면, Microsoft-Hyper-V 기능이 해제 되었음을 확인할 수 있습니다.
              • 명령
                • $ dism.exe /Online /Get-FeatureInfo:Microsoft-Hyper-V
                • 
              • 그리고, 실행를 하면 아래와 같이 정상적으로 실행됩니다.
              • 
                • 여기서 한가지 센스가 있는것이...
                  • 시간이 오래걸릴것을 알고 기다리는 동안, 기사를 읽으라고 URI를 던져주는..^^;
                  • 그냥 제생각인데, 추가적으로 몇퍼센트 완료되었다는 프로그래스 바도 같이 주면 어떻했을까? 라는 생각이..^^
              • 완료되면 아래와 같은 화면이 나옵니다.
                • 
• 넷, 부팅이 완료되면, VM 화면에서 root 계정으로 로그인 함.
  • 윈도우 putty를 사용한 접속정보
    • ssh://localhost:2222
      • 참고) 초기 Password
        • hadoop
  •  참고로, 최초접속은 아래와 같이 진행됨
  • 
    • 설명
      • 최초접속후 초기 비밀번호는 각자 설정하면됨.
• 다섯, vm 접속 후 아래 명령을 실행해 암바리(Ambari) 의 admin 계정 비밀번호를 설정
  • $ ambari-admin-password-reset
  • 
    
    • 설명
      • 정상적으로 세팅됨을 확인할 수 있음.
• 여섯, 윈도우에서 웹브라우저를 실행한 후 아래 URI 로 접속하자
  • 접속 URI
    • http://localhost:1080/
    • 
      • 설명
        • LAUNCH DASHBOARD 를 클릭하면 로그인 할 수 있음.
          • ID
            • admin
          • Password
            • 위에서 설정한 패쓰워드
        • 로그인 성공 시 아래와 같은 대시 보드를 확인할 수 있음.
        • 
• 일곱, 하이브(hive) / 스파크(spark) / 피그(pig) 등을 실행할 수 있음.
  • ex) 하이브(hive) 실행화면
    • 

결론

• 호튼웍스 샌드박스에 대해서 알아보고 직접 VM에 설치해 봄
• 설치결과, 하둡을 손쉽게 시작하고 다뤄보고 싶다면, 호튼웍스 샌드박스를 추천함.
• 오늘도 호튼웍스 샌드박스에 대한 지식 및 설치방법에 대해서 정리 완료! 감사합니다.

오늘의 나눔 한마디

• 부의 법칙 28페이지를 읽고 느낀점을 나누려고 합니다.
• 에머슨이 지은 "보상" 이라는 에세이 에서 노력에 대한 보상을 언급하고 있는데요.
• 내가하는 모든 노력에는 반드시 보상이 있을 것이고 해당하는 보상이 늦으면 늦을 수록 나에게 더 크게 이루어진다라고 합니다.
• 즉, 소위 투자에서 말하는 복리에 복리를 더하는 복리법칙을 잘 설명하고 있습니다.
• 투자의 관련해서는 오마하의 현인이라 불리는 워렌버핏을 항상 떠올리게 되는대요.
• 워렌 버핏도 스노우볼이라는 것을 언급하며 해당 복리의 법칙을 언급하곤 했습니다.
• 아무튼 오늘은 부를 이루는 법칙인 "보상과복리의 법칙"을 간단히 나눔해봤는데요..
• 나눔을 지금즉시 실천하시는 저와 T.hub 구독자 여러분 되시길 기원하면서 오늘은 여기까지 하겠습니다.
  • 오늘도 유익한 글이라고 생각하시면, 팔로우와 좋아요 그리고 북마크 부탁드려요^^
• 더욱 발전하는 컨텐츠를 만들 수 있도록 노력하겠습니다. 감사합니다.

나의 목표 및 다짐을 항상 내곁에 두기.(계속 106)

• 목표
  • 나의 강점을 바탕으로 나의 일을 잘해냄으로써 타인과 사회를 아릅답게 만든다.
    • 현재 내가 가진 능력으로 누군가에 도움이 될 수 있을까? 에 대해서 항상 생각하기
• 목표를 이루기 위한 실천방안
  • 꾸준한 블로깅/기록법/독서법으로 넘버원이 아닌 온리원이 되보자.
  • 천사불여일행(千思不如一行)을 항상생각하며 체화 및 각인시키자.
    • "천번 생각하는것보다 한번 행동하는 것이 더 중요하다."
  • 기기일약 불능십보(騏驥一躍 不能十步) / 노마십가 공재불사(駑馬十駕 功在不舍)
    • 천리마도 한번에 열걸음을 뛸 수 없고, 느리고 둔한말이라도 열흘이면 하룻길을 간다.
  • 모든 실수에는 마술이 숨어 있다. 따라서 나는 실수하면 실수할수록, 그런 실수에서 더 많이 배울수록 삶에서 더 많은 마술을 갖는다.