hadoop ecosystem1 [ 빅데이터 플랫폼 ] 하둡 에코시스템(Hadoop-Ecosystem) 하둡 프레임워크 상에 존재하는 다양한 서브프로젝트들의 집합이라고 생각하면 된다. 하나하나 살펴보도록 하겠다. ZOOKEEPER 분산 시스템 간의 정보 공유 및 상태 체크, 동기화를 처리한다. 이러한 역할을 하는 시스템을 코디네이션 서비스 시스템이라고 한다. 이를 많이 쓰는 이유는, 기능에 비해 시스템이 단순하기 때문이다. 분산 큐, 피어 그룹 대표 산출, 분산 락 등의 다양한 기능을 가지고 있다. OOZIE 하둡의 워크플로우를 관리해준다. 맵리듀스 잡, 피그 잡등의 시작과 완료, 실행 중 에러등의 이벤트를 콜 백 할 수 있다. AVRO 데이터 직력화에 쓰이는 프레임워크이다. 다양한 언어를 지원하며, 스키마를 보통 JSON 으로 작성 후 바이너리 형태로 인코딩한다. TAJO 하둡 기반 DW(Data War.. 2021. 12. 7. 이전 1 다음
