반응형
I. HDFS의 개요
가. HDFS의 정의
- X86서버에 장착된 저가의 SATA 디스크를 이용하여 데이터를 분산 시스템에 중복 저장하여 가용성을 향상시킨 분산 파일 시스템
나. HDFS의 특징
- 다중복제, 자동복구, 온라인변경, 범용 서버기반, 대량파일저장
II. HDFS의 아키텍처 및 구성요소
가. HDFS의 아키텍처
- 네임노드는 파일 시스템의 네임스페이스(디렉토리, 파일명, 파일블록) 등을 관리하며 클라이언트의 요청 처리
나. HDFS의 구성요소
구성요소 |
설명 |
Namenode |
- 마스터노드, 데이터노드의 메타정보를 관리, 블록의 정보 저장 |
Datanode |
- 슬레이브노드, 복제 데이터 저장 |
Replication |
- 데이터노드 간에 정보를 복제, 성능향상 및 장애 시 지속적 서비스 제공 |
TCP/IP 프로토콜 |
- 모든 HDFS 통신 프로토콜은 TCP/IP 프로토콜 최상에 계층화 |
대량파일 저장 |
- HDFS 전통적인 계층적 파일 구조 지원 |
III. HDFS의 동작원리
반응형
'IT기술노트 > 빅데이터' 카테고리의 다른 글
람다 아키텍처(Lambda Architecture) (0) | 2021.03.01 |
---|---|
Apache Storm (0) | 2021.03.01 |
Apache Spark (0) | 2021.03.01 |
Map Reduce (0) | 2021.03.01 |
하둡 에코시스템(Hadoop Eco System) (0) | 2021.03.01 |
Advanced Analytics(고급분석) (0) | 2021.03.01 |
데이터 레이크 (0) | 2021.03.01 |
패스트 데이터 (0) | 2021.03.01 |
댓글