본문 바로가기
IT기술노트/빅데이터

HDFS

by 비트코기 2021. 3. 1.
반응형

I. HDFS의 개요

가. HDFS의 정의

   - X86서버에 장착된 저가의 SATA 디스크를 이용하여 데이터를 분산 시스템에 중복 저장하여 가용성을 향상시킨 분산 파일 시스템

나. HDFS의 특징

   - 다중복제, 자동복구, 온라인변경, 범용 서버기반, 대량파일저장


II. HDFS의 아키텍처 및 구성요소

가. HDFS의 아키텍처

- 네임노드는 파일 시스템의 네임스페이스(디렉토리, 파일명, 파일블록) 등을 관리하며 클라이언트의 요청 처리

나. HDFS의 구성요소

구성요소

설명

Namenode

- 마스터노드, 데이터노드의 메타정보를 관리, 블록의 정보 저장

Datanode

- 슬레이브노드, 복제 데이터 저장

Replication

- 데이터노드 간에 정보를 복제, 성능향상 및 장애 시 지속적 서비스 제공

TCP/IP 프로토콜

- 모든 HDFS 통신 프로토콜은 TCP/IP 프로토콜 최상에 계층화

대량파일 저장

- HDFS 전통적인 계층적 파일 구조 지원


III. HDFS의 동작원리

반응형

'IT기술노트 > 빅데이터' 카테고리의 다른 글

람다 아키텍처(Lambda Architecture)  (0) 2021.03.01
Apache Storm  (0) 2021.03.01
Apache Spark  (0) 2021.03.01
Map Reduce  (0) 2021.03.01
하둡 에코시스템(Hadoop Eco System)  (0) 2021.03.01
Advanced Analytics(고급분석)  (0) 2021.03.01
데이터 레이크  (0) 2021.03.01
패스트 데이터  (0) 2021.03.01

댓글