반응형
Batch layer, serving layer, speed layer |
I. 람다 아키텍처의 개요
가. 람다 아키텍처(Lambda Architecture)의 정의
- 대용량의 데이터를 과거의 분석된 데이터와 실시간 데이터를 분석하여 동시에 사용할 수 있도록 지원하는 빅데이터 아키텍처
II. 람다 아키텍처의 구성도 및 구성요소
가. 람다 아키텍처의 구성도
- Batch Layer, Serving Layer, Speed Layer의 3계층 구성의 연계를 통해 실시간 데이터 분석지원
나. 람다 아키텍처의 구성요소
구성요소 |
설명 |
Batch Layer |
- 변하지 않을 데이터들에 대해 배치 작업을 통해 결과값 저장 - 데이터 업데이트도 반드시 배치 레이어의 배치 작업을 통해 수행 - 마스터 데이터 집합관리 - 배치 뷰 사전 연산 처리 |
Serving Layer |
- 배치 작업을 통해 저장된 배치 뷰 조회 - 배치 뷰 인덱싱을 통해 낮은 대기시간과 Ad-hoc방식으로 데이터 처리 |
Speed Layer |
- 실시간 데이터만 처리 - Serving Layer의 수정데이터 참조 지연을 줄이기 위해 사용 - 배치 작업을 통해 생성된 배치 뷰와 중복되지 않도록 처리 |
다. 람다 아키텍처의 데이터 처리 흐름
반응형
'IT기술노트 > 빅데이터' 카테고리의 다른 글
MongoDB (0) | 2021.03.01 |
---|---|
CAP이론 (0) | 2021.03.01 |
NoSQL(Not Only SQL) (0) | 2021.03.01 |
카파 아키텍처(Kappa Architecture) (0) | 2021.03.01 |
Apache Storm (0) | 2021.03.01 |
Apache Spark (0) | 2021.03.01 |
Map Reduce (0) | 2021.03.01 |
HDFS (0) | 2021.03.01 |
댓글