본문 바로가기
IT기술노트/빅데이터

람다 아키텍처(Lambda Architecture)

by 비트코기 2021. 3. 1.
반응형

Batch layer, serving layer, speed layer


I. 람다 아키텍처의 개요

가. 람다 아키텍처(Lambda Architecture)의 정의

   - 대용량의 데이터를 과거의 분석된 데이터와 실시간 데이터를 분석하여 동시에 사용할 수 있도록 지원하는 빅데이터 아키텍처


II. 람다 아키텍처의 구성도 및 구성요소

가. 람다 아키텍처의 구성도

- Batch Layer, Serving Layer, Speed Layer 3계층 구성의 연계를 통해 실시간 데이터 분석지원

나. 람다 아키텍처의 구성요소

구성요소

설명

Batch Layer

- 변하지 않을 데이터들에 대해 배치 작업을 통해 결과값 저장

- 데이터 업데이트도 반드시 배치 레이어의 배치 작업을 통해 수행

- 마스터 데이터 집합관리

- 배치 뷰 사전 연산 처리

Serving Layer

- 배치 작업을 통해 저장된 배치 뷰 조회

- 배치 뷰 인덱싱을 통해 낮은 대기시간과 Ad-hoc방식으로 데이터 처리

Speed Layer

- 실시간 데이터만 처리

- Serving Layer의 수정데이터 참조 지연을 줄이기 위해 사용

- 배치 작업을 통해 생성된 배치 뷰와 중복되지 않도록 처리

다. 람다 아키텍처의 데이터 처리 흐름

 

 

반응형

'IT기술노트 > 빅데이터' 카테고리의 다른 글

MongoDB  (0) 2021.03.01
CAP이론  (0) 2021.03.01
NoSQL(Not Only SQL)  (0) 2021.03.01
카파 아키텍처(Kappa Architecture)  (0) 2021.03.01
Apache Storm  (0) 2021.03.01
Apache Spark  (0) 2021.03.01
Map Reduce  (0) 2021.03.01
HDFS  (0) 2021.03.01

댓글