본문 바로가기

IT기술노트/빅데이터57

데이터 레이크 I. 조직 내/외부 대규모 수집데이터 저장소, 데이터 레이크의 개요 가. 데이터 레이크(Data Lake)의 정의 - 보고, 시각화, 분석, 기계학습 등 모든 부분에 활용 목적으로 원천 형태의 데이터 저장소이며, 조직 내/외부 수집데이터의 대규모 데이터 저장소 나. 데이터 레이크 목적 - 비정형 데이터의 폭증, 실시간 수집, 정제 통합 활용 방안, 원천 데이터 및 분석/서비스 II. 데이터 레이크 구조 및 기술요소 가. 데이터 레이크 구조 나. 데이터 레이크 기술요소 구분 기술요소 설명 데이터 수집기술 Bulk Data Movement Dynamic Data Movement - 배치, 스트림 등 실시간 서비스를 보장하는 소스데이터의 수집, 수집 파이프라인 생성, 실행, 관리가 가능한 수집기술 Data A.. 2021. 3. 1.
패스트 데이터 CEP, EDA, In-Memory DB I. 패스트 데이터의 개요 가. 패스트 데이터(Fast Data)의 정의 - 기업 비즈니스 환경에서 경쟁 우위를 확보하기 위해 빅데이터를 저장하고 분석하는 것을 넘어 데이터 발생시점에 실시간으로 처리하고 예측 가능하게 하는 데이터 분석기술 나. 패스트 데이터의 등장배경 - IoT 디바이스 급증, 실시간 기업(RTE) 지원, 기존 빅데이터 분석의 한계 II. 패스트 데이터의 프로세스 및 기술요소 가. 패스트 데이터의 프로세스 나. 패스트 데이터의 기술요소 프로세스 기술요소 설명 데이터 수집/실행 CEP - 대량의 스트리밍 데이터를 처리/분석하는 기술 EDA - 이벤트 기반으로 발생하는 데이터를 처리/분석하는 체계 저장 In-Memory DB - 디스크가 아닌 메모리.. 2021. 3. 1.
CQL(Continuous Query Language) 패스트데이터, 누적, 상호연관, 필터링, 패턴 매칭 I. CQL의 개요 가. CQL(Continuous Query Language)의 정의 - FAST DATA를 처리 및 분석하기 위한 SQL 기반 프로그래밍 언어 나. CQL의 주요기능 컴포넌트 특징 누적 (Aggregation) - 이벤트를 누적하여 관심 있는 결과물을 추출 - 예) 최근 1시간 동안 거래된 주식을 관찰하여 그 주식의 평균값 도출 상호연관 (Correlation) - 이벤트 간의 상관 관계를 분석하여 관심 있는 결과물을 추출 - 예) 특정 단어가 사용된 경우 그 단어와 함께 가장 많이 사용된 단어 추출 필터링 (Filtering) - 특정 조건에 부합되는 이벤트만 추출 - 예) 1시간 동안 거래된 주식을 관찰, 100만불 이상 한번에 .. 2021. 3. 1.
디지털 큐레이션 생성 > 이관 > 보존 > 이용 > 매체전환 > 처분폐기 I. 디지털 정보의 유지 및 가치 부여, 디지털 큐레이션의 개요 가. 디지털 큐레이션의 정의 - 디지털 자원을 제공, 보존, 유지, 수집, 아카이빙하는 것을 지칭하며, 넓게 보면 현재와 미래에 이용될 신뢰할 수 있는 디지털 정보를 유지하고 가치를 부여하는 행위 II. 디지털 큐레이션의 라이프사이클 및 활동 가. 디지털 큐레이션의 라이프사이클 나. 디지털 큐레이션의 활동 단계 활동 설명 생성 개념화 - 캡처 방법과 저장 옵션을 포함하는 데이터의 생성, 수집, 저장에 관한 표현과 계획 생성 또는 접수 - 관리, 설명, 기술, 구조 및 보존 메타데이터를 포함하는 데이터 생성 이관 평가 및 선정 - 데이터 평가 또는 장기 큐레이션을 위한 적합 여부 선정 .. 2021. 3. 1.
스마트 데이터 Agile, actionable, accurate I. 빅데이터의 한계 극복 스마트 데이터의 개요 가. 스마트 데이터 특징 - 정확성(Accurate), 행동성(Actionable), 민첩성(Agile) II. 스마트 데이터 관리 구성도와 구성요소 가. 스마트 데이터 관리 구성도 나. 스마트 데이터 관리 구성요소 요소 내용 데이터 브로커 시스템 - 데이터 생산자를 지원하기 위해 다양한 형태의 정형, 비정형 데이터의 공공, 민간 데이터와 데이터 셋을 저장소에 관리(데이터 저장소) 데이터 클린징 하우스 - 데이터 가공자와 데이터 저장소의 활용을 높이기 위해 데이터, 데이터셋, 데이터간 의미를 부여하고 연결하는 데이터 관리 서비스 제공 데이터 플랫폼 - 데이터 소비자를 위해 효과적인 데이터 공유와 재사용을 위.. 2021. 3. 1.
CEP(Complex Event Process) Event source, adapter, channel, process, cql query, application I. CEP의 개요 가. CEP(Complex Event Process)의 정의 - 여러 이벤트 소스로부터 발생한 스트림 데이터를 실시간으로 처리하는 빅데이터 분석의 핵심 기술 II. CEP의 구성도 및 구성요소 가. CEP의 구성도 나. CEP의 구성요소 구성요소 설명 Adapter - 인바운드 및 아웃바운드 데이터 인터페이스 - 이벤트 소스부터 스트림 데이터를 수신, 가공, 내부 이벤트 타입으로 변환을 담당하고 생성한 이벤트를 연결된 컴포넌트로 전달 Channel - 상/하위 컴포넌트의 비동기적 동작을 지원하는 쓰레드 풀과 관련된 큐 Processor - CEP 엔진의 인스턴스로 CQL .. 2021. 3. 1.
공공데이터 I. 공공데이터의 개요 가. 공공데이터의 정의 - 데이터베이스, 전자화된 파일 등 공공기관이 법령 등에서 정하는 목적을 위하여 생성 또는 취득하여 관리하고 있는 전자적 방식으로 처리된 자료 - 대한민국 공공 데이터 포탈: http://www.data.go.kr 나. 공공데이터 설치, 운영 근거 - 공공데이터의 제공 및 이용 활성화에 관한 법률 제 21조 - 공공데이터의 제공 및 이용 활성화에 관한 법률 제 3조에 기본원칙 명시 다. 공공데이터 제공 및 이용에 따르는 기본원칙 - 데이터 제공 : 이용권의 보편적 확대노력, 이용에 대한 평등의 원칙, 이용권 보장, 영리적 활용 보장 - 데이터 이용: 이용자의 의무 준수원칙 II. 오픈데이터의 조건 및 특징 - 조건 : 가용성과 접근성, 재사용과 재배포, 모두.. 2021. 3. 1.
반응형