IT기술노트/인공지능47 Gradient I. Gradient의 개요 가. Gradient의 정의 - 텐서 연산의 변화율로 입력벡터 x, 가중치행렬 w, 타겟 y, 손실함수 loss가 있다고 가정하면 y-pred와 y-사이에 오차 계산 가능 나. Gradient의 개념도 - y_pred = dot(W, x) - loss_value = loss(y_pred, y) - loss_value = f(W) - W의 현재 값이 W0이면 W0에서 f(W0)의 변화율은 gradient(f)(W0) 즉, W0에서의 f(W)의 기울기 텐서. 따라서 변화율의 반대방향으로 x를 조금만 움직이면 f(x)의 값을 감소시킬 수 있다. 2021. 3. 6. 손실함수(Loss Function) I. 손실함수의 개요 가. 손실함수(Loss Function)의 정의 - 신경망의 지도학습에서 학습 데이터에 대한 오차를 측정하는 척도 나. 손실함수의 사용목적 - 신경망에서 가중치와 편향을 최적화 할 때 손실함수의 값을 가능한 작게 하는 값을 찾는다. - 이때 미분(기울기)을 활용하고, 그 미분 값을 단서로 가중치와 편향 값을 서서히 갱신한다. II. 손실함수의 종류 종류 설명 평균 제곱 오차 MSE (Mean Squared Error) - 각 원소의 출력과 정답 레이블의 차의 제곱에 평균을 취한 것 - 정답의 출력과 정답이 아닌 출력의 오차를 모두 계산 교차 엔트로피 오차 - 정답이 아닌 출력 노드의 레이블 값은 0이므로 정답일 때의 출력만 전체 손실 값을 정하는데 사용 - 자연로그 그래프 - x가 .. 2021. 3. 6. exclusive OR 연산 I. Exclusive OR 연산 문제 극복, 주요 알고리즘 및 딥러닝의 발전 방향 인공신경망/딥러닝의 발전 주요 이슈 다층 퍼셉트론/아달리안 등장 - XOR연산, 패리티비트 문제 극복 Dropout - Gradient Vanishing 문제 해결 ReLU 함수 - 기존 처리데이터 양 감소, 처리시간 단축 2021. 3. 6. 활성화 함수 항등함수, 경사함수, 계단함수, 시그모이드 함수, Tanh 함수 ReLU 함수 I. 활성화 함수의 개요 가. 활성화 함수의 정의 - 입력 정보의 합성값을 은닉층이나 출력층으로 전달하기 위해, 일정 범위의 결합 값으로 전환하여 전달하는 함수 - 분류: 단극성/양극성, 선형/비선형, 연속/이진 나. 활성화 함수의 유형 유형 도식 설명 항등 함수 - 양극성 - 선형연속 함수 - 입력의 가중합이 그대로 출력 경사 함수 - 단극성 - 선형연속 함수 계단 함수 - 단극성 또는 양극성 - 이진 함수 - 디지털 형태의 출력이 요구되는 경우 주로 사용 시그모이드 함수 - 단극성 또는 양극성 - 비선형 연속 함수 Tanh 함수 - 쌍곡 탄젠트 함수 ReLU 함수 - 0 이하 입력은 0 출력 부분 활성화 - 선형함수, 미분.. 2021. 3. 6. 퍼셉트론(Perceptron) I. 퍼셉트론의 개요 가. 퍼셉트론(Perceptron)의 정의 - 다수의 binary 입력값으로 이루어진 입력층에서 하나의 binary 출력값을 내기 위한 신경망 모델을 기초로 하는 학습 알고리즘 - 시각과 뇌의 기능을 모델화한 학습기능과 지적 동작기능을 가진 패턴 인식 기계 II. 단층 퍼셉트론 센서층 - 단순히 환경의 센서 역할을 담당 결합층 - 센서층에서 생성된 신호들을 결합층과 연결 반응층 - 학습을 담당하는데 결합층과 반응층 사이의 연결들은 가변적인 연결 강도로 이루어짐 - 한계: 퍼셉트론의 신뢰성 할당 문제, 세 개 이상의 패턴 입력 시 처리 불가능 III. 다층 퍼셉트론 가. 다층 퍼셉트론의 정의 - 입력층과 출력층 사이에 하나 이상의 은닉층을 가지는 전방향 신경회로망 나. 다층 퍼셉트론의.. 2021. 3. 6. MCTS(Monte Carlo Tree Search) 선택, 확장, 시뮬레이션, 역전파, 경로탐색, 알파고 I. 인공지능 알파고의 탐색 알고리즘, MCTS의 개요 가. MCTS(Monte Carlo Tree Search)의 정의 - 최소, 최대 알고리즘의 성능을 개선하여 전체 경로 탐색이 불가능 할 때 효율적 경로 탐색이 가능한 알고리즘 II. MCTS의 동작방식과 주요정책 가. MCTS의 동작방식 구분 설명 동작 개념도 동작단계 선택à확장à시뮬레이션à역전파 - 선택 단계에서 게임이 종료할 때까지 랜덤 선택만 하는 순수 MCTS방식은 탐색 깊이가 깊어져 옳은 해를 찾을 수 있지만 탐색 속도는 느려 짐 나. MCTS의 주요정책 및 적용을 위한 3조건 구분 상세설명 주요 정책 Tree Policy - 이미 존재하는 서치 트리에서 Leaf노드 선택하거나 생성 정.. 2021. 3. 6. Feed Forward Model I. Feed Forward Model의 개요 가. Feed Forward Model(전방 전달 신경망)의 정의 - 입력층으로 데이터가 입력되고, 1개 이상으로 구성되는 은닉층을 거쳐서 마지막에 있는 출력층으로 출력 값을 내보내는 과정 나. Feed Forward Model의 유형 - Feedback Control, Feed Forward Control II. Feed Forward Model의 구성도 및 구성요소 가. Feed Forward Model의 구성도 - Feed Forward Model은 다른 신경망과 달리 출력된 정보가 다시 Input 되는 순환 Cycle 존재 없이 한 방향으로 전달 나. Feed Forward Model의 구성요소 구성요소 설명 Input Layer - 입력 변수 대응 .. 2021. 3. 6. Q-러닝 강화학습, Model-Free, Q함수, 벨만 방정식, 마르코프 가정 I. Q-러닝의 개요 가. Q-러닝(Q-Learning)의 정의 - 특정한 상태에 놓여있을 때 취할 수 있는 각각의 행동에 대한 효용(Q)값을 미리 계산하여, 마르코프 의사결정 과정에서 최적의 정책을 찾는 강화학습 방법 II. Q-러닝의 프로세스 및 구성요소 가. Q-러닝의 프로세스 프로세스 설명 1) Value table Q(상태, 액션) 초기화 2) 현재 상태에 대한 관찰 수행 3) 액션 선택 정책에 기반하여 현재 상태에 맞는 액션 선택 4) 새로운 상태와 보상에 대한 관찰 5) 보상에 대한 관찰 및 다음 상태에서의 보상 최대치 업데이트 6) 새로운 상태 설정 및 반복 수행 - 보상에 의한 정책에 따라 액션을 수행하고, 보상의 측정.. 2021. 3. 6. 은닉 마르코프(HMM, Hidden Markov Model) I. 은닉 마르코프 모델의 개요 가. 은닉 마르코프(HMM, Hidden Markov Model)의 정의 - 관측될 수 없는 은닉 상태를 관측이 가능한 결과를 통하여 모델링하는 이중 확률론적 모델 나. HMM의 기반이 되는 마르코프(MM) 모델의 가정 - 특정 사건이 관측될 확률은 이전 시간 관측 결과에 의존하며, 상태를 직접 볼 수 없음 II. 은닉 마르코프 모델의 기본 모델도와 유형 및 구성요소 가. 은닉 마르코프 모델의 기본 모델도와 유형 항목 설명 기본 모델도 HMM 유형 Ergodic - 모든 상태가 연결, 상태간 확률 연계 - 순환모델 Left to Right - 상태 전이가 순차 발생 - 일자형 모델 - 은닉상태/관찰가능상태 집합, 상태전이/관찰확률 행렬 및 파이 벡터기반 HMM 모델링 나... 2021. 3. 6. R-CNN I. R-CNN의 개요 가. R-CNN의 정의 - Image classification을 수행하는 CNN 과 이미지에서 물체가 존재할 영역을 제안해 주는 Region proposal 알고리즘을 연결하여 높은 성능의 Object detection을 수행하는 알고리즘 II. R-CNN의 객체탐지절차 및 기술요소 가. R-CNN의 객체탐지절차 - Region Proposal, CNN, SVM 알고리즘의 조합을 통해 객체 탐지 수행 나. R-CNN의 기술요소 기술요소 역학 설명 Region Proposal - 최대 2K의 영역제한 - Selective Search 알고리즘 사용, 물체 존재 영역 제안 Warped region - 이미지 Crop - CNN을 수행하기 위해 동일 사이즈 이미지 전처리 CNN - F.. 2021. 3. 5. 이전 1 2 3 4 5 다음 반응형
