패턴 인식

주어진 데이터의 집합에 대해 입력값을 바탕으로 하는 Classification. MNIST 처럼 이미지에서 숫자를 도출하는 것도 좋은 예

• 구조적 방법 : 1은 하나의 직선에 가깝고 8은 원 두개.
• 템플릿 매칭 : 패턴의 원형을 저장해 두고 데이타간의 거리를 계산
• 기계학습

패턴 인식과 관련된 개념

1. 분류와 군집화

분류( Classification ) : MNIST로 숫자를 맞추는 형태

• 베이지안 분류기, K 근접 이웃, 다층 퍼셉트(MLP), 서포트 벡터 머신
• 지도학습

군집화( Clustering ) : 특성 고객층을 하나의 기준으로 분류하기 보다는 여러가지 기준이지만 뭉뚱그리는 것

• K 편균 클러스터링, 계층적 군집화, 자기조직화 특징맵(SOM)
• 비지도 학습

2. 데이터와 데이터 분포

여러가지 데이터들은 결국 컴퓨터에서 다루어질 수 있게 수치로 표현 되어야 한다. 이 숫자들을 1차원으로 나열하면 벡터, 차원이 높아지면 행렬이 되는데 이런 모임을 Tensorflow에서는 tensor 라고 지칭하고 딥러닝의 과정이 이 tensor가 움직이면서 나타나서 Tensorflow 를 이루게 된다.

• 표본집합 추출
• 특징추출
• 분류와 결정경계

분류율과 오차

학습 오차 : 학습데이타에 대하여 분류 오차를 계산한 것

테스트 오차 : 실제 데이타의 오차

일반화 오차 : 확률분포함수를 이용한 분포에 따른 평균 오차값. 테스트 오차가 절대값 수치 미적용에 따른 왜곡을 가질 수 있으므로 사용한다

교차검증법을 통해 오차값을 얻어내기도 한다

3. 과다 적합(overfitting)

• Classifier가 학습데이타에 대해서만 지나치게 적합한 형태로 결정경계를 형성하는 경우. train데이타의 범주를 벗어나는 경우는 제대로 분류하지 못하는 경우.
• Machine Learning 스터디 (3) Overfitting

4. 활용분야

• 문자 인식
• 생체인식
• 금융데이터
• 생물정보
• 뇌 신호 처리
• 영상처리
• 뇌 신호 처리

By Keen Dev on March 18, 2017.

Exported from Medium on May 31, 2017.

원문은 아래에 지속적으로 업데이트

ehrudxo/til
_til - today I learned. 오늘 공부한것을 위키 형식으로 적기시작 해봄._github.com

수학은 워낙 넓으니까 선형대수를 다 다시 공부할 수도 없고… 주로 나오는 것만 위주로 나열하기로 함.

딥러닝에 왜 이런 여러가지가 나오는지를 먼저 이해하는 것이 중요함. 다른 대부분의 강의나 튜토리얼은 그런 설명없이 바로 수식을 전개함. 너무 간단해서 언급을 안하는 거 같은데, 나 같은 더미를 위해서 이야기 하면 딥러닝을 통해 머신이 내리는 결정은 대부분이 통계와 수학식을 통해 전개됨.

통계를 위해서는 확률을 알아야 하고 이 결정을 위한 확률의 기본이 베이즈 이론이라고 보면 됨. 이후 여러가지 알고리즘과 방법들이 나오는 것도 결국 이 확률이론이 토대가 된다.

뉴럴 네트워크가 들어가는 경우는 부분에 쓰이는 수학은 변수와 모델의 통제라는 측면에서 미분 그 중에서도 편미분이 중요하고 레이어의 계산이 한꺼번에 이루어지는 관점에서는 행렬식이 너무나 중요하다. 정도로만 개념을 잡고 (일단은) 넘어가면 된다.

결국은 문제를 어떻게 정의하는가가 핵심이고 그 문제를 푸는 방법으로써의 딥러닝이 각광을 받고 있다고 보면 내가 가지고 있는 해결해야 하는 문제들을 수학적으로 어떻게 정의하는지를 알아야 하는 것이 첫번째, 그리고 그것을 해결하는 다양한 방법들을 배우는 것을 두번째라고 생각하면 된다.

일단 확률에 대해서 알아보자.

조건부 확률

• P(Y=y|X=x) : 구름(X)이 꼈을때(true) 비(Y)가 올 확률을 의미함. — 출처 위키피디아 : 조건부 확률
• P(E|F) = P(E and F)/P(F)
• 곱셈 정리 : P(E and F) = P(E|F) * P(F)
• 치환 정리 : P(E|F) * P(F) = P(F|E) * P(E)

한 개의 주사위를 두 번 던질 때 합이 3이 나올 확률 vs 두 개의 주사위를 던져서 합이 3이 나올 확률 :

• (1/6*1/6)/1/6 = 1/6 vs 2/36 = 1/18
• 표본 공간이 바뀌었다(축소 표본 공간)

1개의 주사위를 네번 굴려서 6이 한번 나오는 경우 vs 2개의 주사위를 24번 굴려서 동시에 6이 한번 나오는 경우 ( 드 메레 문제 )

• 여사건 정의(1-P(E))를 통해서 풀어야 하는데 그 이유는 처음에 6이 나오면 표본공간 자체가 필요없어지기 때문에 절대 안나오는 확률을 기준으로 계산을 한 다음에 여사건 정의로 푼다 1-(5/6)⁴ = 0.518 : 같은 방법.
• 표본공간을 확보하는 것이 관건
• 2개의 주사위를 굴려서 동시에 안 나오는 경우는 1 -(35/36)²⁴ = 0.491 — “세상에서 가장 재미있는 통계학”

베이즈 정리

• 개요 : 베이즈 정리는 1740년대의 영국의 목사인 토머스 베이즈(Thomas Bayes)가 정립한, 조건부 확률에 대한 수학적 정리이다. 사건 A가 있고 사건 B가 있을 때 사건 B가 일어난 것을 전제로 한 사건 A의 조건부 확률을 구하고 싶다. 그런데 지금 알고 있는 것은 사건 A가 일어난 것을 전제로 한 사건 B의 조건부 확률, A의 확률, B의 확률뿐이다. 그럴 때 다음과 같이 구할 수가 있다. 출처 : 나무위키 .
• 조금 더 수식으로 풀어 쓰면

출처 나무 위키 베이즈 정리

• 인구 1000명당 한 명꼴로 걸리는 희귀병. 병에 걸린 사람의 경우는 90% 양성, 건강한 사람의 2% 가 양성 -> 양성반응을 보인 사람의 병에 걸릴 확률은?
• 즉, 인간의 사고는 처음에는 아무 정보가 없던 상태에서 새로운 정보를 받아들이고, 이를 통해 자신이 가지고 있던 일종의 사전 확률 체계를 업데이트시켜 세상을 해석하거나 판단을 내리고 의사결정을 하는 방향으로 발전되어 왔다는 것이다. 그리고 이렇게 발전된 사후 확률 체계는 새로운 사전 확률이 되어, 새로운 정보가 유입될 때마다 업데이트를 반복해간다. — 나무위키 인지과학 및 인공지능에서의 베이즈 정리

By Keen Dev on March 13, 2017.

Exported from Medium on May 31, 2017.