쥬코딩

EM EM은 통계 모델에서 매개 변수의 최대 가능성을 찾기 위한 반복적인 방법으로, 모델은 숨겨진(잠재적) 변수에 의존한다. -EM Algorithm ◼ expectation(E) 단계와 maximization(M) 단계를 번갈아 수행하면서 반복 ◼ (E) 단계는 모수에 대한 현재 추정치를 사용하여 평가되는 log-likelihood의 기대 함수를 생성 ◼ (M) 단계는 (E) 단계에서 발견되는 예상 log-likelihood를 최대화하는 모수를 계산 ◼ 이러한 모수 추정치는 다음 (E) 단계에서 숨겨진 변수의 분포를 결정하는 데 사용 - Hidden Parameter Problem and Solution ◼ 변수가 숨겨져있을 때 각 변수가 똑같이 선택될 가능성이 있다면 우리는 알려지지 않은 매개변수 '..

machine learning 2022. 12. 15. 12:04

Partitioning n개의 개체를 k개의 클러스터로 분할하고 선택한 분할 기준을 최적화한다. global optimal solution을 찾으려면 k^n개의 파티션을 검사해야 한다. 하지만 이것은 너무 비싸기 때문에 가능한 모든 부분 집합 중 작은 부분 집합만 고려하는 heuristic methods를 사용해야 한다. 한 클러스터의 제곱 오차 공식은 아래와 같다. 모든 클러스터의 제곱 오차 공식은 아래와 같다. 아래 그림은 클러스터 i의 오차를 계산한 것이다. 1. K-means - k-means Algorithm ◼ k개의 개체를 초기 클러스터로 임의로 선택 ◼ 클러스터가 변경되지 않을 때까지 반복 ◼ 각 개체 Oi에 대해 ◼ Oi와 k 중심체 사이의 거리 계산 ◼ 중심점이 Oi에 가장 가까운 클러..

machine learning 2022. 12. 15. 09:31

Clustering Quality Measure 1. Elbow Method ◼ K-Means Clustering 분석 결과에 적용된다. ◼ k의 후보 값 범위를 선택한 다음 K-Means를 적용한다. ◼ 군집에서 중심까지의 점의 평균 거리를 찾고 그래프로 나타낸다. ◼ 평균 거리가 급격히 떨어지는 그래프에서 k 값을 선택한다. -Picking the "Elbow" ◼ 그래프의 x축은 군집 수(k)이고 y축은 군집 내 중심점과 데이터 점 사이의 평균 거리이다. ◼ 군집 수(k)가 증가하면 평균 거리가 감소한다. ◼ 최적 군집 수(k)를 찾으려면 거리가 급격히 떨어지는 k값을 찾는다. ◼ "elbow"가 발생하는 지점이 최적의 k이다. ◼ k=2, 3과 4 사이에서 평균 거리가 급격히 떨어진다. ◼ 따라서..

machine learning 2022. 12. 14. 09:12

SVM *Characteristic ◼ SVM은 이진 분류기이다. ◼ SVM은 많은 실생활에서 성공적으로 사용되고 있다. 텍스트(및 하이퍼텍스트) 분류 이미지 분류 생물정보학(유전자 분류, 암) 손으로 쓴 문자 인식 ◼ SVM은 회귀 분석, 특이치 분석, 순위 등에 적용되었다. *Scatter Plot of Training Dataset 아래의 선형적으로 분리 가능한 2차원 dataset을 이용해 SVM을 적용해볼 것이다. 빨간색과 초록색을 분리하는 선은 무수히 많지만 그 중 두개를 보여주자면 다음과 같다. 빨간색과 초록색을 분리하는 선은 무수히 많지만 그 중 두개를 보여주자면 다음과 같다. 그리고 각 선은 classifier 또는 separating boundary 라고 한다. 아래 첫 번째 그림의 c..

machine learning 2022. 12. 13. 14:54

Logistic Regression *Characteristics ◼ Logistic Regression은 정규 선형 회귀 분석의 변형이다. ◼ Logistic Regression은 종속 변수가 이항(1 또는 0)인 데이터에 곡선을 적합시키는 데 사용된다. ◼ 독립 변수 Xi 집합과 이분법 범주형 종속 변수 Y 사이의 관계를 모델링한다. ◼ Linear Regression과 달리 Logistic Regression에서는 독립 변수와 종속 변수의 관계가 선형이라고 가정하지 않는다. ◼ 종속 변수나 오차항이 정규 분포를 따른다고 가정하지 않는다. ◼ Logistic Regression에서 Binary Logistic Model은 하나 이상의 독립 변수를 기반으로 이항 반응의 확률을 추정하는 데 사용된다. *..

machine learning 2022. 12. 13. 12:19

Decision Tree 1. Gini index 노드 t의 gini index를 구하는 공식은 아래와 같다. 데이터가 모든 클래스에 균등하게 분포되어 있는 경우가 Gini index의 최대값을 갖는다. 그 최대값은 (1 - 1/nc)이다. 모든 데이터가 하나의 클래스에 속할 때는 Gini index의 최소값인 (0.0)을 갖는다. 아래 표에서 가장 왼쪽에 있는 경우가 Gini index의 최소값을 가지고 있고, 가장 오른쪽에 있는 경우가 Gini index의 최대값을 가지고 있다. 왼쪽부터 차례대로 Gini index를 구하는 과정은 다음과 같다. P(C1) = 0/6 = 0 P(C2) = 6/6 = 1 Gini=1–P(C1)^2–P(C2)^2 =1–0–1=0 P(C1) = 1/6 P(C2) = 5/6..

machine learning 2022. 12. 12. 12:29

쿼드트리 특징 -degree가 4인 트리(각 사분면에 속하는 요소가 한 개일때까지 나눈다) -performance: O(log4n) -불균형 트리 위의 쿼드 트리의 노드를 각 사분면 별로 mapping해서 트리형식으로 표현하면 아래와 같다. (왼쪽부터 차례대로 1,2,3,4사분면) 쿼드트리에서 root노드는 실제로 존재하지 않지만 mapping하여 표현할 때는 root노드를 그려준다. 나뉘어진 사분면의 개수와 각 사분면에 있는 1의 개수를 세는 함수이다. char graph[25][25]; int region[625] = { 0, }; int quad(int i, int j, int n, int cnt) { graph[i][j] = 0; region[cnt]++; if (i - 1 >= 0 && grap..

자료구조 2022. 7. 12. 15:20

Dijkstra's algorithm: 방향그래프(directed graph)에서 한 노드에서 다른 노드까지 최소 비용을 갖는 길 찾기 performance of Dijkstra's algorithm: O(N^2) 아래 그래프에서 Dijkstra's algorithm을 이용하여 노드A에서 노드E까지 최소 비용을 갖는 길 찾기 1. 노드A에서 시작해서 가장 비용이 적은 노드를 선택한다. 2. 1번에서 선택한 노드를 거쳐서 더 비용이 적다면 그 비용을 다시 적는다.

자료구조 2022. 7. 11. 10:49