Machine Learning10 의사결정 나무 (Decision Tree) ID3 알고리즘 본 포스팅에서는 기본적인 의사결정나무 알고리즘에 대한 설명은 제외하고 ID3에 대한 특이점만 다룰 것이다. Taeyang Yang님의 블로그의 글을 대부분 참조하였다. ID3 알고리즘 ID3 알고리즘은 Iterative Dichootomiser 3의 약자이다. Dichotomiser는 "이분하다"는 뜻의 프랑스어로, 반복적으로 이분하는 알고리즘이라고 할 수 있다. 이 전 포스팅에서 의사결정 나무의 분기는 불순도(impurity) 값이 작은 방향으로 이루어진다고 설명했다. ID3 알고리즘은 불순도 값으로 엔트로피(entropy)를 사용한다. 이는 독립변수가 모두 범주형일때만 가능하다는 단점이 있다. (연속형 변수도 가능하도록 발전한것이 C4.5 알고리즘이다.) ID3의 impurity : 엔트로피(Entr.. 2022. 4. 4. 의사결정나무, Decision Tree 분류(classification)과 회귀(regression)문제를 풀기 위한 다양한 종류의 머신러닝 모델이 존재한다. 이 때, 단일 모델을 사용하는 대신 여러 모델을 특정 방식으로 조합하면 성능이 더 나아지는 경우가 있다. 배깅(bagging) 부스팅(boosting) 여러 모델 중 하나의 모델을 선책해서 예측을 시행 ex) decision tree(의사결정나무) 오늘은 이 중에서 decision tree(의사결정나무)에 대해 알아볼 것이다. 모델 소개 의사결정 나무는 데이터를 분석하여 이들 사이에 존재하는 패턴을 예측 가능한 규칙들의 조합으로 나타내며, 그 모양이 '나무'와 같다고 해서 의사결정나무라 불린다. 질문을 던져서 대상을 좁혀 나가는 스무고개 놀이와 비슷한 개념이다. 초기 지점은 root n.. 2022. 4. 4. 분산과 편향 차이 이해하기 (bias vs variance) 편향-분산 트레이드오프(bias-variance trade-off)는 지도학습에서 에러를 처리할 때 중요하게 생각하는 요소인만큼 종종 헷갈리는 개념인 bias와 variance에 대해 다루어보려 한다. Notation $f(x), \hat{f}(x), E[\hat{f}(x)]$의 뜻에 대해 알아보자. $f(x)$ : 입력 데이터 $x$에 대한 실제 target 값 $\hat{f}(x)$ : 머신러닝 모델의 output, prediction value. 모델의 파라미터에 따라 다양한 값들을 출력할 수 있음 $E[\hat{f}(x)]$ : $\hat{f}(x)$의 기댓값 = 대표 예측값 Bias vs Variance 편향(bias) : 예측값과 실제 정답과 차이의 평균 예측이 정답에서 얼마나 떨어져 있는지를.. 2022. 4. 4. 선형회귀(Linear Regression), Lasso, Ridge 이해하기 선형회귀(Linear Regression) 단순 선형 회귀(simple linear regression) : $\hat{y} = W x + b$ 다중 선형 회귀(multiple linear regression) : $\hat{y} = \Sigma_{i=1}^n W_i x_i + b$ lasso와 ridge는 선형 회귀의 단점으 보완해 범용성(generization)을 제공한다. 선형회귀 최적화 평균 제곱 오차(Mean Squared Error, MSE) loss function 다중 회귀 모형은 과적합(overfitting) 되는 경향이 존재한다 -> 일반화 능력이 떨어짐, test 데이터에 대한 예측 성능이 하락함 => Lasso, Ridge 사용 underfitted vs good fit(robust.. 2022. 3. 31. 이전 1 2 3 다음
