티스토리

열쩡강쥐

검색하기

블로그 홈

열쩡강쥐

hye-z.tistory.com/m

공부하고.. 기록하고.. 멋진 어른이 되고..

구독자: 2

방명록 방문하기

주요 글 목록

클러스터링 평가 지표(Clustering Evaluation Metrics) 지도학습 -> labeled data 비지도 학습 -> unlabeled data를 통한 학습, e.g. clustering, constrative learning 비지도학습의 핵심은 알고리즘의 성능을 올바르게 측정하는 것. Clustering 평가 지표 1. Silhouette Score Silhouette score는 군잡 간 separation distance를 측정하는데 사용한다. 즉, 군집의 각 점이 인접한 군집의 점에 얼마나 가까운지 나타내는 측도를 표시한다. 측정값의 범위는 [-1, 1]이며 "similarities within clusters and differences across clusters"를 시각적으로 표현 가능하다. 실루엣 점수는 각 표본의 mean intra-cluster d.. 공감수 0 댓글수 0 2022. 9. 19.
부스팅 앙상블 (Boosting Ensemble): AdaBoost Taeyang Yang님의 블로그 와 StatQuest의 유튜브 를 참조하였다. AdaBoost AdaBoost(Adaptive Boosting)는 다양한 크기의 Stump로 이루어진 숲이다. 3 Concepts of AdaBoost Forest of stumps : weak learner로 구성된 숲 Different weights for each stump : Amount of Say의 양 Sequential : 각 stump의 에러가 다음 stump의 에러에 영향을 미친다. 1. Forest of stumps random forest에서는 개별 모델로 decision tree를 사용하는데 비해,AdaBoost에서는 개별 모델로 Stump 를 사용한다. Stump란 한 노드와 두 개의 가지를 갖는 d.. 공감수 0 댓글수 0 2022. 4. 5.
배깅 앙상블 (Bagging Ensemble): Random Forest 앙상블(Ensemble) 방법 중 배깅(Bagging)의 대표적인 예시인 Random Forest 알고리즘에 대해 정리한다. Random Forest 여러 개의 Decision tree들이 모여서 숲을 이룬다는 의미에서 Forest라고 부른다. 각 트리는 비교적 예측을 잘 할 수 있지만, 데이터의 일부에 대해 과대적합 하는 경향을 가진다는데 기초한다. 따라서 각 트리를 많이 만들어 그 결과를 평균내어 과대적합을 방지할 수 있다. 학습 방법 Bootstrap 주어진 데이터셋으로부터 random sampling을 통해 각 decision tree를 만들기 위한 subset 생성 (중복 허용) Decision Tree Bootstrap을 통해 생성된 각각의 데이터셋에 대한 Decision tree들을 구성 E.. 공감수 0 댓글수 0 2022. 4. 4.
앙상블 (Ensemble)의 개념 이 전 포스팅에서는 의사결정 나무의 여러 알고리즘을 정리하며 단점으로 과적합을 꼽았다. 과적합을 해결하기 위한 여러 방법 중 하나인 앙상블(Ensemble) 알고리즘을 설명하고 그 종류에 대해 알아보자. 앙상블(Ensemble) 앙상블은 여러가지 우수한 학습 모델을 조합해 예측력을 향상시키는 모델 장점: 단일 모델에 비해 분류 성능이 우수하다. 단점: 모델의 결과 해석이 어렵고, 예측 시간이 오래 소요된다. 많은 모델이 있기 때문에, 한 모델이 예측을 엇나가게 하더라도 어느 정도 보정이 되는 것이 장점이다. 즉, 보다 일반화(Generalized)된 모델이 만들어 지는 것이다. 단일모델로는 Decision tree, svm, deep learning model 등 모든 종류의 학습 모델이 사용될 수 있다.. 공감수 0 댓글수 0 2022. 4. 4.
의사결정 나무 (Decision Tree) ID3 알고리즘 본 포스팅에서는 기본적인 의사결정나무 알고리즘에 대한 설명은 제외하고 ID3에 대한 특이점만 다룰 것이다. Taeyang Yang님의 블로그의 글을 대부분 참조하였다. ID3 알고리즘 ID3 알고리즘은 Iterative Dichootomiser 3의 약자이다. Dichotomiser는 "이분하다"는 뜻의 프랑스어로, 반복적으로 이분하는 알고리즘이라고 할 수 있다. 이 전 포스팅에서 의사결정 나무의 분기는 불순도(impurity) 값이 작은 방향으로 이루어진다고 설명했다. ID3 알고리즘은 불순도 값으로 엔트로피(entropy)를 사용한다. 이는 독립변수가 모두 범주형일때만 가능하다는 단점이 있다. (연속형 변수도 가능하도록 발전한것이 C4.5 알고리즘이다.) ID3의 impurity : 엔트로피(Entr.. 공감수 0 댓글수 0 2022. 4. 4.
의사결정나무, Decision Tree 분류(classification)과 회귀(regression)문제를 풀기 위한 다양한 종류의 머신러닝 모델이 존재한다. 이 때, 단일 모델을 사용하는 대신 여러 모델을 특정 방식으로 조합하면 성능이 더 나아지는 경우가 있다. 배깅(bagging) 부스팅(boosting) 여러 모델 중 하나의 모델을 선책해서 예측을 시행 ex) decision tree(의사결정나무) 오늘은 이 중에서 decision tree(의사결정나무)에 대해 알아볼 것이다. 모델 소개 의사결정 나무는 데이터를 분석하여 이들 사이에 존재하는 패턴을 예측 가능한 규칙들의 조합으로 나타내며, 그 모양이 '나무'와 같다고 해서 의사결정나무라 불린다. 질문을 던져서 대상을 좁혀 나가는 스무고개 놀이와 비슷한 개념이다. 초기 지점은 root n.. 공감수 0 댓글수 0 2022. 4. 4.
분산과 편향 차이 이해하기 (bias vs variance) 편향-분산 트레이드오프(bias-variance trade-off)는 지도학습에서 에러를 처리할 때 중요하게 생각하는 요소인만큼 종종 헷갈리는 개념인 bias와 variance에 대해 다루어보려 한다. Notation $f(x), \hat{f}(x), E[\hat{f}(x)]$의 뜻에 대해 알아보자. $f(x)$ : 입력 데이터 $x$에 대한 실제 target 값 $\hat{f}(x)$ : 머신러닝 모델의 output, prediction value. 모델의 파라미터에 따라 다양한 값들을 출력할 수 있음 $E[\hat{f}(x)]$ : $\hat{f}(x)$의 기댓값 = 대표 예측값 Bias vs Variance 편향(bias) : 예측값과 실제 정답과 차이의 평균 예측이 정답에서 얼마나 떨어져 있는지를.. 공감수 0 댓글수 0 2022. 4. 4.
선형회귀(Linear Regression), Lasso, Ridge 이해하기 선형회귀(Linear Regression) 단순 선형 회귀(simple linear regression) : $\hat{y} = W x + b$ 다중 선형 회귀(multiple linear regression) : $\hat{y} = \Sigma_{i=1}^n W_i x_i + b$ lasso와 ridge는 선형 회귀의 단점으 보완해 범용성(generization)을 제공한다. 선형회귀 최적화 평균 제곱 오차(Mean Squared Error, MSE) loss function 다중 회귀 모형은 과적합(overfitting) 되는 경향이 존재한다 -> 일반화 능력이 떨어짐, test 데이터에 대한 예측 성능이 하락함 => Lasso, Ridge 사용 underfitted vs good fit(robust.. 공감수 2 댓글수 0 2022. 3. 31.
clustering 평가 방법 (RI, rand index) Rand Index (RI) adjusted rand index는 클러스터의 타깃값을 아는 경우에 사용하는 평가 방법 (supervised inference?) given $S = {o_1, ..., o_n}$, S의 두개의 partition이 존재. $X={X_1, ..., X_r}$ a partition of $S$ into $r$ subset $Y={Y_1, ..., Y_r}$ a partition of $S$ into $s$ subset ${\displaystyle a}$, the number of pairs of elements in $S$ that are in the same subset in $X$ and in the same subset in $Y$ ${\displaystyle b}$, t.. 공감수 0 댓글수 0 2022. 3. 7.
레이블인코딩(Label Encoding) vs 원핫인코딩(One-hot Encoding) 비교 컴퓨터는 인간의 언어를 이해하지 못한다. 우리가 컴퓨터에 한글을 입력한다 해도 컴퓨터가 받아들이는 것은 0과 1의 이진수로 이해를 하게된다. 따라서 우리가 머신러닝/딥러닝을 할 때 문자열의 값들을 숫자형으로 인코딩하는 전처리 단계가 필요하다. 인코딩 방식으로는 레이블 인코딩(Label encoding), 원-핫 인코딩(One-hot encoding) 두 가지 방식이 있다. 그렇다면 어떤 인코딩 방식을 써야할까? Label Encoding Label Encoding이란 문자열의 unique값을 숫자로 바꿔주는 방법이다. from sklearn.preprocessing import LabelEncoder fruit=['바나나', '사과', '사과', '포도', '딸기', '포도', '바나나'] print(s.. 공감수 3 댓글수 0 2022. 2. 28.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.