![Tree
& advantages
1. 이해하기 쉽다: 씹고 뜯고 맛보고 즐기고 [White box]
2. 데이터 정제가 크게 필요하지 않다: 바로 넣자
3. numerical, categorical 가리지 않는다: 그냥 넣자
4. 데이터가 어떤 패턴인지 볼 때 편하다: 넣어봐](https://image.slidesharecdn.com/thetreeslideshare-170922160319/75/Decision-Tree-Intro-72-2048.jpg)
![Tree
& advantages
1. 이해하기 쉽다: 씹고 뜯고 맛보고 즐기고 [White box]
2. 데이터 정제가 크게 필요하지 않다: 바로 넣자
3. numerical, categorical 가리지 않는다: 그냥 넣자
4. 데이터가 어떤 패턴인지 볼 때 편하다: 넣어봐](https://crownmelresort.com/image.slidesharecdn.com/thetreeslideshare-170922160319/75/Decision-Tree-Intro-72-2048.jpg)
More Related Content
![[211] 네이버 검색과 데이터마이닝](https://cdn.slidesharecdn.com/ss_thumbnails/211-150915001301-lva1-app6891-thumbnail.jpg?width=640&height=640&fit=bounds)
![[SOPT] 데이터 구조 및 알고리즘 스터디 - #04 : 트리 기초, 이진 트리, 우선순위 큐](https://cdn.slidesharecdn.com/ss_thumbnails/4-151013103145-lva1-app6892-thumbnail.jpg?width=640&height=640&fit=bounds)
![[분석]텔레마틱스를 이용한 자동차 운전자 프로필 생성](https://cdn.slidesharecdn.com/ss_thumbnails/random-151119122606-lva1-app6891-thumbnail.jpg?width=640&height=640&fit=bounds)
Similar to Decision Tree Intro [의사결정나무]
![Random Forest Intro [랜덤포레스트 설명]](https://cdn.slidesharecdn.com/ss_thumbnails/theforestslideshare-170924111713-thumbnail.jpg?width=640&height=640&fit=bounds)
![Neural Network Intro [인공신경망 설명]](https://cdn.slidesharecdn.com/ss_thumbnails/neuralnetworkfinale-170924112506-thumbnail.jpg?width=640&height=640&fit=bounds)
Decision Tree Intro [의사결정나무]
- 1. 김현우 a.k.a 순록킴 yBigTa9기 심리학 & 컴퓨터과학
- 2.
- 3. the Tree Contents {decision tree, RSS, Gini, pruning };
- 5.
- 6.
- 7.
- 8.
- 9.
- 10. 6 2 8 1 94 Treeas a Data Structure Binary Search tree Red-Black tree AVL tree 2,4 tree Heap
- 11.
- 12.
- 13. Decision Tree Regression &Classification
- 14.
- 15. Predicting Baseball players’ Salary (logtransformed)
- 16. Predicting Baseball players’ Salary (logtransformed)
- 17. Decision Tree a top-down,greedy approach
- 19.
- 20.
- 21.
- 22.
- 23. How it works R1 R2R3 R1 R3 R2
- 24.
- 25. Splitting criterion, Regression RSS,Residual Sum of Squares : 잔차 제곱의 합 SSE, Sum of Squared Errors of prediction minimize
- 26. Splitting criterion, Regression RSS,Residual Sum of Squares: 잔차 제곱의 합 한 영역 안의 평균 데이터 하나 한 영역 안에서, 데이터들과 그 평균 간의 차이 의 합 모든 영역에서, 그 값들의 합들의 합 2
- 27. How it works R1 R2R3 R1 R3 R2
- 28. Splitting criterion, Regression RSS,Residual Sum of Squares: 잔차 제곱의 합 한 영역 안의 평균 데이터 하나 한 영역 안에서, 데이터들과 그 평균 간의 차이 의 합 모든 영역에서, 그 값들의 합들의 합 2
- 29. Decision Tree, Regression RSS,Residual Sum of Squares: 잔차 제곱의 합 1. Select predictor(변수) X and cutpoint(분할 기준점) t that split the predictor space into the regions { X | X < t } and { X | X >= t } 2. Select the ones that leads to the greatest possible reduction in RSS RSS를 가장 크게 감소시키는 X와 t를 고르자 == Select the one among the resulting trees that has the lowest RSS 어떤 X와 어떤 t를 고르는지에 따라 다양한 tree시나리오가 만들어질텐데 그 중에서 RSS가 가장 작게 나오는 tree시나리오를 고르는 알고리즘
- 30.
- 31.
- 32.
- 33. Predicting Iris Data with 2variables: Petal length, width
- 34. Predicting Iris Data with 2variables: Petal length, width
- 35.
- 36.
- 37. Splitting criterion, Classification Classificationerror rate Resubstitution error
- 38. Splitting criterion, Classification Giniindex: measure of impurity 불순도 The proportion of training observations in the m-th region that are from the k-th class ‘영역 m’에서 ‘분류 k’에 해당하는 데이터의 비율 ‘영역 m’에서 ‘분류 k’에 해당하지 않는 데이터의 비율
- 39. Splitting criterion, Classification Classificationerror rate Resubstitution error
- 40. Splitting criterion, Classification Giniindex: measure of impurity 불순도
- 41. Splitting criterion, Classification Giniindex: measure of impurity 불순도 minimize
- 42. Splitting criterion, Classification Giniindex: measure of impurity 불순도 ‘영역 m’에서 ‘분류 k’에 해당하지 않는 데이터의 비율 The proportion of training observations in the m-th region that are from the k-th class ‘영역 m’에서 ‘분류 k’에 해당하는 데이터의 비율
- 43. Splitting criterion, Classification Giniindex: measure of impurity 불순도 가 0이나 1에 가까울수록..?
- 44. Splitting criterion, Classification Giniindex: measure of impurity 불순도 weight * 전체 데이터 개수 대비 노드 안에 있는 데이터 개수의 비율
- 45.
- 46. Splitting criterion, Classification Giniindex: measure of impurity 불순도 minimize
- 47. Splitting criterion, Classification Giniindex: measure of impurity 불순도 직접 해봅시다
- 48. Split on GenderSplit on Class X / XI
- 49. Splitting criterion, Classification Giniindex: measure of impurity 불순도 Split on Gender Students: 30 Play Overwatch: 15 (50%) Students: 10 Overwatch: 2 (20%) Students: 20 Overwatch: 13 (65%) Girl Boy
- 50. Splitting criterion, Classification Giniindex: measure of impurity 불순도 Split on Gender Students: 30 Play Overwatch: 15 (50%) Students: 10 Overwatch: 2 (20%) Students: 20 Overwatch: 13 (65%) ( 0.2 * 0.8 + 0.8 * 0.2 ) * 0.33 ( 0.65 * 0.35 + 0.35 * 0.65 ) * 0.66 + = 0.4 Girl Boy
- 51. Splitting criterion, Classification Giniindex: measure of impurity 불순도 Split on Class Students: 30 Play Overwatch: 15 (50%) Students: 14 Overwatch: 6 (43%) Students: 16 Overwatch: 9 (56%) 10th 11th
- 52. Splitting criterion, Classification Giniindex: measure of impurity 불순도 Split on Class Students: 30 Play Overwatch: 15 (50%) Students: 14 Overwatch: 6 (43%) Students: 16 Overwatch: 9 (56%) ( 0.43 * 0.57 + 0.57 * 0.43 ) * 0.47 ( 0.56 * 0.44 + 0.44 * 0.56 ) * 0.53 + = 0.49 10th 11th
- 53. Splitting criterion, Classification Giniindex: measure of impurity 불순도 Split on Gender Students: 30 Play Overwatch: 15 (50%) Students: 10 Overwatch: 2 (20%) Students: 20 Overwatch: 13 (65%) Girl Boy
- 54.
- 55. Stopping criterion 1. Thenode is pure 2. There are fewer observations than MinLeafSize 3. The algorithm splits MaxNumSplits
- 56.
- 57. Overfitting Algorithm becoming toospecific to the data you used to train it. It cannot generalize very well to the data you haven’t given it before.
- 58.
- 59.
- 60.
- 61.
- 62.
- 63.
- 64.
- 65. Tree constructing → Stop Split Split Split SplitSplit Split SplitSplit Split Split Split → Prune
- 66.
- 67. Decision Trees CART Classificationand Regression Tree C5.0 CHAID
- 68.
- 69. Tree & Linearity Unlikelinear models, they map non-linear relationships quite well
- 70.
- 71. Tree & Non-linearity Set ofLogistic regressions
- 72. Tree & advantages 1. 이해하기쉽다: 씹고 뜯고 맛보고 즐기고 [White box] 2. 데이터 정제가 크게 필요하지 않다: 바로 넣자 3. numerical, categorical 가리지 않는다: 그냥 넣자 4. 데이터가 어떤 패턴인지 볼 때 편하다: 넣어봐
- 73. Tree & disadvantages 1. Overfitting 2.연속된 수치 값에는 좀 약한 모습이…
- 74.
- 75.
- 76.