실습 1차시 - ZeroR, OneR, Naive Bayes Classifier¶

실습 내용:¶

1. ZeroR
2. OneR
3. Naive Bayes classifier

실습 데이터¶

1. ZeroR¶

ZeroR은 가장 간단한 분류 방법이며, 다른 모든 feature들을 무시하고 label에만 의존합니다.

ZeroR 분류기는 단순히 데이터의 class를 다수 카테고리로 예측합니다.

ZeroR에는 예측 능력이 없지만, 이것은 표준 성능을 가늠하여 다른 분류 방법 성능의 기준점이 됩니다.

<img src=https://www.saedsayad.com/images/ZeroR_3.png>

위의 데이터셋에서 "Play Golf = Yes"로 예측하는 ZeroR모델의 정확도는 0.64가 됩니다.

OneR¶

OneR은 One Rule의 약자이며, 간단하고 정확한 분류 알고리즘입니다.

OneR은 데이터의 각 feature 마다 하나의 룰 셋(Rule Set)을 생성합니다. 그리고 생성된 룰 셋 중에서, 전체데이터에 대해 오차가 가장 작은 룰 셋을 One Rule로 결정합니다.

각 feature당 룰 셋은 frequency table을 이용하여 만들 수 있습니다.

OneR Algorithm

각 feature 마다,
    각 feature의 value 마다, 룰을 아래와 같이 만듭니다.
        그 feature의 value에 해당되는 instance중에 target class가 몇개인지 셉니다.
        가장 갯수가 많은 class를 찾습니다.
        그 feature의 value가 해당되면 그 갯수가 많은 class로 예측되도록 룰을 하나 만듭니다.
    각 feature의 룰들의 전체 에러를 계산합니다. (반대로 정확도를 계산할 수도 있습니다.)
가장 작은 에러를 보이는 feature을 선택합니다.

아래 그림에서는 outlook과 humidity feature 모두 에러의 갯수가 4이므로 제일 작습니다. 하지만 활동에서는 첫번째 feature인 outlook만 고려할 것입니다.

For example:

<img src=https://www.saedsayad.com/images/OneR_1.png>

The best feature is:

<img src=https://www.saedsayad.com/images/OneR_3.png>

Naive Bayes Classifier with scikit-learn¶

• scikit-learn의 Naive Bayes classifier 다큐멘테이션: https://scikit-learn.org/stable/modules/naive_bayes.html

1. 기계학습 기본 용어 정의/의미¶

1. 기계학습: 인공지능의 한 분야로 사람의 학습과 같은 능력을 컴퓨터를 통해 실현하고자 하는 기술로, 데이터로부터 모델을 만들어내는 과정을 의미한다.

2. Label (=target): label은 model이 예측하려는 값으로 training을 한 후의 output이다. 데이터를 차별화 할 수 있는 범주이다.

3. class: 데이터를 분류하는 범주

4. Features: feature은 training data의 분석 대상이 되는 속성들로 input set에 있는 column으로 표현된다.

5. Input: input은 일반적으로 model에 전당되는 데이터 집합(X)를 나타낸다. 예를 들어 (X,Y(label)) 형태의 데이터 세트에서 X는 입력이며 레이블인 Y는 대상 또는 출력이 된다.

6. Numerical data (=Quantitative data): Numerical data는 숫자로 표현되는 것을 의미한다.

7. Categorical data (=Qualitative data): Categorical data는 일반적으로 숫자로 표현되지 않는 것을 의미하며 이산적인 형태의 데이터를 표현하기 위해 사용된다.

8. Unlabeled example (=instance): Unlabeled example은 주로 unsupervised learning에 사용되는 데이터로 의미 있는 label이 존재하지 않는다. training data의 한 예시로 예상되는 결과에 대해 정보를 내포하지 않은 데이터이다.

9. Labeled example:labeled example은 주로 supervised learning에 사용되는 데이터로 의미 있는 label이나 class를 가지고 있다.

10. Training (=learning): 주로 성능의 향상을 의미한다. 경험(data)에 따라 예측하려는 값에 대해 배우는 것으로 명시적인 지시가 아닌 경험에 의해 작업의 성능이 향상되는 것을 의미한다.

11. Predict (=inference): prediction이란 과거의 data set에 대한 training을 거쳐 특정 결과의 가능성을 예측하는 model의 출력을 의미한다.

12. Train Set: Train set은 기계 학습 model을 훈련하는데 사용되는 데이터이다.

13. Test Set: Test set은 학습된 모델을 테스트하기 위한 data의 하위 set이다.

14. Regression: feature와 outcome 간의 관계를 이해하기 위한 방법으로 이를 통해 관계가 추정되면 결과를 예측할 수 있게 된다. 기계학습에서는 일반적으로 best fit을 그리는 작업을 의미하며 각 point 사이의 거리를 최소화하는 방법을 통해 best fit을 찾는다.

15. Error (=loss): model의 오류 합계를 나타내는 값으로 model이 얼마나 잘 훈련되었는지를 판단한다. loss가 크면 model이 제대로 작동하지 않는다는 것을 의미한다.

16. Classification: classification은 input의 주어진 data에 대하여 특정 class label을 예측하는 model을 의미한다.

17. Accuracy: Accuracy는 model이 얼마나 잘 예측하고 있는지를 측정한다.

2. 적용 과제¶

Data documentation: Car Evaluation, Balloons

• Car Evaluation의 feature: buying, maint, doors, persons, lung_boot, satefy

• Car Evalaution의 label: accept

• Balloons의 feature: color, size, act, age

• Balloons의 label: inflated

2.1 pandas¶

1. 아래 data url을 통해 각 데이터마다 dataframe을 생성합니다.

2. Car Evalaution의 모든 column name을 출력하시오.

3. Car Evaluation의 buying feature에 어떤 카테고리가 있는지 출력하시오.

4. Car Evaluation의 accept label의 각 class와 해당 class의 instance 개수를 메소드 하나로 출력하시오.

5. Balloons에서 color feature이 yellow인 instance을 모두 출력하시오.

2.2 데이터 이해 및 전처리¶

데이터 정보를 읽고 각 feature이 무슨 의미인지 파악하여 서술합니다. 실습했던 내용을 바탕으로 Car Evaluation 데이터와 Balloons 데이터를 scikit-learn의 Categorical Naive Bayesian Classifier에 적합하도록, Object 타입을 정수형으로 전처리합니다.

2.3 모델 생성, 훈련 및 결과 해석¶

scikit-learn 패키지를 사용하여 car와 balloons 두 데이터에:

1. Categorical Naive Bayesian Classifier을 fit합니다.
2. 두 데이터에 대하여 score를 출력합니다.
3. 각 class probability와 각 feature probability을 출력합니다.
4. 본인이 임의로 만든 두개의 각기 다른 instances에 대하여 예측을 출력합니다. (car 두 개, balloons 두 개, 총 네 개)
5. 모델 예측 결과를 데이터의 맥락으로 해설합니다. (ex. 자동차1의 가격이 높고 보수비용이 낮으며... 할 때, 모델은 자동차1의 평가를 매우 좋음으로 예측하였다.)

Car Evaluation의 feature: buying, maint, doors, persons, lung_boot, satefy

1. buying :차량의 구매 가격
2. maint : 차량을 유지보수하기 위한 가격
3. doors : 문의 개수
4. persons : 차량이 운반할 수 있는 사람의 수 (탑승인원)
5. lung_boot : 차량 트렁크의 크기
6. safety : 안전 측정에서 평가된 차량 안전

Car Evalaution의 label: accept

** accept 차량의 용인 가능성(구매 가능성)

Balloons의 feature: color, size, act, age

1. color : 풍선의 색상
2. size : 풍선의 크기
3. act : 풍선을 늘어나게 했는지 줄어들게 했는지 여부
4. age : 나이 / 어른 아이 여부

Balloons의 label: inflated

** inflated 풍선이 부풀려진 여부

모델 예측 결과 해설¶

car evaluation¶

자동차 3(index 2)는 가격이 매우 높고 보수 비용도 매우 높으며 차량의 문이 2개이고 탑승 가능 인원이 2명이다. 트렁크 크기는 작고, 안전평가에서 매우 높은 평가를 받았는데 모델은 자동차 3을 수용불가로 예측했다.

자동차 1728(index 1727) 가격이 낮고 보수 비용도 매우 낮으며 차량의 문은 5개 이상이고 인원도 이상이며 트렁크 크기가 크고 안전평가에서는 중간 단계의 평가를 받았다. 모델은 자동차 1728을 매우 좋음으로 예측하였다.

balloons¶

풍선 6(index5)는 노란색이고 크기가 크며 풍선을 늘리는 행동을 했고 어른이 불었다. 모델은 풍선6이 부풀려졌을 것으로 예측했다

풍선14(index13)은 보라색이고 크기가 작으며 풍선을 줄이는 행위를 했고 어른이 불었다 모델은 풍선14이 부풀려지지 않았을 것으로 예측했다.

3. Naive Bayes Classifier 구현¶

Naive Bayes Classifier을 코드로 구현하는 것의 문제는 feature dimension이 매우 커질 경우에, 0과 1사이의 확률을 곱하기 때문에 전체 곱이 0와 매우 가까워지며 가끔은 long double으로도 표현하기 어려울정도로 매우 작은 확률이 계산될 수 있습니다.

따라서 log probability을 사용하며, 이에 대한 이점은

• log probability range가 $[-∞, 0]$ 으로 넓어집니다.
• if $a < b$, then $ log(a) < log(b)$
• $log(a \cdot b) = log(a) + log(b)$ 와 같은 규칙을 적용할 수 있습니다.

$P(y|x_1, ..., x_n) = argmax_y \left[ \prod_{i=1}^{n} P(x_i|y) \right] P(y)$

• $P(x_i|y)$: likelihood probability
• $P(y)$: class prior probability

위 식에 로그를 씌우면

$\log(P(y|x_1, ..., x_n)) = argmax_y \left[ \sum_{i=1}^{n} \log(P(x_i|y)) \right] + log(P(y))$

식이 합으로 바뀌어 다룰 수 있는 숫자로 계산됩니다.

1. log likelihood probability 계산 함수 작성
2. log class prior probability 계산 함수 작성
3. log posterior probability을 사용하여 예측하는 Naive Bayes Classifier 함수 작성
4. car data instance, balloon data instance에 대해 예측 출력

참조

https://medium.com/@rangavamsi5/na%C3%AFve-bayes-algorithm-implementation-from-scratch-in-python-7b2cc39268b9

https://machinelearningmastery.com/naive-bayes-classifier-scratch-python/