엔트로피...

정보이론??? 데이터를 정량화하기 위한 응용수학의 분야 중 하나

 

정보량??? 어떤 정보를 얻었을 때 놀라는 정도

 

ex. 교수님이 수업을 마칠 때 하는 말 중 정보량이 가장 높은 건 C

A. 다음 시간에 봅시다~

B. 다음 수업은 다른 교수님이 할 예정입니다

C. 모든 학생은 A 를 받을 것이고, 이 수업은 더이상 진행하지 않습니다.

 

일어날 확률이 적고 이야기를 듣거나 해당 정보를 얻었을 때 얼마나 놀라는지를 따짐

정보량이 높을수록 해당 정보의 중요도가 높아짐

 

정보량 l(x)

 

엔트로피??? 정보량의 평균으로, 분자의 무질서를 측정

엔트로피는 불순도가 낮아지면 같이 낮아져서 0이랑 가까워진다.

 

ex. A클래스에 B클래스가 반이나 섞여 있으면 정보량이 높다고 볼 수 있음. A클래스에는 당연히 A만 잔뜩 있을거라고 생각했는데 B가 있으니 당연!!! 정보량이 높으니까 엔트로피도 높아질 수밖에 없음 ~~ 

 

 

 

* 정보량이 놀람의 정도라는게 좀 골때린다... 이해 끝!