Teoría de la Información

Debemos saber que la Teoría de la Información es una rama de las matemáticas de la probabilidad y estadística, que estudia todo lo relacionado con la información, ej. Canales, compresión de datos (internet), criptografía (códigos).
Esta teoría fue iniciada por Claude E. Shannon por medio de un artículo publicado.
Sabemos que el conocimiento lo obtenemos de acuerdo a la información que se tenga de ciertas cosas en particular, por ejemplo cuando sabemos el significado de alguna palabra un poco extraña o ajena a nuestro vocabulario común, lo único que buscamos en un diccionario es definirla de una forma más precisa, y pues sabemos o tenemos una idea de lo que significa pero no del todo, a esta situación de no saber algo con precisión se le llama incertidumbre, y como lo dije antes el hecho de querer obtener información de alguna u otra manera, como en el caso del diccionario, es parte de un cálculo matemático en el área de de la estadística, la incertidumbre se puede definir en estos términos de la siguiente manera:
I=I (p1,…, pi
conocimiento)
Donde I es la incertidumbre, y las pi son las probabilidades de ocurrencia de cada uno de los sucesos relacionados con el conocimiento que tenemos. La Teoría de la Información no tiene una elección de decirnos si es falso o verdadero cierto conocimiento, simplemente nos da un cálculo numérico de qué probabilidad tengo que mi conocimiento sea acertado, y nada más.