La définition de la quantité d'information n'incorpore t-elle pas de la sémantique ?

[invite6754323456711]

Bonjour,

La mesure de la quantité d'information d'un message se définie comme la mesure de son imprévisibilité. La source est modélisée par une variable aléatoire X avec pour espace d'épreuve un alphabet (x1, x2, x3, ..., xn). P_i est la probabilité de réaliser X = xi (Pr(X = xi)).

La quantité d'information apporté par la réalisation d'un évènement x de probabilité Pr(x) est une fonction positive et décroissante I (x) = f(Pr(x)) lié à l'incertitude de cet évènement.

L'incertitude est une mesure de probabilité qui est lié à notre connaissance sur la source. N'est elle donc pas lié à la sémantique du système d'information générateur de la source et donc la suite de symbole engendré contient cette sémantique qui permet de définir la distribution de probabilité ?

Patrick
-----

[invite6754323456711]

Bonjour,

Un exemple concret. Soit quatre évènements possibles {A, B, C, D} avec les probabilité respective {1/2; 1/4; 1/8; 1/8}. La quantité d'information associé à cette distribution (Somme des proba pour chaque évènement fois le log base 2 de cette même proba) donne la valeur 7/4. La représentation la plus optimale qui en découle pour désigner les quatre évènements serait :

A 0 (nbre de bit 1) Proba 1/2
B 10 (nbre de bit 2) Proba 1/4
C 110 (nbre de bit 3) Proba 1/8
D 111 (nbre de bit 3) Proba 1/8

(BCBADA se traduirait 101101001110)

On obtient bien un nombre moyen de bit de 7/4 : (1/2 x 1 + 1/4 x 2 + 1/8 x 3 + 1/8 x 3)


Or pour définir cette distribution de probabilité il nous faut faire appel à une sémantique.

Patrick

[inviteccac9361]

Bonjour,

je pense qu'on peut rapprocher ce concept à celui de la complexité de Kogomorov.

La complexité de Kolmogorov (nommée d'après le mathématicien Andreï Kolmogorov), nommée aussi complexité aléatoire, ou complexité algorithmique, est une fonction permettant de quantifier la taille du plus petit algorithme[1] nécessaire pour engendrer un nombre ou une suite quelconque de caractères[2]. Cette quantité peut être vue comme une évaluation d'une forme de complexité de cette suite de caractères.

http://fr.wikipedia.org/wiki/Complex..._de_Kolmogorov

Complexité du Réel, Complexité du Virtuel :
Dans le monde réel, une partie de la complexité provient de l'irrationnalité des acteurs (et de leurs décisions) ainsi que de la multitude d'impacts dès que l'on considère un système ouvert. Dans le monde virtuel, des difficultés spécifiques apparaissent : l'identification des entités virtuelles, leurs définitions, leurs rôles, les règles que les humains leur appliquent, les processus d'authentification... Des critères de régulation s'appliquent sur les univers cibles et sur les manipulateurs / concepteurs.

http://fr.wikipedia.org/wiki/Complexit%C3%A9

Or pour définir cette distribution de probabilité il nous faut faire appel à une sémantique

Tout à fait, selon une certaine conception de ce qu'est l'information.

Une information dans son sens energetique est quant à elle liée au contraste entre les niveaux d'energie.
Elle est relative.

Cette conception présente en outre un "angle mort".
Une reference en voltage placée à 100V ne "vera pas" une tension à 100V.
Si le signal est inexistant, la valeur mesurée sera 0.
Si le signal vaut 100V, la valeur mesurée sera 0.
Il y a ambiguité sur la présence de l'information.

[invite6754323456711]

Tout à fait, selon une certaine conception de ce qu'est l'information.

La théorie de l'information est présenté comme un formalisme indépendant de la notion de "sens" or pour définir la connaissance de la source il faut faire appel au probabilité. On se retrouve entaché de l'interprétation subjective ou objective des probabilités. De plus un lien a été établie avec la notion d'entropie en physique.

Patrick

[A voir en vidéo sur Futura]

[inviteccac9361]

De plus un lien a été établie avec la notion d'entropie en physique.

Pour être précis je dirais : Aussi.
Ce qui est facile une fois la notion de réference, pemettant l'établissement de constantes a été définie en physique.