Informationsgehalt
Der Informationsgehalt einer Nachricht ist eine logarithmische Größe, die angibt, wie viel Information in dieser Nachricht übertragen wurde. Dieser Begriff wurde von Claude Shannon erstmals in seiner Informationstheorie formalisiert: Der Informationsgehalt eines Zeichens ist seine statistische Signifikanz. Er bezeichnet also die minimale Anzahl von Bits, die benötigt werden, um ein Zeichen darzustellen oder zu übertragen. Wichtig ist dabei, dass dies nicht unbedingt der Anzahl der tatsächlich empfangenen Bits entspricht, da der Informationsgehalt vom semantischen Kontext abhängig ist. Daher wird der Informationsgehalt mit einer anderen Einheit, dem Shannon, gemessen. [2]
Der Informationsgehalt eines Textes oder das Maß bzw. der Grad, in dem vor allem dessen Inhalt (Information, Botschaft) erwartet oder nicht erwartet wird bzw. bekannt oder neu ist (z. B. würde ein Text mit einem I.-sgrad 1 für einen Leser nichts Neues enthalten - Beaugrande/ Dressler 1981). [3] Die Verarbeitung hochinformativer Texte ist anstrengender, aber auch reizvoller, als die von Texten mit geringer I. Für Werbetexte gilt, dass Leser/Hörer durch Informationen, zu denen sie herausgefordert werden (die sie also selbst finden bzw. entwickeln müssen), leichter überzeugt werden können. Auf potentiell höherer I. beruht die Wirkung von Witz, Metapher, Anspielung, Ironie. [3]
I. hängt mit kontextuellen Wahrscheinlichkeiten zusammen. Subjektive Wahrscheinlichkeiten und Erwartungen sowie Präferenzen spielen dabei eine bedeutendere Rolle als statistische Wahrscheinlichkeiten. [3]
Ein I.-sbegriff für Antworten bezieht sich auf die subjektive Wissenssituation des Fragenden. Ob eine Antwort pragmatisch sinnvoll ist, hängt nicht nur von ihrer I. ab, sondern auch von ihrem (positiven) subjektiven Wert. [3]
Informationsgehalt bezieht sich vor allem auf den Inhalt, kann sich jedoch auch auf Sprachsysteme wie Syntax oder Phonologie beziehen. Zum Beispiel kann eine unerwartete/ unbekannte Phonologie hochgradig informativ sein und dazu anregen, Assoziationen herzustellen und zu interpretieren. [4]
Verwendungsbeispiele für ›Informationsgehalt‹
maschinell ausgesucht aus den DWDS-Korpora
Andererseits kann der Informationsgehalt der Quelle bei der Übertragung vollständig erhalten bleiben. [Klix, Friedhart, S. 59]
Schon die Änderung einer einzigen Base hat die Änderung des genetischen Informationsgehaltes zur Folge. [Nultsch, Wilhelm, S. 368]
Der Informationsgehalt eines Symbols berechnet sich aus der Anzahl der verschiedenen Symbole. [6]
Zwar sind diese Bilder technisch recht gut gelungen, aber bei der geringen Auflösung ist der Informationsgehalt doch nur sehr gering. [6]
Der Informationsgehalt derart experimentell bestimmter Quellen steigt also arithmetisch an. [Klix, Friedhart, S. 406]
Informationsgehalt einer Nachricht
Nachrichten und Informationen sind nicht identisch, sondern die Extraktion der Information aus einer Nachricht setzt eine Zuordnung zwischen Nachricht und Information voraus, die "Interpretation" genannt wird. Insbesondere kann die gleiche Nachricht (mit gleicher Information) auf verschiedene Empfänger unterschiedliche Wirkung haben. Es gibt aber auch Nachrichten, die subjektiv keine Information enthalten.
Beispiel: Bei welcher Nachricht ist die Information größer?
Am 1. Juli war die Temperatur größer als 25 Grad.
Am 1. Juli betrug die Temperatur 29 Grad.
Bei a) gibt es nur zwei Möglichkeiten (kleiner/größer 25 Grad), bei b) sind theoretisch beliebig viele Möglichkeiten gegeben. Also ist bei b) die Information größer. Daraus folgt, dass Information mit der Zahl der Möglichkeiten zu tun hat.
Beispiel: Wie komme ich zu meiner Freundin?
Einfacher Weg: Sie wohnt in derselben Straße. Es gibt nur eine Entscheidung (nach rechts oder nach links gehen).
Komplizierter Weg: Es gibt mehrere Abzweigungen; bei jeder Gabelung muss entschieden werden, ob man rechts oder links geht.
Der Informationsgehalt einer Nachricht ist also feststellbar und wird durch die Anzahl der (rechts-links) Entscheidungen bestimmt und wird in "bit" gemessen. 1 bit entspricht dabei einer Entscheidung:
Einfacher Weg: Information 1 bit
Komplizierter Weg: 2 Weggabelungen → 4 Möglichkeiten, 2 bit
3 Weggabelungen → 8 Möglichkeiten, 3 bit
4 Weggabelungen → 16 Möglichkeiten, 4 bit
usw.
1 bit ist die Datenmenge, die mit der Antwort auf eine Ja-Nein-Frage (Elementarentscheidung) übertragen wird. In diesem Fall besteht das verwendete Alphabet auch nur aus zwei Symbolen (z. B. ja - nein, wahr - falsch, 0 - 1).
Besteht die Nachricht aus N = 2n Symbolen, so werden n bit übertragen. Man könnte dies als n aufeinanderfolgende Antworten auf jeweils eine Ja-Nein-Frage auffassen.
Jedes Astende (Blatt) entspricht dann einem Zeichen, also ergeben sich 23 = 8 Symbole bzw. Zeichen, die hiermit übertragen werden können. Allgemein gilt:
Zur Übertragung von N Symbolen benötigt man H = ld(N) bit.
Anmerkung:
ld = logarithmus dualis: y = 2n → n = ld(y)
Umrechnung: ld z = lg(z)/lg(2) = ln(z)/ln(2) (Basis beliebig)
Mit einem Binärzeichen wird nur dann 1 bit übertragen, wenn die beiden Zeichen des Zeichenvorrats gleichwahrscheinlich sind. In allen anderen Fällen wird weniger als 1 bit übertragen. Damit kommt die Auftretenswahrscheinlichkeit von Zeichen innerhalb einer Nachricht ins Spiel. Zum Beispiel bei den folgenden Nachrichten:
Am 1. Januar war die Temperatur größer als 25 Grad. [7]
Am 1. Juli war die Temperatur größer als 25 Grad. [7]
Es handelt sich um die gleiche Nachricht, aber nach unserer Kenntnis über das Klima in München ist Fall a) wesentlich unwahrscheinlicher als Fall b).
Die von Claude Shannon maßgeblich entwickelte Informationstheorie beschäftigt sich mit der mathematischen Beschreibung des statistischen Informationsgehalts I(x) eines Zeichens oder Wortes x, das in einer Nachricht mit der Auftrittswahrscheinlichkeit p(x) vorkommt:
Je seltener ein bestimmtes Zeichen x auftritt, d. h. je kleiner p(x) ist, desto größer ist der Informationsgehalt dieses Zeichens. I(x) muss demnach zu einer von 1/p(x) abhängigen Funktion proportional sein und streng monoton wachsen.
Die Gesamtinformation einer Zeichenfolge, z. B. x1x2x3 soll sich aus der Summe der Einzelinformationen ergeben, also
I(x1x2x3) = I(x1) + I(x2) + I(x3).
Für den Informationsgehalt eines mit Sicherheit auftretenden Zeichens x, also für den Fall p(x)=1, soll I(x)=0 gelten.
Die einfachste Funktion, welche alle diese Forderungen erfüllt, ist die Logarithmusfunktion. Für die Abhängigkeit des Informationsgehalts eines Zeichens x von seiner Auftrittswahrscheinlichkeit p(x) definiert man daher:
Die Basis 2 des Logarithmus bestimmt lediglich den Maßstab, mit dem man Informationen messen möchte. Zur Festlegung dieses Maßstabes geht man von dem einfachsten denkbaren Fall einer Nachricht aus, die nur aus einer Folge der beiden Zeichen 0 und 1 besteht, wobei die beiden Zeichen mit der gleichen Wahrscheinlichkeit p0 = p1 = 0,5 auftreten sollen. Dem Informationsgehalt eines solchen Zeichens wird nun der Zahlenwert 1 bit zugeordnet. Man erhält für den statistischen Informationsgehalt eines mit Wahrscheinlichkeit p(x) auftretenden Zeichens x den Zweierlogarithmus aus der reziproken Auftrittswahrscheinlichkeit. Die Basis des Logarithmus wird auch als "Entscheidungsgrad" bezeichnet; man kann sie als die Anzahl der Zustände interpretieren, die in der Nachrichtenquelle angenommen werden können. Im Falle des Zweierlogarithmus sind das nur zwei Zustände ("ja" und "nein").
Damit ist geklärt, wie viele Entscheidungen (oder binäre Fragestellungen) notwendig sind, um eine bestimmte Nachricht aus einer Vielzahl von Nachrichten auszuwählen. Eine elementare Entscheidung besteht aus zwei Möglichkeiten: "ja" oder "nein". Wenn die Informationsquelle n Nachrichten liefern kann, dann sind mindestens N = ld(n) (ggf. auf die nächst größere ganze Zahl aufgerundet) elementare Fragen (Entscheidungen) notwendig, um die Information einer dieser Nachrichten zu ermitteln. Daraus folgt, dass sich mit N elementaren Fragen (Bits) eine spezielle Nachricht aus einer Menge von n verschiedenen Nachricht aussondern lässt. [7]
Diese Größe nennt man den Entscheidungsgehalt H0 dieser Informationsquelle: H0(n) = ld(n) [bit]
⠀ Gehalt. Deklination des Substantivs. – Ressource: https://www.verbformen.de/deklination/substantive/?w=Gehalt
⠀ Informationsgehalt. Educalingo. – Ressource: https://educalingo.com/de/dic-de/informationsgehalt
⠀ Klix, Friedhart: Information und Verhalten, Berlin: Deutscher Verl. der Wissenschaften 1971.
⠀ Nachricht und Information. – Ressource: http://www.netzmafia.de/skripten/digitaltechnik/nachricht-info.html