Küldje el a jó munkát a tudásbázis egyszerű. Használja az alábbi űrlapot

Diákok, végzős hallgatók, fiatal tudósok, akik a tudásbázist tanulmányaikban és munkájukban használják, nagyon hálásak lesznek Önnek.

Házigazda: http://www.allbest.ru

1. Információelmélet

Az információelmélet (vagy a kommunikáció matematikai elmélete) a kibernetika egyik ága, amely az információ tárolásának, átalakításának és továbbításának folyamatait vizsgálja; mint minden matematikai elmélet, ez is matematikai modellekkel működik, nem pedig valós fizikai objektumokkal (forrásokkal és kommunikációs csatornákkal). Főleg a valószínűségszámítás és a matematikai statisztika matematikai apparátusát használja.

Claude Shannont (1916-2001) az „információelmélet atyjának” nevezik.

Az információelmélet az információmennyiség mérésének egy bizonyos módján alapul. A kommunikációelmélet problémáiból kiindulva az információelméletet időnként az információátviteli rendszerek matematikai elméleteként tartják számon. Az információelmélet K. Shannon (1948) alapvető munkája alapján megállapítja az információátviteli rendszerek lehetőségeinek főbb határait, meghatározza fejlesztésük és gyakorlati megvalósításuk kezdeti elveit.

Az információ főbb tulajdonságai leírhatók egy matematikai modell segítségével, amely tükrözi az információmérték számos jellemzőjét, ahogyan azt általában intuitív szinten értik. Az információforrás és a kommunikációs csatorna, amelyen keresztül az információ továbbításra kerül, valószínűségi reprezentációkkal modellezhető. Egy információforrás entrópiája megegyezik az általa generált üzenetek (effektív) számának logaritmusával. Ez a forrásleírás összetettségének mértéke (vagy, ahogy néha mondják, az üzenet bizonytalanságának mértéke). Az entrópia ezen felfogása szorosan összefügg a termodinamikában használt entrópia fogalmával.

Fizikailag az információ továbbítása a vevőkészülékben a kívánt fizikai állapot indukciójaként ábrázolható. A feladó üzenetet kíván küldeni a címzettnek. Az átvitel lényege, hogy a továbbított üzenetet reprodukáljuk a kommunikációs csatorna kimenetén. Az átvitelkor a feladó kiválasztja a kívánt üzenetet az összes lehetséges üzenet közül. A címzett nem tudja előre, hogy melyiket választja ki. (Ha erről előzetesen tájékoztatták volna, akkor nem kellett volna üzenetet küldeni.) A kommunikációs csatorna véletlenszerű zajt visz be az információtovábbítás folyamatába, ami torzítja az üzenetet, és ezzel megnehezíti az olvasást. A kommunikációs folyamat kezdetén a címzett teljes bizonytalanságban van, hogy melyik üzenetet választja ki a lehetséges üzenetek listájából. A kapcsolat végére a címzett tudomást szerez erről, azaz. a kiválasztott üzenet pontos leírása ismert.

A kommunikációs csatorna információtovábbítási képességét egy bizonyos szám - áteresztőképesség (kapacitás) jellemzi, amely megegyezik a kimenetén megkülönböztethető üzenetek tényleges számának logaritmusával. Az információátvitel folyamata akkor tekinthető megbízhatónak, ha az üzenetátviteli sebesség kisebb, mint a csatorna kapacitása. Ellenkező esetben az információ megbízható továbbítása nem lehetséges. Az információelmélet fő eredménye a következő állítás: ha a forrás entrópia kisebb, mint a csatorna kapacitása, akkor az eredeti üzenet a kimenetén tetszőlegesen kis hibával reprodukálható; ha a forrás entrópiája meghaladja azt áteresztőképesség, akkor a hiba nem kicsinyíthető.

Az üzenet továbbításának nehézsége nem függ annak tartalmától; Nem kevésbé nehéz értelmetlen üzeneteket közvetíteni, mint értelmeseket. Például a 23-as szám lehet egy hordó olaj ára az egyik kontextusban, és a lóverseny győztesének száma egy másik összefüggésben. Az üzenet jelentése a kontextustól és a szemantikától függ, továbbításának nehézségét csak a lehetséges üzenetek listája (és azok valószínűsége) határozza meg.

Bármilyen információátviteli rendszernek tekinthető, amely a következőkből áll: egy üzenetforrásból, egy adóból, egy kommunikációs csatornából és egy vevőkészülékből, valamint egy címzettből. Például, amikor telefonon beszél, a forrás a beszélő, az üzenet az ő beszéde. A kommunikációs csatorna vezetékek, amelyek elektromos jelet továbbítanak a hangszóróból a hallgatónak - az üzenet címzettjének. A kommunikációs csatorna egy olyan médium, amely jelet továbbít az adóról a vevőre. Amikor egy jel áthalad a csatornán, azt olyan interferencia befolyásolhatja, amely torzítja a jel információs paramétereinek értékeit.

Az üzenet küldője és a kommunikációs csatorna között olyan eszközök lehetnek, amelyek az üzenetet a kommunikációs csatornán történő továbbításra alkalmas formává alakítják. A csatorna másik végén lévő dekóder rekonstruálja a fogadott üzenetet.

Az információátviteli rendszerek tanulmányozása az üzenetek forrásával kezdődik. Egy kommunikációs csatornán sokféle információ továbbítható: szöveg, élő beszéd, zene vagy kép. Minden forráshoz megadhat egy listát azokról az üzenetekről, amelyeket generálhat. Például egy távirati vagy telexüzenetforrás csak leveleket továbbít, és mondjuk nem tartalmaz hangjegyeket. Ha élő beszédet továbbítanak a kommunikációs csatornán, akkor a jel 20 000 Hz feletti frekvencián veszít el hasznos tartalmat, ami az emberi hallás által érzékelt felső határ. Ezek a tények felhasználhatók egy kommunikációs csatorna bemenetének tervezésekor.

Az információelméletben az üzenetben lévő információ mennyiségének becslésére az R. Hartley által bevezetett logaritmikus mértéket használjuk, amelynek valószínűségi értelmezését Shannon művei adták meg. Ha egy x üzenet előfordulási valószínűsége p(x), és 0<р (х)<1, то információ mennyiségét- Az üzenetben szereplő I(x) a következő képlettel van meghatározva:

Házigazda: http://www.allbest.ru

Házigazda: http://www.allbest.ru

2. Hartley és Shannon képletek

1928-ban Ralph Hartley amerikai mérnök az információszerzés folyamatát úgy tekinti, mint egy üzenet kiválasztását egy véges adott N egyenlő valószínűségű esemény halmazából.

Hartley formula:

K = log2 N,

ahol K az információ mennyisége, N az ekvivalens események száma.

A Hartley-képlet így is felírható: N=2k

Mivel minden N esemény bekövetkezésének P valószínűsége azonos, akkor:

ahol P az esemény bekövetkezésének valószínűsége.

Ekkor a képlet másképp is felírható:

1948-ban Claude Shannon amerikai tudós egy másik képletet javasolt az információ mennyiségének meghatározására, figyelembe véve a halmazban előforduló események lehetséges egyenlőtlen valószínűségét.

Shannon formula:

K = - (p1 *log2 p1+ p2 *log 2p 2 + p 3 *log 2p 3 +…+ pi * log2 pi),

ahol pi annak a valószínűsége, hogy pontosan az i-edik üzenet kerül kiválasztásra az N üzenetből álló halmazban.

Ez a képlet is le van írva:

Az információ tulajdonságaival és az információs folyamatok mintázataival foglalkozó modern tudományt információelméletnek nevezik. Az „információ” fogalmának tartalma az információmennyiség mérésének két történetileg első megközelítésének példáján tárható fel: Hartley és Shannon megközelítése: az első halmazelméletre és kombinatorikára épül, a második pedig a valószínűségszámításról.

Az információ különböző problémákban, témakörökben különböző módon érthető és értelmezhető. Ennek eredményeként különböző megközelítések léteznek az információ mérésének meghatározására, és különböző módokon vezetik be az információmennyiség mértékét.

Az információ mennyisége olyan számérték, amely megfelelően jellemzi a frissített információt a sokféleség, összetettség, strukturáltság (rendezettség), bizonyosság és a megjelenített rendszer állapotválasztása szempontjából.

Ha olyan rendszert veszünk figyelembe, amely n lehetséges állapot valamelyikét felveheti, akkor a tényleges feladat ennek a választásnak, eredménynek a kiértékelése. Az ilyen értékelés az információk (események) mércéje lehet.

A mérték egy folytonos valós nemnegatív függvény, amely események halmazán van definiálva és additív.

Az intézkedések lehetnek statikusak és dinamikusak, attól függően, hogy milyen információk kiértékelését teszik lehetővé: statikusak (nem frissülnek; valójában az üzenetek értékelése az erőforrások és a frissítés formájának figyelembevétele nélkül történik) vagy dinamikus (frissített, azaz a frissítés erőforrásköltségei becsült információ is).

Az információ mennyiségének meghatározására többféle megközelítés létezik. A leggyakrabban használt volumetrikus és valószínűségi.

volumetrikus megközelítés.

A kettes számrendszert azért használjuk, mert egy műszaki eszközben a legegyszerűbb két ellentétes fizikai állapot megvalósítása: mágnesezett / nem mágnesezett, be / ki, töltött / nem töltött stb.

A számítógép memóriájában vagy egy külső adathordozón bináris karakterekkel rögzített információ mennyiségét egyszerűen az ilyen rögzítéshez szükséges bináris karakterek számával lehet kiszámítani. Ebben az esetben nem egész számú bit lehetetlen.

A könnyebb használat érdekében a biteknél nagyobb információmennyiség-egységeket is bevezettek. Tehát egy nyolc karakterből álló bináris szó egy bájt információt tartalmaz, 1024 bájt egy kilobájtot (kbyte), 1024 kilobyte egy megabájtot (MB), és 1024 megabájt egy gigabájtot (GB) tartalmaz.

Entrópia (valószínűségi) megközelítés.

Ez a megközelítés elfogadott az információ- és kódoláselméletben. Ez a mérési módszer a következő modellből származik: az üzenet címzettjének van bizonyos elképzelése bizonyos események lehetséges bekövetkezéséről. Ezek az ábrázolások általában megbízhatatlanok, és azok a valószínűségek fejezik ki, amelyekkel ő várja ezt vagy azt az eseményt. A bizonytalanság teljes mértékét entrópiának nevezzük. Az entrópiát bizonyos matematikai függés jellemzi ezen események bekövetkezési valószínűségének összességétől.

Az üzenetben lévő információ mennyiségét az határozza meg, hogy ez a mérték mennyivel csökkent az üzenet fogadása után: minél nagyobb a rendszer entrópiája, annál nagyobb a bizonytalansága. A bejövő üzenet teljesen vagy részben megszünteti ezt a bizonytalanságot, ezért az információ mennyisége azzal mérhető, hogy az üzenet fogadása után mennyivel csökkent a rendszer entrópiája. Ugyanazt az entrópiát vesszük az információ mennyiségének mértékeként, de ellenkező előjellel.

R. Hartley megközelítése alapvető halmazelméleti, lényegében kombinatorikus alapokon, valamint számos intuitívan világos és egészen nyilvánvaló feltételezésen alapul.

Ha sok elem van, és ezek közül egyet kiválasztunk, akkor ez egy bizonyos mennyiségű információt jelent vagy generál. Ez az információ arról szól, hogy ha a kijelölés előtt nem volt ismert, hogy melyik elem kerül kiválasztásra, akkor a kijelölés után válik ismertté. Meg kell találni azt a függvénytípust, amely a halmazból egy elem kiválasztásakor kapott információ mennyiségét összekapcsolja a halmaz elemeinek számával, pl. erejével.

Ha az elemek halmaza, amelyből a választás történik, egyetlen elemből áll, akkor egyértelmű, hogy a választása előre meghatározott, azaz. nincs választási bizonytalanság – nulla információmennyiség.

Ha a halmaz két elemből áll, akkor a választás bizonytalansága minimális. Ebben az esetben az információ mennyisége is minimális.

Minél több elem van a halmazban, annál nagyobb a választási bizonytalanság, annál több információ.

Így a Hartley által javasolt logaritmikus információmérték egyszerre teljesíti a monotonitás és az additivitás feltételeit. Hartley maga is az imént vázolthoz hasonló heurisztikus megfontolások alapján jutott a mértékéhez, de mára szigorúan bebizonyosodott, hogy az információmennyiség logaritmikus mértéke egyértelműen következik ebből a két általa feltételezett feltételből.

1948-ban, miközben az információ zajos kommunikációs csatornán keresztül történő racionális továbbításának problémáját vizsgálta, Claude Shannon forradalmi valószínűségi megközelítést javasolt a kommunikáció megértésére, és megalkotta az entrópia első valóban matematikai elméletét. Szenzációs ötletei gyorsan két fő irányzat kialakulásához vezettek: az információelmélet, amely a valószínűség és az ergodikus elmélet fogalmát használja az adat- és kommunikációs rendszerek statisztikai jellemzőinek tanulmányozására, valamint a kódoláselmélet, amely főként algebrai és geometriai eszközöket használ a hatékony hatékony fejlesztéshez. kódokat.

Claude Shannon azt javasolta, hogy az információnyereség egyenlő az elveszett bizonytalansággal, és meghatározta a mérési követelményeket:

1. az intézkedésnek folyamatosnak kell lennie; azaz a valószínűségi érték értékének kis mértékű változása kis nettó változást kell, hogy okozzon a függvényben;

2. abban az esetben, ha minden opció (a fenti példában betűk) egyformán valószínű, az opciók (betűk) számának növekedése mindig növelje a függvény értékét;

3. Lehetővé kell tenni a választást (példánkban betűk) két lépésben, amelyben a végeredmény függvény értéke a köztes eredményfüggvények összege legyen.

Ezért az entrópiafüggvénynek teljesítenie kell a következő feltételeket:

mindenki számára meghatározott és folyamatos,

hol minden i. (Könnyen belátható, hogy ez a függvény csak a valószínűségi eloszlástól függ, az ábécétől nem).

Pozitív egész számok esetén a következő egyenlőtlenségnek teljesülnie kell:

Pozitív egész számok esetén, ahol az egyenlőségnek teljesülnie kell:

információs sávszélesség entrópia

Shannon megállapította, hogy az információforrásra alkalmazott entrópia mérése meghatározhatja a kódolt bináris számok formájában történő információ megbízható átviteléhez szükséges minimális sávszélesség követelményeit. A Shannon-képlet levezetéséhez ki kell számítani az ábrán szereplő "információmennyiség" matematikai elvárását az információforrásból. A Shannon-entrópia mértéke egy valószínűségi változó megvalósulásának bizonytalanságát fejezi ki. Az entrópia tehát az üzenetben található információ és az információ azon része közötti különbség, amely pontosan ismert (vagy nagymértékben megjósolható) az üzenetben. Példa erre a nyelv redundanciája -- egyértelmű statisztikai minták vannak a betűk, az egymást követő betűpárok, a hármasok stb. megjelenésében.

Az Allbest.ru oldalon található

Hasonló dokumentumok

A karakterenkénti információ mennyiségének kiszámítása Shannon képletével. Az információs entrópia változásai közgazdasági, természettudományi és irodalmi tartalmú szövegekben. A jelenkénti információ maximális mennyisége a Hartley-képlet szerint.

labormunka, hozzáadva 2013.12.06


Az információelmélet tárgya, feladatai, funkciói az automatizált vezérlőrendszerek létrehozásában. A diszkrét (digitális) csatornák sávszélességének meghatározása zaj nélkül. Információátviteli sebesség számítása. Az entrópia értékének kiszámítása - az információ átlagos mennyisége.

teszt, hozzáadva 2015.01.18


Bit, bizonytalanság, információmennyiség és entrópia. Shannon formula. Hartley képlet. Logaritmusok. Az üzenetküldési folyamat során kapott információ mennyisége. Az információ forrásának és befogadójának kölcsönhatása. Memóriacellák mennyisége, információs kapacitása.

absztrakt, hozzáadva: 2008.07.17


A kibernetika központi fogalma az információ. Az információ észlelési, átalakítási, továbbítási, feldolgozási és megjelenítési folyamatainak integrált automatizálása és különböző szinteken automatizált vezérlőrendszerek létrehozása. Információátviteli rendszer.

könyv, hozzáadva: 2009.07.05


Az információátvitel elméletének alapjai. Az információ mennyiségi vonatkozásainak kísérleti vizsgálata. Információ mennyisége Hartleyről és K. Shannonról. Szöveges üzenetek gyakorisági jellemzői. Az információ mennyisége az eltávolított bizonytalanság mértékeként.

laboratóriumi munka, hozzáadva 2011.02.15


bemutató, hozzáadva 2014.10.19


Az információelmélet, mint tudomány alapfogalmai. Az 1 karakterre jutó információ átlagos mennyiségét Shannon képlete határozza meg. Az üzenetátvitel általános sémája. Csatorna kapacitása. Boole-algebra és a számítási folyamat technikai megvalósítása.

bemutató, hozzáadva 2013.08.13


Az információkeresés fogalma, módszerei, tárolásának módszerei és a forrástól a címzettig továbbítás folyamatának jellemzői. A kommunikációs csatorna és a kódoló célja. Az információfeldolgozás szabályai, döntéshozatali és védelmi intézkedésekben való felhasználása.

bemutató, hozzáadva 2013.10.14


A nem ismétlődő üzenetek teljes száma. A kommunikációs csatornák információátviteli sebességének és sávszélességének számítása. Az üzenetredundancia és az optimális kódolás meghatározása. Az optimális kód felépítésének eljárása a Shannon-Fano módszer szerint.

szakdolgozat, hozzáadva 2009.04.17


Az információátadás mechanizmusa, mennyisége és mérési kritériumai. Az információ mértékegységei a logaritmus alapjától függően. Az információ mennyiségének, entrópiájának alapvető tulajdonságai és jellemzői. Az entrópia meghatározása, az információs üzenetek redundanciája.

Az információt a fő tulajdonságain keresztül határozzuk meg (mivel az anyaggal és az energiával együtt ez világunk elsődleges fogalma, ezért nem határozható meg szoros értelemben):

• az információ olyan információt hoz a körülötte lévő világról, amely a megérkezés előtt nem volt a vizsgált ponton;
• az információ nem lényeges, és nem létezhet az információ-megjelenítés formájától (jelek vagy jelek sorozatai - üzenetek) elszigetelten;
• az üzenetek csak azok számára tartalmaznak információt, akik képesek felismerni.

Az üzenetek nem azért tartalmaznak információkat, mert a valóság tárgyait másolják, hanem a hordozók és az e hordozó által kijelölt objektumok közötti kapcsolat társadalmi megállapodása alapján (például egy szó az objektív valóság valamely tárgyát jelöli). Ezenkívül a természetben előforduló fizikai folyamatok során hordozók keletkezhetnek.

Ahhoz, hogy az üzenet a címzetthez eljuthasson, szükség van valamilyen fizikai folyamatra, amely ilyen vagy olyan sebességgel tud terjedni a forrástól az üzenet címzettjéig. Az időben változó fizikai folyamatot, amely a továbbított üzenetet tükrözi, jelnek nevezzük.

Ahhoz, hogy matematikai eszközöket alkalmazhassunk az információ tanulmányozására, elvonatkoztatni kell az információ jelentésétől, tartalmától. Ez a megközelítés közös volt az általunk említett kutatókban, mivel a tiszta matematika kvantitatív arányszámokkal operál anélkül, hogy belemenne azon objektumok fizikai természetébe, amelyek mögött az arányok állnak. Ezért, ha a jelentés kimarad az üzenetekből, akkor az esemény információs értékelésének kiindulópontja csak az egymástól eltérő események halmaza, és ennek megfelelően az azokra vonatkozó üzenetek.

Érdekelnek bennünket az alábbi információk egyes objektumok állapotáról: a négy lehetséges állapot (szilárd, folyékony, gázhalmazállapotú, plazma) közül melyikben van valamilyen anyag? a technikum négy szaka közül melyikben tanul a diák? Mindezekben az esetekben fennáll a számunkra érdekes esemény bizonytalansága, amelyet négy lehetőség közül választhatunk. Ha figyelmen kívül hagyjuk a jelentésüket a fenti kérdésekre adott válaszokban, akkor mindkét válasz ugyanannyi információt hordoz, mivel mindegyik kiválasztja az objektum négy lehetséges állapotának egyikét, és ezáltal eltávolítja az üzenet ugyanazt a bizonytalanságát. .

A bizonytalanság velejárója a valószínűség fogalmának. A bizonytalanság csökkentése mindig összefügg egy vagy több elem (alternatíva) kiválasztásával (kiválasztásával) azok összességéből. A valószínűség és a bizonytalanság fogalmának ez a kölcsönös megfordíthatósága szolgált alapul a valószínűség fogalmának használatához az információelméletben a bizonytalanság mértékének mérésére. Ha feltételezzük, hogy a négy kérdésre adott válasz közül bármelyik egyformán valószínű, akkor annak valószínűsége minden kérdésben egyenlő 1/4 .

Ebben a példában a válaszok azonos valószínűsége határozza meg a két kérdésben adott válasz által eltávolított egyenlő bizonytalanságot is, ami azt jelenti, hogy minden válasz ugyanazt az információt hordozza.

Most próbáljuk meg összehasonlítani a következő két kérdést: a technikum négy szaka közül melyikben tanul a diák? Hogyan fog leesni egy érme feldobáskor: „címer” vagy „szám” felfelé? Az első esetben négy egyformán valószínű válasz lehetséges, a másodikban - kettő. Ezért a második esetben valami válasz valószínűsége nagyobb, mint az első esetben ( 1/2 > 1/4 ), míg a válaszok által eltávolított bizonytalanság az első esetben nagyobb. Az első kérdésre adott bármely lehetséges válasz több bizonytalanságot szüntet meg, mint a második kérdésre adott válasz. Ezért az első kérdésre adott válasz több információt hordoz! Következésképpen minél kisebb a valószínűsége egy eseménynek, annál több bizonytalanságot szüntet meg az üzenet az esemény bekövetkeztével kapcsolatban, és ennek következtében annál több információt hordoz.

Tételezzük fel, hogy van valamilyen esemény m ugyanolyan valószínű kimeneteleket. Ilyen esemény lehet például egy m ilyen karaktert tartalmazó ábécé bármely karakterének megjelenése. Hogyan mérhető az ilyen ábécé használatával továbbítható információ mennyisége? Ezt egy szám megadásával lehet megtenni N lehetséges üzenetek, amelyek ezzel az ábécével továbbíthatók. Ha az üzenet egy karakterből áll, akkor N=m, ha kettőtől, akkor N \u003d m m \u003d m 2. Ha az üzenet n karaktert tartalmaz ( n az üzenet hossza), akkor N=mn. Úgy tűnik, hogy az információmennyiség szükséges mértékét megtalálták. Felfogható egy kísérlet kimenetelének bizonytalanságának mértékeként, ha tapasztalaton egy üzenet véletlenszerű kiválasztását értjük bizonyos számú lehetséges üzenet közül. Ez az intézkedés azonban nem teljesen kényelmes.

Egy karakterből álló ábécé jelenlétében, azaz. Amikor m = 1, csak ez a karakter jelenhet meg. Ezért ebben az esetben nincs bizonytalanság, és ennek a szimbólumnak a megjelenése nem hordoz semmilyen információt. Eközben az érték N nál nél m = 1 nem megy nullára. Két független üzenetforrás (vagy ábécé) esetén N 1És N 2 lehetséges üzenetek száma lehetséges üzenetek teljes száma N = N 1 N 2, miközben logikusabb lenne azt feltételezni, hogy a két független forrásból kapott információ mennyisége nem szorzat, hanem az alkotó mennyiségek összege.

Megtalálták a kiutat R. Hartley aki információt kínált énüzenetenként a lehetséges üzenetek számának logaritmusa határozza meg N:

I(N) = log N

Ha a lehetséges üzenetek teljes halmaza egy ( N=m=1), Ez

I(N) = log 1 = 0,

ami ebben az esetben az információhiánynak felel meg. Független információforrások jelenlétében a N 1És N 2 lehetséges üzenetek száma

I (N) \u003d log N \u003d log N 1 N 2 \u003d log N 1 + log N 2

azok. az üzenetenkénti információ mennyisége egyenlő annak az információmennyiségnek az összegével, amely két független forrásból érkezne, külön-külön.

Javasolt képlet Hartley, megfelel a követelményeknek. Ezért használható az információ mennyiségének mérésére. Ha az ábécé bármely karakterének előfordulásának lehetősége egyenlő (és eddig azt feltételeztük, hogy az), akkor ez a valószínűség p=1/m. Feltéve, hogy N=m, kapunk

I = log N = log m = log (1/p) = – log p,

A kapott képlet bizonyos esetekben lehetővé teszi az információ mennyiségének meghatározását. Gyakorlati okokból azonban meg kell adni a mértékegységét. Ehhez tegyük fel, hogy az információ az eltávolított bizonytalanság. Ekkor a legegyszerűbb bizonytalanság esetén két, egymást kölcsönösen kizáró, egyformán valószínű üzenet között kell választani, például két minőségi jel között: pozitív és negatív impulzusok, impulzus és szünet, stb.

A továbbított információ mennyiségét ebben a legegyszerűbb esetben a legkényelmesebben az információ mennyiségének egységeként vesszük. Az információmennyiség eredményül kapott egységét, amely két egyformán valószínű esemény választása, bináris egységnek vagy bitnek nevezzük. (Név bit egy angol kifejezés két kezdő és utolsó betűjéből alakult ki bináris egység, ami bináris egységet jelent.)

A bit nem csak az információ mennyiségének egysége, hanem a bizonytalanság mértékének mértékegysége is. Ez egy olyan kísérletben rejlő bizonytalanságra vonatkozik, amelynek két egyformán valószínű kimenetele van. Az üzenetből kapott információ mennyiségét befolyásolja a címzett számára a meglepetés tényezője, amely egy adott üzenet fogadásának valószínűségétől függ. Minél kisebb ez a valószínűség, annál váratlanabb és ennélfogva informatívabb az üzenet. Üzenet, valószínűség

amelynek a meglepetés foka magas és ennek megfelelően alacsony, kevés információt hordoz.

R. Hartley megértette, hogy az üzeneteknek eltérő a valószínűsége, és ezért megjelenésük váratlansága a címzett számára nem ugyanaz. De az információ mennyiségének számszerűsítésével megpróbálta teljesen kiküszöbölni a "meglepetés" tényezőt. Ezért a képlet Hartley csak arra az esetre teszi lehetővé az üzenetben lévő információ mennyiségének meghatározását, ha a szimbólumok előfordulása egyformán valószínű és statisztikailag függetlenek. A gyakorlatban ezek a feltételek

ritkán adják elő. Az információ mennyiségének meghatározásakor nem csak a forrásból fogadható különféle üzenetek számát kell figyelembe venni, hanem a beérkezésük valószínűségét is.

A legszélesebb körben használt megközelítés a nagyon eltérő forrásból származó üzenetekben található átlagos információmennyiség meghatározására a megközelítés. NAK NEK Shannon.

Vegye figyelembe a következő helyzetet. A forrás elemi jeleket továbbít k különféle típusok. Kövessük az üzenet egy meglehetősen hosszú szakaszát. Hadd legyen N 1 az első típusú jelek, N 2 a második típusú jelek, ..., N k jeleket k-th típusú, és N 1 + N 2 + ... + N k = N a jelek teljes száma a megfigyelt szegmensben, f 1, f 2, ..., f k a megfelelő jelek frekvenciái. Az üzenetszegmens hosszának növekedésével a frekvenciák mindegyike egy fix határra hajlik, pl.

lim f i = p i , (i = 1, 2, ..., k),

Ahol p i a jel valószínűségének tekinthető. Tegyük fel, hogy jel érkezik én-edik típus valószínűséggel p i tartalmazó - log p i információegységek. A vizsgált részben én-edik jel kb Np i alkalommal (ezt feltételezzük N elég nagy), és az ilyen típusú jelek által szolgáltatott összes információ megegyezik a termékkel Np i log p i. Ugyanez vonatkozik bármely más típusú jelre is, tehát a szegmens által továbbított információ teljes mennyiségére N a jelek megközelítőleg egyenlőek lesznek. A jelenkénti átlagos információmennyiség meghatározásához, pl. a forrás konkrét információtartalmát, el kell osztani ezzel a számmal N. Korlátlan növekedés esetén a közelítő egyenlőség pontossá válik.

Ennek eredményeként aszimptotikus összefüggést kapunk - a képletet Shannon. Kiderült, hogy a javasolt képlet Hartley, az általánosabb képlet speciális esete Shannon.

E képlet mellett Shannon öt elemből (információforrás, adó, kommunikációs vonal, vevő és cél) álló absztrakt kommunikációs sémát javasolt, és tételeket fogalmazott meg a sávszélességről, a zajtűrőképességről, a kódolásról stb.

| Óratervezés és tananyagok | 11 osztály | Óratervezés a tanévre (K. Yu. Polyakov, E. A. Eremina tankönyve szerint, teljes elmélyült tanfolyam, heti 4 óra) | Információ mennyisége

2–3. lecke
Információ és valószínűség. Hartley képlet. Shannon formula
(1. § Információ mennyisége)

A kérdés megválaszolása csak azután vált lehetségessé, hogy egy matematika tanfolyamon tanulta a logaritmusokat. A képletből

ebből rögtön következik, hogy az I az a hatvány, amelyre a 2-t fel kell emelni, hogy N-t kapjunk, vagyis a logaritmust:

Ezt a képletet ún Hartley képlete Ralph Hartley amerikai mérnök tiszteletére, aki 1928-ban javasolta.

Legyen például 10 gép a repülőtéren (1-től 10-ig terjedő számokkal), és ismert, hogy az egyik Szentpétervárra repül.

Mennyi információ található a "2-es számú repülőgép Szentpétervárra repül" üzenet? 10 lehetőségünk van, amelyek közül kiválasztunk egyet, tehát Hartley képlete szerint az információ mennyisége

I = log 2 10 ≈ 3,322 bit.

Ne feledje, hogy az olyan N értékeknél, amelyek nem 2 egész hatványai, a bitekben lévő információ mennyisége törtszám.

A Hartley-képlet segítségével kiszámíthatja az üzenetben található információ elméleti mennyiségét. Tegyük fel, hogy az ábécé (az érvényes karakterek teljes készlete) 50 karakterből áll (ebben az esetben azt mondjuk, hogy ábécé ereje egyenlő 50). Ezután az információ az egyes karakterek kézhezvételekor az

I = log 2 50 ≈ 5,644 bit.

Ha az üzenet 100 karakterből áll, akkor a teljes információmennyiség körülbelül egyenlő

5,644 100 = 564,4 bit.

Általában egy L karakter hosszúságú üzenet mérete N karakterből álló ábécével I = L log 2 N.

Ilyen megközelítés az információ mennyiségének meghatározását alfabetikusnak nevezzük. Természetesen a gyakorlatban lehetetlen nem egész számú bitet használni egy karakter kódolásához, ezért az első olyan egész szám kerül felhasználásra, amely nagyobb, mint az elméletileg számított érték. Például 50 karakterből álló ábécé használatakor minden karakter 6 bittel lesz kódolva (50 ≤ 2 6 = 64).

Hány különböző üzenet küldhető el, ha ismert az ábécé és az üzenet hossza? Tegyük fel, hogy 4 betűt használnak egy üzenet kódolására, például "A", "B", "C" és "D", és az üzenet két karakterből áll. Mivel minden karaktert 4 különböző módon lehet kiválasztani, az első karakter minden választásához 4 választási lehetőség van a másodikból. Ezért a különböző kétbetűs üzenetek teljes számát a következőképpen számoljuk ki: 4 4 = 4 2 = 16. Ha az üzenethez még egy karaktert adunk, akkor az első két karakter 16 kombinációjának mindegyikéhez a harmadik megadható. négyféleképpen választható, így a különböző három karakterből álló üzenetek száma 4 4 4 = 4 3 = 64.

Általában, ha N karakterből álló ábécét használunk, akkor a különböző lehetséges L karakter hosszúságú üzenetek száma egyenlő Q = N L .

Következő oldal

Az információ a következő formában lehet:

szövegek, rajzok, rajzok, fényképek;

fény- vagy hangjelzések;

rádióhullámok;

elektromos és idegi impulzusok;

mágneses rekordok;

gesztusok és arckifejezések;

szagok és ízérzések;

kromoszómák, amelyeken keresztül az organizmusok jelei és tulajdonságai öröklődnek stb.

Egy anyagi vagy nem anyagi tulajdonság tárgyait, folyamatait, jelenségeit információs tulajdonságaik szempontjából tekintve információs objektumoknak nevezzük.

1.4. Hogyan történik az információ továbbítása?

Az információ üzenetek formájában kerül továbbításra valamilyen információforrástól a vevőhöz a köztük lévő kommunikációs csatornán keresztül. A forrás adási üzenetet küld, amelyet adási jellé kódolnak. Ezt a jelet egy kommunikációs csatornán továbbítják. Ennek eredményeként egy vett jel jelenik meg a vevőben, amely dekódolva lesz a vett üzenet.

Az időjárás-előrejelzéssel kapcsolatos információkat tartalmazó üzenetet továbbítanak a vevőnek (nézőnek) a forrásból - a meteorológus egy kommunikációs csatornán keresztül - a televíziós adóberendezésből és a TV-ből.

Az élőlény érzékszerveivel (szem, fül, bőr, nyelv stb.) a külvilágból érkező információkat érzékeli, egy bizonyos idegimpulzus-sorozattá dolgozza fel, idegrostok mentén impulzusokat ad át, a memóriában tárolja Az agy idegi struktúráinak állapotát, hangjelzések, mozgások stb. formájában reprodukálja, élete során felhasználja.

Az információ kommunikációs csatornákon történő továbbítása gyakran olyan interferenciával jár együtt, amely torzulást és információvesztést okoz.

1.5. Hogyan mérik az információ mennyiségét?

Mennyi információt tartalmaznak nagy költők, írók, költők művei vagy az emberi genetikai kód? A tudomány nem ad választ ezekre a kérdésekre, és minden valószínűség szerint hamarosan nem is fog. Lehetséges-e objektíven mérni az információ mennyiségét? Az információelmélet legfontosabb eredménye a következő következtetés:

Bizonyos, nagyon tág feltételek mellett elhanyagolható az információ minőségi jellemzői, mennyiségét számokkal fejezhetjük ki, és a különböző adatcsoportokban található információ mennyiségét is összehasonlíthatjuk.

Napjainkban elterjedtek az „információ mennyisége” fogalmának meghatározásának megközelítései, amelyek azon alapulnak, hogy az üzenetben foglalt információ újszerűsége értelmében lazán értelmezhető, vagy más szóval csökkenti az információ mennyiségének bizonytalanságát. tudásunk a tárgyról. Ezek a megközelítések matematikai fogalmakat használnak valószínűségekÉs logaritmus.

Az információmennyiség meghatározásának megközelítései. Hartley és Shannon képletek.

amerikai mérnök R. Hartley 1928-ban az információszerzés folyamatát úgy tekintették, mint egy üzenetet egy véges, előre meghatározott, N egyenlő valószínűségű üzenetből álló halmazból, és a kiválasztott üzenetben lévő I információmennyiséget N bináris logaritmusként határozták meg.

Hartley-képlet: I = log 2 N

Tegyük fel, hogy egy számot kell kitalálnia egytől százig terjedő számkészletből. A Hartley-képlet segítségével kiszámíthatja, hogy mennyi információra van szükség ehhez: I \u003d log 2 100 \u003d 6,644. Így egy helyesen kitalált számról szóló üzenet körülbelül 6,644 információegységnek megfelelő mennyiségű információt tartalmaz.

Itt vannak mások példák a kiegyenlíthető üzenetekre:

érme feldobásakor: "a farok kiesett", "leesett a sas";

a könyv oldalán: "a betűk száma páros", "páratlan betűk száma".

Most határozzuk meg, hogy az üzenetek egyenértékűek-e "a nő lesz az első, aki elhagyja az épület ajtaját"És "a férfi lesz az első, aki elhagyja az épület ajtaját". Erre a kérdésre nem lehet egyértelműen válaszolni. Minden attól függ, hogy milyen épületről beszélünk. Ha ez például egy mozi, akkor annak a valószínűsége, hogy először menjen ki az ajtón egy férfi és egy nő esetében, és ha ez egy katonai laktanya, akkor egy férfi esetében ez a valószínűség sokkal nagyobb, mint egy nő esetében. .

Az ilyen jellegű problémákra egy amerikai tudós Claude Shannon 1948-ban egy másik képletet javasolt az információ mennyiségének meghatározására, figyelembe véve a halmazban lévő üzenetek lehetséges egyenlőtlen valószínűségét.

Shannon-képlet: I = - (o 1 log 2 p 1 +p 2 log 2 p 2 + . . . +p N log 2 p N ), ahol p én- annak a valószínűsége én Az edik üzenet van kiválasztva az N üzenetből álló halmazban.

Könnyen belátható, hogy ha a valószínűségek p 1 , ..., p N egyenlőek, akkor mindegyik az 1/N, és Shannon képlete Hartley képletévé változik.

Az információmennyiség meghatározásának két megfontolt megközelítésén kívül más is létezik. Fontos megjegyezni, hogy bármely elméleti eredmény csak az esetek bizonyos körére alkalmazható, a kezdeti feltételezések szerint.

Információs egységként Claude Shannon azt javasolta, hogy vegyen egyet bit (angol. bit - kettős narry digit - bináris számjegy).

Bitinformációelméletben- a két egyformán valószínű üzenet (például "fejek" - "farok", "páros" - "páratlan" stb.) megkülönböztetéséhez szükséges információ mennyisége. A számítástechnikában A bit a számítógépmemória legkisebb „része”, amely az adatok és parancsok gépen belüli megjelenítéséhez használt „0” és „1” karakterek egyikének tárolásához szükséges.

A bit túl kicsi mértékegység. A gyakorlatban gyakrabban használnak nagyobb egységet - byte egyenlő nyolc bittel. Nyolc bit szükséges a számítógép billentyűzet ábécéjének 256 karakterének bármelyikének kódolásához (256=28).

Még nagyobb származtatott információs egységeket is széles körben használnak:

1 kilobyte (KB) = 1024 bájt = 210 bájt,

1 megabájt (MB) = 1024 KB = 2 20 bájt,

1 Gigabyte (GB) = 1024 MB = 230 bájt.

A közelmúltban a feldolgozott információ mennyiségének növekedése miatt olyan származtatott egységek, mint:

1 terabájt (TB) = 1024 GB = 2 40 bájt,

1 petabájt (PB) = 1024 TB = 250 bájt.

Egy információegységhez meg lehet választani, hogy mennyi információ szükséges például tíz egyformán valószínű üzenet megkülönböztetéséhez. Ez nem bináris (bit), hanem decimális (dit) információegység lesz.

Korábban már említettük, hogy a Hartley-képlet a Shannon-féle kiegyenlített alternatívák képletének speciális esete.

Helyettesítés az (1) képletbe p én annak (feltehető esetben független a én) értéket kapunk:

Így Hartley képlete nagyon egyszerűnek tűnik:

(2)

Ebből egyértelműen következik, hogy minél több az alternatíva ( N), annál nagyobb a bizonytalanság ( H). Ezeket a mennyiségeket a (2) képletben nem lineárisan, hanem bináris logaritmuson keresztül viszonyítjuk. A logaritmus a 2. bázisra, és az opciók számát információegységekre - bitekre - hozza.

Vegye figyelembe, hogy az entrópia csak akkor lesz egész szám, ha N 2 hatványa, azaz. Ha N sorozathoz tartozik: {1, 2, 4, 8, 16, 32, 64, 128, 256, 512, 1024, 2048…}

Rizs. 10. Az entrópia függése az ekvivalens választások számától (ekvivalens alternatívák).

Emlékezzünk vissza, mi a logaritmus.

Rizs. 11. A logaritmus keresése bésszel a talál fokozat, amelyre fel kell emelni a, Megszerezni b.

A 2-es alapú logaritmus ún bináris:

log 2 (8)=3 => 2 3 =8

log 2 (10) = 3,32 => 2 3,32 = 10

A 10-es bázis logaritmusát nevezzük decimális:

log 10 (100) = 2 => 10 2 = 100

A logaritmus főbb tulajdonságai:

log(1)=0 mert a nulla hatványhoz tartozó bármely szám 1-et ad;

log(a b)=b*log(a);

log(a*b)=log(a)+log(b);

log(a/b)=log(a)-log(b);

log(1/b)=0-log(b)=-log(b).

Inverz problémák megoldása, ha a bizonytalanság ismert ( H) vagy az eltávolítás eredményeként megszerzett információ mennyisége ( én), és meg kell határoznia, hogy hány kiegyenlíthető alternatíva felel meg ennek a bizonytalanságnak, használja a fordított Hartley-képletet, amely még egyszerűbbnek tűnik:

(3)

Például, ha ismert, hogy annak megállapítása eredményeként, hogy a számunkra érdekes Kolja Ivanov a második emeleten lakik, 3 bit információ érkezett, akkor a ház emeleteinek száma képlettel határozható meg. (3), mint N=2 3 =8 emelet.

Ha a kérdés a következő: „8 emelet van a házban, mennyi információt kaptunk, amikor megtudtuk, hogy a második emeleten lakik a számunkra érdekes Kolja Ivanov?”, akkor képletet kell használnia ( 2): én= log 2 (8)=3 bit.

1. Az üzenetküldési folyamat során kapott információ mennyisége

Eddig képleteket adtunk az entrópia (bizonytalanság) kiszámítására H, jelezve ezt H helyettesíthetik őket én, mert a kapott információ mennyisége teljes eltávolításávalbizonytalanság néhány helyzet mennyiségileg megegyezik ennek a helyzetnek a kezdeti entrópiájával.

De a bizonytalanság csak részben távolítható el, tehát az információ mennyiségeén, amely valamilyen üzenetből származik, a következőképpen kerül kiszámításra megszerzése következtében bekövetkezett entrópia csökkenés adott üzenetek.

(4)

Egy valószínű esetre, a Hartley-képlet segítségével az entrópia kiszámításához a következőket kapjuk:

(5)

A második egyenlőséget a logaritmus tulajdonságai alapján vezetjük le. Így a kiegyensúlyozott esetben én attól függ hányszor a mérlegelt választási lehetőségek száma megváltozott (a figyelembe vett sokféleség).

Az (5) alapján a következőkre következtethetünk:

Ha
, Azt
- a bizonytalanság teljes megszüntetése, az üzenetben kapott információ mennyisége megegyezik az üzenet beérkezése előtti bizonytalansággal.

Ha
, Azt
- a bizonytalanság nem változott, ezért nem kaptunk információt.

Ha
, Azt
=>
, Ha
,
=>
. Azok. a kapott információ mennyisége akkor lesz pozitív, ha az üzenet fogadása következtében a mérlegelt alternatívák száma csökkent, és negatív, ha nőtt.

Ha az üzenet kézhezvétele következtében felére csökken a mérlegelt alternatívák száma, pl.
, Azt I=log 2 (2) = 1 bit. Más szóval, 1 bit információ fogadása kizárja az egyenértékű opciók felét a mérlegelésből.

Tekintsünk példának egy kísérletet egy 36 lapból álló paklival.

Rizs. 12. Illusztráció egy kísérlethez egy 36 lapból álló paklival.

Hadd vegyen valaki egy lapot a pakliból. Érdeklődünk, hogy a 36 kártya közül melyiket vette elő. A (2) képlettel számított kezdeti bizonytalanság az H= log 2 (36)  5,17 bites. A kártya felhúzója elmond nekünk néhány információt. Az (5) képlet segítségével meghatározzuk, hogy mennyi információt kapunk ezekből az üzenetekből:

választási lehetőségA. "EzgokartApiros ruhák”.

I=log 2 (36/18)=log 2 (2)=1 bit (fél piros lap van a pakliban, a bizonytalanság 2-szeresére csökkent).

választási lehetőségB. "EzgokartAcsúcs ruhák”.

I=log 2 (36/9)=log 2 (4)=2 bit (a pikk lapjai a pakli negyedét teszik ki, a bizonytalanság 4-szeresére csökkent).

Opció C. "Ez az egyik legmagasabb lap: bubi, dáma, király vagy ász."

I=log 2 (36)–log 2 (16)=5,17-4=1,17 bit (a bizonytalanság több mint kétszeresére csökkent, így a kapott információ mennyisége több mint egy bit).

választási lehetőségD. – Ez az egyik kártya a pakliból.

I=log 2 (36/36)=log 2 (1)=0 bit (a bizonytalanság nincs csökkentve – az üzenet nem tájékoztató jellegű).

választási lehetőségD. „Ez egy hölgycsúcs".

I = log 2 (36/1) = log 2 (36) = 5,17 bit (a bizonytalanság teljesen megszűnik).

Előzetesen ismert, hogy a labda a három urnában van: A, B vagy C. Határozza meg, hány bit információt tartalmaz az üzenet, hogy a B urnában van. Opciók: 1 bit, 1,58 bit, 2 bit, 2,25 bit.

Az első esemény valószínűsége 0,5, a második és a harmadiké 0,25. Mi az információs entrópia egy ilyen eloszlásnál. Opciók: 0,5 bit, 1 bit, 1,5 bit, 2 bit, 2,5 bit, 3 bit.

Íme néhány szervezet alkalmazottainak listája:

Határozza meg a hiányzó információk mennyiségét az alábbi kérések teljesítéséhez:

Kérem, hívja Ivanovát telefonon.

Érdekel az egyik alkalmazottja, 1970-ben született.

Melyik üzenet tartalmaz több információt:

Az érme feldobása következtében (fejek, farok) farok esett ki.

A közlekedési lámpák (piros, sárga, zöld) most zöldek.

Kockadobás (1, 2, 3, 4, 5, 6) eredményeként 3 pont esett ki.