А   Б  В  Г  Д  Е  Є  Ж  З  І  Ї  Й  К  Л  М  Н  О  П  Р  С  Т  У  Ф  Х  Ц  Ч  Ш  Щ  Ю  Я 


Формула - Хартлі

Формула Хартлі має цілком очевидну аналогію з формулою Больцмана, яка, як відомо, встановлює функціональний зв'язок між ентропією і ймовірністю. Роль формули Больцмана в розвитку сучасної науки досить велика.

За формулою Хартлі отримаємо Н Iog2274 76 біт.

У формулі Хартлі вибір підстави логарифмів означає вибір одиниць, в яких брало вимірюється невизначеність.

У формулі Хартлі вибір підстави логарифмів означає вибір одиниць, в яких брало вимірюється невизначеність. Коли результати нерав-новероятни, то невизначеність залежить не тільки від числа випадків, але і від їх ймовірностей.

Відповідно до формули Хартлі, ентропія (ступінь невизначеності) літери дорівнює Щ Iog2325 біт. Так як ймовірності появи всіх букв в даному досвіді рівні, то ентропія Щ є максимальна ентропія букви; вона відповідає найбільшому безладу в системі текст на основі російського алфавіту. Зрозуміло, що такий текст ні в якій мірі не схожий на звичайний текст, який використовується на практиці. Його навіть озвучити неможливо, не кажучи вже про явну безглуздість написаного.

У формулі Хартлі вибір підстави логарифмів означає вибір одиниць, в яких вимірюється невизначеність.

Це і є формула Хартлі - Кранка.

Ця формула отримала назву формули Хартлі і показує, що кількість інформації, необхідне для зняття невизначеності про систему з рівноімовірними станами, залежить лише від кількості цих станів.

Другий варіант формули Шеннона і формула Хартлі зручніше при оцінці кількості інформації стосовно до автоматизованих систем управління виробництвом і технологічними процесами.

Її максимум досягається, як ми вже знаємо, коли все N можливих значень елементарного сигналу різновірогідні; він становить, згідно з формулою Хартлі (2), log2Arбіт /елементарний сигнал.

Отже, ємність каналу обмежується двома величинами: шириною смуги каналу і шумом. Співвідношення (825) відомо як формула Хартлі - Шеннона і вважається основною в теорії інформації. Смуга частот і потужність сигналу входять в формулу таким чином, що для С const при звуженні смуги необхідно збільшувати потужність сигналу, і навпаки.

За якої умови формула Шеннона переходить в формулу Хартлі.

Відома велика кількість робіт, присвячених фізичної трактуванні інформації. Ці роботи в значній мірі побудовані на основі аналогії формули Больцмана, яка описує ентропію статистичної системи матеріальних частинок, і формули Хартлі.

Як приклад визначимо кількість інформації, пов'язане з появою кожного символу в повідомленнях, записаних російською мовою. Будемо вважати, що російський алфавіт складається з 33 букв і знака пробіли для розділення слів. За формулою Хартлі Н Iog2345 09 біт.

Скористаємося для підрахунку Н формулою Шеннона: Н 472 біт. Величина Н, що обчислюється за формулою Хартлі, є максимальною кількістю інформації, яка могла б припадати на один знак.

Вираз (6) є формулою Хартлі для заходи інформації, яка в 1928 році була запропонована їм в якості міри невизначеності ситуації з т рівно можливими наслідками.

Наявність невизначеності пов'язують з наявністю безладу (точніше сказати, разупорядоченності), а усунення невизначеності - з упорядкуванням. Тут доречно згадати, що ентропія стану системи може розглядатися як міра разупорядоченності (безладдя) для даного стану. Повідомлення системі кількості інформації Н log2jV призводить до відповідного зменшення ступеня її невизначеності, що відповідає підвищенню ентропії системи на величину S k In W, якщо в якості рівно можливих варіантів розглядати рівноімовірні мікростану. Ми приходимо до важливого висновку: величина Н у формулі Хартлі (вимірює ступінь невизначеності досвіду, або, що те ж саме, кількість інформації, пов'язане з цим досвідом) може інтерпретуватися як ентропія, що розглядається з більш загальної точки зору - коли рівноімовірні варіанти не зводяться тільки до рівноймовірної микростанів фізичної макросистеми.