Теорія інформації

Матеріал з Вікіпедії — вільної енциклопедії.
Перейти до: навігація, пошук

Теóрія інформáції — це розділ математики, який досліджує процеси зберігання, перетворення і передачі інформації. Теорія інформації тісно пов’язана з такими розділами математики як теорія ймовірностей і математична статистика. Вона пов’язана з інформаційною ентропією, комунікаційними системами, криптографією, корекцією помилок і іншими важливими областями.


Аксіоми теорії інформації:[ред.ред. код]

1. Інформація є лише там, де функціонують пристрої керування.

2. Інформація зберігається і передається тільки на матеріальному носії.

3. Інформація має ідеальний характер.

4. Інформація має різні форми.

Базові закони теорії інформації:[ред.ред. код]

Закон 1: на отримання інформації будь-яка кібернетична система витрачає не менше деякої мінімальної кількості енергії.

Закон 2: кількість інформації, яку отримує кібернетична система в процесі розпізнавання після прийняття певного сигналу, дорівнює логарифму при основі m від кількості варіантів вибору, що передували розпізнаванню.

Закон 3: що меншою є ймовірність завершення якогось випробування з певним результатом, то більше інформації для будь-якої кібернетичної системи несе саме цей результат, і навпаки.

Закон 4: будь-які сигнали, отримані кібернетичною системою, впливають на цю систему.

Історія[ред.ред. код]

Виникнення теорії інформації зазвичай пов’язують із появою у 1948 р. фундаментальної праці американського вченого Клода Шеннона „Математична теорія зв’язку”.

Теорія Шеннона (якого вважають „батьком” теорії інформації), з самого початку розглядалась як точно сформульована математична задача і дала можливість інженерам визначати ємність комунікаційного каналу.

Властивості інформації[ред.ред. код]

  1. Вірогідність – відповідність відображуваному об'єктові або реальному стану об'єктивної дійсності при відсутності прихованих помилок у такій інформації.
  2. Повнота – властивість інформації, що дозволяє характеризувати об'єкт вичерпним для споживача засобом, що й надає можливість ухвалювати на основі такої інформації управлінські рішення.
  3. Релевантність – відповідність потребам споживача, що характеризує, наскільки інформація сприяє досягненню поставлених перед споживачем цілей і завдань.
  4. Доступність – можливість одержання будь-яким споживачем.
  5. Актуальність – відповідність інформації теперішньому моменту часу.
  6. Коректність – властивість, що полягає в такому її зображенні, щоб інформація однозначно сприймалася всіма її споживачами.
  7. Захищеність – неможливість несанкціонованого доступу й цілеспрямованого спотворення інформації.
  8. Ергономічність – достатність обсягу і форми інформації для даного споживача.

Кодування інформації[ред.ред. код]

Кодування являє собою перехід від повідомлення на вході каналу зв'язку до коду повідомлення на виході, а декодування - зворотний процес переходу від коду повідомлення на виході каналу зв'язку до повідомлення на вході, при цьому повідомлення на вході й виході з каналу зв'язку повинні збігатися.

Більш суворо задачу кодування можна сформулювати в такий спосіб. Нехай є два алфавіти: алфавіт A, що складається з n символів і алфавіт B, що складається з m символів. Під алфавітним кодуванням розуміють таке відображення F, яке кожному слову з непустої підмножини слів з алфавіту A ставить у відповідність деяке слово з алфавіту B. Слова з алфавіту B називаються кодовими послідовностями або кодами. Традиційно, відображення F задається у вигляді деякого алгоритму й повинне задовольняти наступним вимогам:

  • взаємна однозначність, тобто можливість для кожного повідомлення однозначно побудувати його код і, обернено, по кожному коду однозначно відновити вихідне повідомлення;
  • завадостійкість, тобто можливість виявляти і виправляти помилки, які можуть виникнути при передачі коду повідомлення по каналу зв'язку під впливом джерела шуму;
  • економність, тобто можливість побудови кодів мінімальної довжини для повідомлень, що зустрічаються найчастіше (реалізація ефективного стиснення).

Побудова ефективного алгоритму кодування – це пошук компромісу між другою і третьою вимогами, які суперечать одна одній, оскільки завадостійкість досягається за рахунок збільшення довжини кодових послідовностей.

Кількість інформації[ред.ред. код]

Ентропійний підхід[ред.ред. код]

В основі теорії інформації лежить запропонований Шенноном спосіб обчислення кількості інформації як випадкової величини відносно іншої випадкової величини. Для дискретних випадкових величин X і Y, заданих законами розподілу P(X = X_i) = p_i,  P(Y = Y_j) = q_j і спільним законом розподілу P(X = X_i, Y = Y_j) = p_{i,j}, кількість інформації в X відносно Y, дорівнює

 I(X, Y) = \sum_{i,j} p_{i,j} \log_2 \frac{p_{i,j}}{p_i q_j}

Кількість інформації в повідомленні визначається тим, наскільки зменшиться невизначеність після одержання повідомлення. З цього погляду, кількість інформації, що міститься в отриманому повідомленні тим більше, чим більше була невизначеність до передачі повідомлення.

Об'ємний підхід[ред.ред. код]

Під обсягом інформації в повідомленні мають на увазі кількість символів цього повідомлення. Обсяг інформації – це досить груба кількісна характеристика інформації, оскільки суттєво залежить від форми подання інформації.

Алгоритмічний підхід[ред.ред. код]

Згідно з алгоритмічним підходом за кількість інформації приймається значення деякої функції від складності кожного з об'єктів і довжини програми (алгоритму) перетворення одного об'єкта в іншій. Інтуїтивно зрозуміло, що комп'ютерна програма, яка друкує повідомлення, що містить тільки нулі, украй проста. Усе, що потрібно робити цій програмі, – це друкувати один і той самий символ – нуль. Якщо ж повідомлення являє собою деяку послідовність, яка не підпорядковується ніяким закономірностям, то таке повідомлення не може бути реалізоване жодною «простою» програмою. У цьому випадку, довжина програми буде близька до довжини самої послідовності. Таким чином, кількість інформації в повідомленні визначається складністю програми, яка здатна відтворити це повідомлення – послідовність символів.

 I = L[G(A,B)]

A – вхідний об'єкт; B – вихідний об'єкт; G – програма перетворення; L – функція отримання довжини програми (в бітах чи байтах).

Вадами цієї теорії є те, що вона:

  • в методі вимірювання як параметр використовує довжину алгоритму, який залежить від кількості утворюючих його елементів, що дають змогу перетворити один об'єкт на інший (чим дрібнішими є елементи, тим довшою виявляється програма перетворення);
  • не має методу, який дає змогу виміряти кількість інформації в одному об'єкті, оскільки для вимірювання їх завжди потрібно як мінімум два;
  • не враховує, що одна й та ж програма може бути призначена для перетворення не одного слова, а цілого класу об'єктів; при цьому така програма матиме сталу довжину, хоча для різних об'єктів кількість виконаних команд може бути різною.

Бібліографія[ред.ред. код]

Посилання[ред.ред. код]

Див. також[ред.ред. код]

Інформологія