Теорема Шеннона — Хартлі

Матеріал з Вікіпедії — вільної енциклопедії.
Перейти до: навігація, пошук

Теорема Шеннона — Хартлі в теорії інформації — застосування теореми кодування каналу з шумом до архетипічного випадку безперервного тимчасового аналогового каналу комунікацій, спотвореного гаусівським шумом. Теорема встановлює шеннівську ємність каналу — верхню межу максимальної кількості безпомилкових цифрових даних (тобто, інформації), яке може бути передане за такою комунікацією із зазначеною смугою пропущення в присутності шумового втручання, згідно з припущенням, що потужність сигналу обмежена, і гаусівський шум характеризується певною потужністю або потужністю спектральної густини. Закон названий на честь Клода Шеннона і Ральфа Хартлі.

Твердження теореми[ред.ред. код]

Розглядаючи всі можливі багаторівневі і багатофазні методи кодування, теорема Шеннона — Хартлі стверджує, що ємність каналу C, що означає теоретичну верхню межу швидкості передачі даних, які можна передати з даною середньою потужністю сигналу S через аналоговий канал зв'язку, підданий дії аддитивного білого гаусівського шуму потужності N дорівнює:

C=B\log_2\left(1+\frac{S}{N}\right),

де

C — ємність каналу, біт/с;
B — полоса пропускання каналу, Гц;
S — повна потужність сигналу над полосою пропускання, Вт або В²;
N — повна шумова потужність над полосою пропускання, Вт або В²;
S/N — відношення сигнала до шуму (SNR) сигналу до гаусівському шуму, виражене як відношення потужностей.

Історія розвитку[ред.ред. код]

Протягом кінця 1920-х рр.. Гаррі Найквіст і Ральф Хартлі розробили фундаментальні ідеї, пов'язані з передачею інформації, з допомогою телеграфу, як системи комунікацій. У той час, це був прорив, але науки як такої не існувало. У 1940х рр.., Клод Шеннон ввів поняття здатності каналу, яке базувалося на ідеях Найквіста і Хартлі, а потім сформулював повну теорію передачі інформації.

Критерій Найквіста[ред.ред. код]

У символьному вигляді:

 f_p \leqslant 2B,

де  f_p  — частота імпульсу (імп/с), і B — смуга пропускання (Гц).

Теореми Шеннона для каналу з шумами[ред.ред. код]

Теореми Шеннона для каналу з шумами (теореми Шеннона для передачі каналом із шумами) пов'язують пропускну здатність каналу передачі інформації та існування коду, який можливо використовувати для передачі інформації каналом із помилкою, яка прямує до нуля (при збільшенні довжини блоку).

Якщо швидкість передачі повідомлень менше пропускної здатності каналу зв'язку

 R <C,

то існують коди і методи декодування такі, що середня і максимальна ймовірності помилки декодування прямують до нуля, коли довжина блоку прямує до нескінченності. Якщо ж

 R> C,

то коду, на основі якого можна домогтися скільки завгодно малої ймовірності виникнення помилки, не існує.


Деталі[ред.ред. код]

У даній теоремі визначено, що досягти максимальної швидкості (біт/с) можна шляхом збільшення смуги пропускання та потужності сигналу і, в той же час, зменшення шуму.

Теорема Шеннона — Хартлі обмежує інформаційну швидкість (біт/с) для заданої смуги пропускання і відношення «сигнал/шум». Для збільшення швидкості необхідно збільшити рівень корисного сигналу, відносно рівня шуму.

Якби існувала нескінченна смуга пропускання, бесшумовой аналоговий канал, то нею можна було б передати необмежену кількість безпомилкових даних за одиницю часу. Реальні канали мають обмежені розміри і в них завжди присутній шум.

Дивно, але не тільки обмеження смуги пропускання впливають на кількість переданої інформації. Якщо ми комбінуємо шум і обмеження смуги пропускання, ми дійсно бачимо, що є межа кількості інформації, яку можна було передати, навіть використовуючи багаторівневі методи кодування. У каналі, який розглядає теорема Шеннона — Хартлі, шум і сигнал доповнюють один одного. Таким чином, приймач сприймає сигнал, який дорівнює сумі сигналів, що кодує потрібну інформацію і безперервну випадкову, яка представляє шум.

Це доповнення створює непевність щодо цінності оригінального сигналу. Якщо приймач володіє інформацією про ймовірність непотрібного сигналу, який створює шум, то можна відновити інформацію у оригінальному вигляді, розглядаючи всі можливі впливи шумового процесу. У випадку теореми Шеннона — Хартлі шум, як такий, створений гаусівським процесом з деякими відхиленнями в каналі передачі. Такий канал називають сукупним білим гауссовских шумовим каналом, так як гауссовский шум є частиною корисного сигналу. «Білий» має на увазі рівність кількості шуму у всіх частотах у межах смуги пропускання каналу. Такий шум може виникнути при впливі випадкових джерел енергії, а також бути пов'язаний з помилками, що виникли при кодуванні. Знаючи про ймовірність виникнення гауссовского шуму, значно спрощується визначення корисного сигналу.

Значення теореми[ред.ред. код]

Пропускна здатність каналу і формула Хартлі[ред.ред. код]

Порівнюючи пропускну здатність каналу і формулу Хартлі, ми можемо знайти ефективне число M рівнів, які можна розрізнити:

 2B \log_2 M = B \log_2 \left (1 + \frac {S} {N} \right),
 M = \sqrt {1 + \frac{S}{N}}.

Взяття квадратного кореня по суті повертає відношення потужностей до відношення напруг, таким чином число рівнів приблизно дорівнює відношенню середньоквадратичної амплітуди сигналу до шумового стандартного відхилення. Цю подібність у формі між пропускною здатністю за Шенноном і формулою Хартлі не варто розуміти буквально, що для безпомилкової передачі достатньо  M рівнів сигналу. Надлишкове кодування для усунення помилок зажадає більшого числа рівнів, але гранична швидкість передачі даних, до якої можна наблизитись з кодуванням, еквівалентна використанню того самого  M з формули Хартлі.

Див. також[ред.ред. код]

Посилання[ред.ред. код]

  • Herbert Taub, Donald L. Schilling (1986). Principles of Communication Systems. McGraw-Hill. 
  • John M. Wozencraft and Irwin Mark Jacobs (1965). Principles of Communications Engineering. New York: John Wiley & Sons.