Клод Элвуд Шеннон (1916 – 2001 гг.) –
американский инженер, криптоаналитик и математик.
Именно он создал науку «теория информации» и «алгеброй проверял» не только музыку, но и общение, игры, физические и биологические системы. По мнению исследователей, вклад Шеннона в создание компьютера равноценен вкладу создателя алфавита в литературу.
В 1936 г. Клод оканчивает Мичиганский университет, получив степень бакалавра по специальностям математика и электротехника, и устраивается в Массачусетский технологический институт (MIT), где работал ассистентом-исследователем на дифференциальном анализаторе Ванневара Буша— аналоговом компьютере
Дифференциальный анализатор Буша, осень 1931 г.
По совету Буша Шеннон решил работать над докторской диссертацией по математике в MIT. Она получила название «Алгебра теоретической генетики» и была завершена весной 1940 года. Однако эта работа не была выпущена в свет вплоть до 1993 года, пока она не появилась в сборнике Шеннона «Collected Papers». Его исследования могли стать весьма важными в противном случае, но бо́льшая часть этих результатов была получена независимо от него. Итак, Шеннон получает докторскую степень по математике и степень магистра по электротехнике.
К 1948 г. инженер сформулировал свой главный тезис: «Информация - преодоление неопределённости». Он пришёл к выводу, что информацию любого типа можно закодировать как серию ответов «да» и «нет».
Открытие Шеннона лежит основу его магистерской диссертации 1937 года, посвященной анализу переключателей электросистем. В работе впервые появилась единица измерения информации - бит. Именно поэтому Клод Шеннон считается создателем науки “теория информации”
Теория информации- информатики, относящийся к измерению количества информации, её свойств и устанавливающий предельные соотношения для систем передачи данных. Теория оперирует математическими моделями, а не реальными физическими объектами. Использует, главным образом, математический аппарат теории вероятностей и математической статистики.
Клод Шеннон предложил ввести меру количества информации с помощью статистической формулы энтропии (энтропия связывается с термодинамической вероятностью состояния системы).
I – количество информации
N – количество возможных событий
Pi – вероятности отдельных событий
Теоремы Клода Шеннона
Теорема для канала с шумами
Для канала с помехами существует такой способ кодирования, при котором обеспечивается безошибочная передача всех сообщений источника, если только пропускная способность канала превышает производительность источника, т.е. Ck>Vu.
Теорема Шеннона-Хартли
Теорема устанавливает шенноновскую ёмкость канала, верхнюю границу максимального количества безошибочных цифровых данных (то есть, информации), которое может быть передано по такой связи коммуникации с указанной полосой пропускания в присутствии шумового вмешательства, согласно предположению, что мощность сигнала ограничена, и гауссовский шум характеризуется известной мощностью или спектральной плотностью мощности
:
Теорема для источника без памяти
Для источника без памяти U с энтропией H(U) и любого ε>0 существует последовательность множеств однозначного декодирования ML мощности 2L(1+e)H(U)
такая, что вероятность множества неоднозначного декодирования стремится к нулю P(M_L^C) →0 при увеличении длины блока L→∝. Другими словами, сжатие возможно.
Теорема для источника общего вида
Если пропускная способность канала без помех превышает производительность источника сообщений, т.е. удовлетворяется условие Ck (информационная пропускная способность канала) >Vu (информационная производительность источника), то существует способ кодирования и декодирования сообщений источника, обеспечивающий сколь угодно высокую надежность передачи сообщений. В противном случае, т.е. если Ck<Vu такого способа нет.
Теорема об источнике шифрования
Теорема показывает, что (когда в потоке независимо и одинаково распределённых случайных переменных количество данных стремится к бесконечности) невозможно сжать данные настолько, что оценка кода (среднее число бит на символ) меньше, чем энтропия Шеннона исходных данных, без потери точности информации.
В 1949 году Клод Шеннон опубликовал статью "Теория связи в секретных системах", поставившую криптографию в ранг науки.
Шеннон доказал существование абсолютно стойких, невскрываемых шифров, и сформулировал условия, необходимые для этого; определил основные принципы, которым должны соответствовать надежные шифры. Именно он ввел в рассмотрение понятия перемешивания и рассеивания, и предложил строить стойкие криптографические системы из относительно несложных преобразований.
Модель Шеннона для криптосистемы
• Клод Шеннон - основатель теории информации, нашедшей применение в современных высокотехнологических системах связи;
• Предоставил фундаментальные понятия, которые в формируют основу для современных коммуникационных технологий;
• В 1948 году предложил использовать слово «бит» для обозначения наименьшей единицы информации;
• Статьи Шеннона считаются основополагающими для теории информации и криптографии;
• Первым сформулировал теоретические основы криптографии и ввёл в рассмотрение многие основные понятия.
