Принцип разделения источника и канала. Проверка формулы Шеннона презентация

Содержание

Дискретный источник Дискретный источник характеризуется с помощью случайной переменной X, при этом задается алфавит A(возможные исходы) и вероятностное распределение P символов алфавита Примеры Бросание монеты: P(X=О)=P(X=Р)=1/2 Бросание кубика: P(X=k)=1/6, k=1,2,3,4,5,6 Раздача

Слайд 1Роль кодирования источника(сжатие данных):
Облегчение хранения и передачи путем устранения
избыточности

источника

Принцип разделения источника и канала

Роль кодирования канала:

Борьба с ошибками в канале для надежной передачи данных


Слайд 2Дискретный источник
Дискретный источник характеризуется с помощью случайной переменной X, при этом

задается алфавит A(возможные исходы) и вероятностное распределение P символов алфавита
Примеры
Бросание монеты: P(X=О)=P(X=Р)=1/2
Бросание кубика: P(X=k)=1/6, k=1,2,3,4,5,6
Раздача карт: P(X=П)=P(X=Ч)=P(X=Т)=P(X=Б)=1/4


Слайд 3Вычисление неопределенности события
вероятность события x
1
0
0

примечания
должно произойти
(нет неопределнности)
навряд ли произойдет
(бесконечное

количество неопределенности)

Информация простого события

h(p)- разумная мера количества информации


Слайд 4Взвешенная информация простого события
0
1
0

1/2
1
0
0
1/2
При возрастании p от 0 до 1, взвешенная

информация

Сначала возрастает, а затем убывает


Слайд 5p=1/e
Максимум взвешенной информации


Слайд 6Формула Шеннона для энтропии источника


H(X) – разумная мера ожидаемого количества информации


Слайд 7Пример (бернуллиевский источник)
Бросание монеты с вероятностью выпадания орла p (0

случаи:

При p стремящемся к нулю, H(X) стремится к 0 бит → наибольшее сжатие

При p стремящемся к половине, H(X) стремится к 1 бит → никакое сжатие не поможет


Слайд 8Энтропия бернуллиевского источника


Слайд 9Некоторые свойства H(X)
Неотрицательная
Максимум достигается при равномерном распределении


Слайд 10Какая польза от H(X)?
Первая теорема Шеннона (Шеннона-Хартли)
Для дискретного источника без памяти

X, его
энтропия H(X) определяет минимальную среднюю
длину кода, необходимую для кодирования
источника


Грубая оценка: результаты N исходов источника могут быть сжаты до NH(X) бит


Слайд 11Избыточность кода источника
Теоретическая граница
Практическое значение


Слайд 12Проверка формулы Шеннона. Игра в числа


Слайд 13Проверка формулы Шеннона.
Игра в «Морской бой» (упрощенная)


Слайд 14Лотерея с «неправильной» монетой
Номера билетов:
0000…………….00
0000…………….01
0000…………….10
…………………….
1111…………….11

Стоимость билетов –
100 руб.
Выигрышный номер определяется

подбрасыванием N=1000 раз «неправильной» монеты: p(x=орел)=0,1; p(x=решка)=0,9
Выигрыш – 100 000 000 000руб.

Вопрос 1. Если Вам нужно выбрать только один билет, который из номеров Вы выберете?

Вопрос 2. Чтобы гарантировать 99% успеха, сколько билетов надо купить и какие из билетов?


Слайд 15Литература для чтения

М.Вернер. Основы кодирования.
Глава 2, Глава 3.


Обратная связь

Если не удалось найти и скачать презентацию, Вы можете заказать его на нашем сайте. Мы постараемся найти нужный Вам материал и отправим по электронной почте. Не стесняйтесь обращаться к нам, если у вас возникли вопросы или пожелания:

Email: Нажмите что бы посмотреть 

Что такое ThePresentation.ru?

Это сайт презентаций, докладов, проектов, шаблонов в формате PowerPoint. Мы помогаем школьникам, студентам, учителям, преподавателям хранить и обмениваться учебными материалами с другими пользователями.


Для правообладателей

Яндекс.Метрика