Основной сложностью при работе с видео являются большие объемы
дискового пространства, необходимого для хранения даже
небольших фрагментов.
2. Статистическая избыточность. Подразделяется на
пространственную и временную. Под пространственной
избыточностью понимаются участки изображения, на которые
смежные пикселы практически одинаковы. Под временной –
не изменяемые во времени фрагменты изображения.
3. Избыточность по цвету и яркости - рассчитывается исходя из
ограниченной чувствительности человека к небольшим
изменениям цветов и яркости деталей изображения.
пиксел
Частоты: ►25 (PAL или SECAM), ► 30 (NTSC) кадров в секунду.
► CIF – Common Interchange Format
► QCIF – Quartered Common Interchange
Format
352×288
176×144
Поскольку CIF и QCIF ориентированы на крайне небольшие потоки,
с ними работают на частотах от 5 до 30 кадров в секунду.
R
G
B
Y
Cb
Cr
Режимы глубины цвета для RGB
8 бит/пиксел
256 цветов
16 бит/пиксел
65 535 цветов
24 бит/пиксел
16,7 млн. цветов
Режимы глубины цвета для YCrCb
7 бит/пиксел
4:1:1 или 4:2:2,
~2 млн. цветов
8 бит/пиксел
4:4:4,
~ 16 млн. цветов
высокая скорость компрессии
высокая скорость декомпрессии
произвольный доступ
быстрый поиск вперед/назад
показ кадров фильма в обратном направлении
аудиовизуальная синхронизация
устойчивость к ошибкам
редактируемость
масштабируемость
небольшая стоимость аппаратной реализации
Предъявляет одинаково
жесткие требования на время,
память и другие ресурсы
как при кодировании,
так и при декодировании.
(Видеопочта, видеотелефон,
видеоконференции, редактирование
и подготовка видеоматериалов)
Работают с каждым из кадров
отдельно.
Сжатие достигается с помощью
методов обработки изображений,
при этом может обрабатываться
либо все изображение целиком,
либо разбиваться на отдельные
блоки.
(Алгоритмы групп Wavelet и Jpeg.)
1
Полученное после декомпрессии
изображение и оригинал побитно не совпадают.
Большинство алгоритмов, распространенных в настоящее время, используют
сжатие с потерей данных.
Сжатие с
естественной
потерей качества
Сжатие с
неестественными
потерями качества
Характеризуется появле-нием воспринимаемых глазом, но незначительных искажений изображения: уменьшение детализации сцены, размытость вблизи резких границ и т. п.
Однако они мало влияют
на процесс зрительного восприятия картинки.
Низкое качество сжатия,
в значительной степени искажающее изображение
и вносящее в него искус-
ственные (не существую-щие в оригинале) детали сцены. Нарушение самых важных характеристик изображения - контуров.
Группа работала в трёх направлениях:
MPEG-Video - сжатие видеосигнала в поток со
скоростью до 1.5 Мбит/с,
MPEG-Audio - сжатие звука до 64, 128 или 192 Кбит/с
на канал,
MPEG-System - синхронизация видео- и
аудиопотоков.
8
8
16
16
Группа изображений (Group of Pictures, GOP)
Ключевой
кадр
Ключевой
кадр
Группа изображений (GOP)
Последовательность кадров GOP
I
B
B
P
Предсказание вперед
Двухсторонне предсказание
…
…
Sequence_header_code
Sequence_end_code
Y
X
Время
Технология сжатия видео в MPEG
236 223 245 255 239 136 37 25 25 40 42 44 43 35 41 53
205 216 220 232 188 70 18 51 51 36 39 53 53 40 41 52
179 179 194 213 229 163 54 24 24 12 19 44 54 41 40 45
174 179 193 221 195 87 20 15 15 42 34 46 49 36 42 53
228 230 249 231 243 255 238 189 189 92 64 57 47 26 31 41
217 210 227 239 231 233 201 102 102 50 26 26 30 15 20 21
194 207 226 220 218 226 221 201 201 74 36 29 24 8 11 18
214 207 219 224 244 249 216 166 166 75 53 54 54 45 33 34
154 152 170 179 195 201 183 152 152 185 114 45 15 23 28 34
146 142 162 171 185 173 155 123 123 93 49 17 10 37 54 53
79 169 93 116 150 176 201 204 204 235 219 202 140 78 62 65
108 97 124 152 181 199 217 219 219 232 216 184 99 30 29 42
131 91 95 129 179 201 206 194 194 187 197 223 226 241 255 243
107 83 94 134 173 187 189 180 180 181 198 221 215 223 223 225
210 199 152 164 176 194 165 115 115 102 118 177 206 225 237 243
201 169 130 166 191 186 133 102 110 127 184 213 217 226 237 235
192 179 187 207 184 82 5 0 0 17 19 31 30 40 46 42
182 192 177 182 146 27 0 25 25 13 16 37 37 38 40 35
156 156 151 170 181 120 28 0 0 0 0 27 38 40 38 28
184 189 172 200 174 67 5 0 0 23 14 40 43 39 44 47
238 240 228 210 223 249 224 174 174 73 45 51 41 28 33 36
254 247 225 236 231 234 197 98 98 39 16 39 43 34 39 39
232 244 224 218 218 227 217 197 197 64 25 42 37 27 29 37
240 233 190 197 217 222 169 119 119 17 0 26 26 15 2 15
181 179 147 151 169 174 137 105 105 128 57 17 0 0 0 15
216 211 166 176 184 176 120 88 88 47 0 0 0 8 25 42
148 139 58 121 153 178 166 169 169 184 168 183 120 49 33 53
131 119 71 99 127 143 115 117 117 116 94 99 14 0 0 0
153 113 41 75 125 147 106 92 92 65 75 138 141 144 164 171
124 100 43 85 129 143 99 91 91 80 98 153 147 140 140 149
227 216 102 113 132 150 76 26 26 1 17 108 138 142 154 168
214 180 111 142 135 132 76 43 68 96 156 188 192 203 191 190
236 223 245 255 239 136 37 25 25 40 42 44 43 35 41 53
205 216 220 232 188 70 18 51 51 36 39 53 53 40 41 52
179 179 194 213 229 163 54 24 24 12 19 44 54 41 40 45
174 179 193 221 195 87 20 15 15 42 34 46 49 36 42 53
228 230 249 231 243 255 238 189 189 92 64 57 47 26 31 41
217 210 227 239 231 233 201 102 102 50 26 26 30 15 20 21
194 207 226 220 218 226 221 201 201 74 36 29 24 8 11 18
214 207 219 224 244 249 216 166 166 75 53 54 54 45 33 34
154 152 170 179 195 201 183 152 152 185 114 45 15 23 28 34
146 142 162 171 185 173 155 123 123 93 49 17 10 37 54 53
79 169 93 116 150 176 201 204 204 235 219 202 140 78 62 65
108 97 124 152 181 199 217 219 219 232 216 184 99 30 29 42
131 91 95 129 179 201 206 194 194 187 197 223 226 241 255 243
107 83 94 134 173 187 189 180 180 181 198 221 215 223 223 225
210 199 152 164 176 194 165 115 115 102 118 177 206 225 237 243
201 169 130 166 191 186 133 102 110 127 184 213 217 226 237 235
187 183 181 190 180 146 125 125 125 132 133 138 138 146 148 146
192 195 184 185 172 132 127 134 134 129 131 137 137 140 140 138
184 184 175 182 183 163 135 126 126 127 126 133 137 140 140 135
201 203 188 198 186 151 130 129 129 133 130 139 140 139 141 142
214 215 203 199 202 211 204 187 187 150 141 143 139 136 137 139
226 225 208 210 210 211 201 168 167 146 138 149 150 148 150 152
223 224 208 207 208 210 206 201 201 154 141 150 148 146 147 152
220 219 193 195 199 200 181 165 165 126 122 133 133 129 124 133
205 204 180 181 186 187 171 160 160 164 140 130 126 125 124 32
231 229 200 202 202 202 175 164 164 145 128 130 132 130 135 146
212 177 160 188 195 202 187 188 188 185 182 192 170 144 138 149
196 192 158 167 174 177 157 157 157 152 145 150 121 124 124 124
203 190 147 159 173 178 156 151 151 135 139 163 164 161 169 176
187 179 149 164 178 181 158 157 157 151 154 174 173 167 167 167
215 213 169 173 179 182 155 138 138 129 134 163 172 167 170 174
211 205 179 187 175 175 161 149 161 174 188 194 195 198 187 187
137 137 131 132 129 129 132 134 133 136 136 134 134 138 138 146
150 149 141 142 136 136 135 136 135 132 133 126 126 126 126 131
150 150 142 141 136 136 136 136 135 131 132 125 126 126 126 131
156 155 146 146 139 140 138 138 139 132 131 123 123 121 121 127
141 140 133 142 136 128 138 138 137 132 132 123 123 121 121 127
144 147 142 136 140 139 149 149 149 147 147 143 142 144 144 151
155 149 143 146 147 142 145 149 149 147 147 142 143 144 144 151
146 150 148 146 146 133 144 144 144 139 139 133 133 132 133 139
159 159 149 150 144 144 144 143 143 140 140 132 131 132 132 10
177 179 174 170 163 169 167 167 168 157 157 145 144 142 141 145
191 150 185 182 172 167 158 156 156 142 150 146 145 142 141 145
186 186 175 175 167 161 155 154 154 149 153 141 141 132 131 139
186 186 175 174 167 159 161 161 161 153 153 140 141 137 135 140
169 169 176 176 173 166 168 173 173 173 165 151 154 151 151 137
149 155 176 176 171 162 181 182 182 186 186 164 158 150 144 137
154 169 179 174 165 167 181 179 180 185 165 151 149 144 138 138
234 221 237 250 231 128 34 24 24 41 43 45 44 42 48 62
214 225 221 232 186 68 20 51 51 35 38 49 49 38 39 51
188 188 195 214 226 161 55 25 24 12 18 40 50 39 38 44
192 197 200 228 198 91 24 19 19 41 33 42 45 32 38 51
237 239 248 236 244 254 241 192 192 91 63 53 43 22 27 40
233 228 235 243 238 240 213 114 114 60 36 37 41 28 33 37
217 226 234 230 229 235 231 213 213 84 46 40 35 21 24 35
229 224 226 230 244 248 218 168 168 72 51 52 52 43 31 37
177 175 179 187 200 206 185 154 154 183 112 43 14 22 26 217
187 184 190 197 206 198 173 141 141 103 58 24 18 41 57 62
128 177 121 149 177 200 213 215 215 235 224 209 147 82 65 73
147 135 143 171 195 209 217 218 218 226 211 178 93 27 26 42
169 129 114 148 193 211 209 197 197 182 192 217 220 231 245 238
134 110 114 155 193 202 198 192 192 192 204 223 219 223 223 218
225 218 172 184 195 207 182 133 133 120 136 187 213 225 233 236
219 195 157 190 204 200 156 123 135 156 201 223 226 232 236 234
192 179 187 207 184 82 5 0 0 17 19 31 30 40 46 42
182 192 177 182 146 27 0 25 25 13 16 37 37 38 40 35
156 156 151 170 181 120 28 0 0 0 0 27 38 40 38 28
184 189 172 200 174 67 5 0 0 23 14 40 43 39 44 47
238 240 228 210 223 249 224 174 174 73 45 51 41 28 33 36
254 247 225 236 231 234 197 98 98 39 16 39 43 34 39 39
232 244 224 218 218 227 217 197 197 64 25 42 37 27 29 37
240 233 190 197 217 222 169 119 119 17 0 26 26 15 2 15
181 179 147 151 169 174 137 105 105 128 57 17 0 0 0 15
216 211 166 176 184 176 120 88 88 47 0 0 0 8 25 42
148 139 58 121 153 178 166 169 169 184 168 183 120 49 33 53
131 119 71 99 127 143 115 117 117 116 94 99 14 0 0 0
153 113 41 75 125 147 106 92 92 65 75 138 141 144 164 171
124 100 43 85 129 143 99 91 91 80 98 153 147 140 140 149
227 216 102 113 132 150 76 26 26 1 17 108 138 142 154 168
214 180 111 142 135 132 76 43 68 96 156 188 192 203 191 190
Макроблоки
I-типа
P-типа
B-типа
Для P- и В-макроблоков вычисление разности
с соответствующим макроблоком в опорном кадре.
38 46 48 38 20 8 4 5 4 4 4 3 2 3 4 3
33 40 44 43 38 32 20 9 2 3 4 4 4 4 4 4
34 38 39 34 29 26 18 6 6 4 4 4 4 4 4 3
24 38 44 37 44 33 33 25 9 7 4 3 3 4 4 3
40 39 38 42 48 49 36 17 7 6 5 4 4 4 4 4
25 45 53 37 58 56 50 41 23 12 4 2 2 3 5 6
44 45 42 46 52 51 42 28 10 6 5 8 7 2 1 2
31 47 36 54 56 38 56 49 36 19 4 2 4 6 5 3
42 36 48 45 46 42 36 24 7 3 3 5 4 2 2 3
33 41 46 50 35 53 53 45 3115 4 3 5 4 4 4
42 36 38 45 34 18 10 3 5 2 6 10 8 2 2 6
42 44 46 47 45 11 3 2 1 3 5 4 1 3 5 4
39 31 31 45 39 18 6 5 15 37 48 31 7 2 5 4
34 29 36 29 6 2 2 5 11 31 26 5 1 5 4 3
40 46 67 64 57 32 41 44 53 60 58 34 7 7 15 12
44 49 60 55 16 19 20 44 67 52 22 1 4 10 7 3
31 29 27 31 45 57 47 21 5 4 5 7 6 2 2 5
27 33 34 39 47 44 22 5 5 8 7 6 5 4 4 4
33 30 25 21 20 20 9 5 8 10 13 4 1 3 3 4
29 34 35 29 24 21 9 5 6 6 6 4 6 9 7 5
35 34 31 28 27 25 18 21 33 24 9 6 4 6 13 13
33 35 33 40 33 39 29 25 20 9 3 2 2 7 10 4
36 40 28 26 26 30 37 50 57 51 23 13 13 25 34 28
34 32 35 36 38 40 34 29 20 5 2 7 18 22 13 1
36 31 27 29 36 44 49 58 66 38 47 51 60 68 62 27
35 30 32 36 38 43 45 38 29 42 44 43 57 39 17 12
38 36 35 51 50 65 54 70 71 67 65 58 63 66 63 62
35 33 43 37 40 47 53 65 66 63 62 66 67 55 47 53
57 63 54 73 58 71 67 65 64 63 56 62 60 58 61 59
39 43 46 51 57 65 73 75 66 60 61 66 61 56 54 57
52 76 78 76 72 73 75 74 71 70 71 77 73 72 68 65
49 56 74 73 71 68 67 65 62 61 61 58 59 64 62 60
P- или B-макроблок
в P- или В-кадре
Соответствующий
макроблок в опорном кадре
Макроблок разности
177 175 179 187 200 206 185 154
187 184 190 197 206 198 173 141
128 177 121 149 177 200 213 215
147 135 143 171 195 209 217 218
169 129 114 148 193 211 209 197
134 110 114 155 193 202 198 192
225 218 172 184 195 207 182 133
219 195 157 190 204 200 156 123
154 183 112 43 14 22 26 217
141 103 58 24 18 41 57 62
215 235 224 209 147 82 65 73
218 226 211 178 93 27 26 42
197 182 192 217 220 231 245 238
192 192 204 223 219 223 223 218
133 120 136 187 213 225 233 236
135 156 201 223 226 232 236 234
4:2:2
234 221 237 250 231 128 34 24
214 225 221 232 186 68 20 51
188 188 195 214 226 161 55 25
192 197 200 228 198 91 24 19
237 239 248 236 244 254 241 192
233 228 235 243 238 240 213 114
217 226 234 230 229 235 231 213
229 224 226 230 244 248 218 168
4. Получение блоков 8х8 в соответствии с выбранным форматом
дискретизации.
y =
Y =
Квантование
Q =
В начале вектора мы получаем коэффициенты матрицы, соответствующие
низким частотам, а в конце – высоким.
Зигзагообразное сканирование
Применяя зигзаг-сканирование, получаем 64-элементный вектор:
Групповое кодирование
[0, 132] [0, 21] [0, -13] [0, 2] [0, -19] [0, 11] [0, 5] [0, -9] [1, 2] [0, 2] [0, 3]
[1, -5] [0, 6] [0, 1] [0, -3] [1, 2] [1, -2] [0, -2] [0, -2] [3, -1] [7, -2] [0, 1]
[0, 2] [0, -1] [10, 1] [0, 1] [13, 0]
[1] “s” стоящее в конце каждого кода показывает знаковый разряд уровня.
Кодирование Хаффмана
При декодировании весь конвейер преобразований повторяется
в обратном порядке.
27 31 35 42 48 47 49 56
39 43 49 53 48 39 40 51
28 18 21 37 45 39 36 40
44 30 34 48 43 32 40 57
159 99 57 51 42 28 29 38
122 65 37 44 36 20 26 41
185 95 38 40 36 24 26 35
167 83 41 55 54 36 32 36
Декодированная
матрица
Исходная матрица
изображения
Потери ~ 13 %
q = 2
23 36 36 38 47 44 45 63
36 45 47 51 54 39 30 41
31 27 23 32 43 40 44 62
52 35 30 44 51 38 33 43
150 98 58 50 41 25 28 44
122 64 31 39 38 25 28 41
180 100 50 47 36 17 21 34
160 83 42 53 49 31 33 44
Декодированная
матрица
Исходная матрица
изображения
Потери ~ 17 %
q = 3
Субъективное качество изображения
Сжатие информации в бит/пиксель
Плохо
Посредственно
Хорошо
Неотличимо
Идентично
Оригинал
- черно-белое изображение
- цветное изображение
Вычитание
-
+
Сложение
Передача
векторов
и ошибки
предсказания
Сдвиг
Фактический
кадр
Ошибка
предсказания
(А - Р)
(А - Р) + Р = А
Векторы
Сдвиг
Формирование нового положения макроблока с помощью векторов движения
Сигнал
предсказания
Высокий
(High Profile, HP)
масштабируемый
пространственно
и по SNR
Основной
(Main Profile, MP)
без масштабиро-
вания
Масштабируемый
по отношению
сигнал/шум
(SNR Scalable Profile)
4:2:0
4:2:0
4:2:0
4:2:0
4:2:2
4:2:2
Функции профилей MPEG
Низкий
(Low Level, LL)
Каждый уровень соответствует тому или иному классу телевизионных систем:
уровни HL и H1440 предусмотрены для HDTV (high-defenition television –
телевидения высокой чёткости). Уровень ML соответствует обычному
телевидению, а LL так называемому телевидению ограниченной четкости.
720x576
15 Mбит/с
1920x1152
80 Mбит/с
1440x1152
60 Mбит/с
720x576
15 Mбит/с
352x288
4 Mбит/с
720x576
15 Mбит/с
352x288
4 Mбит/с
1440x1152
60 Mбит/с
1920x1152
100 Mбит/с
1440x1152
80 Mбит/с
720x608
20 Mбит/с
720x608
50 Mбит/с
Непрерывное изменение
коэффициентов матрицы
квантования.
Используется в системах
передачи сжатых изображений
по каналам связи с фиксированной
пропускной способностью, в
системах цифрового спутникового,
кабельного и наземного
телевизионного вещания.
Фиксированная матрица
квантования.
Используется при записи
компрессированных потоков
видеоданных на дисковые
накопители в условиях отсутствия
ограничений на объем записанных
данных.
Изображение
Изображение
Изображение
Изображение
I
B
B
P
Блок
представления
Поток некомпрессированных видеоданных
Компрессированные изображения
Блок
доступа
Блок доступа
Элементарный поток
PES-пакет
Заголовок PES-пакета
Пакетный
элементарный
поток (PES)
Временная метка представления PST
Временная метка представления DST
Дополнительные поля
Позволяет выделить PES-
пакеты, принадлежащие
одному элементарному потоку
Код старта
Биты, указывающие на наличие дополнительных полей.
Биты P и D указывают на наличие полей с метками
времени представления PST (Presentation Time Stamps)
и декодирования DTS (Decoding Time Stamps).
обеспечивают
синхронизацию
потоков данных
в декодере
дополнит. информация: авторские
права, скремблирование, приоритет
Управление
полем адаптации
Счетчик
непрерывности
Синхробайт
Индикатор ошибки
Индикатор стартового
блока нагрузки
Транспортный приоритет
Идентификатор
пакета (PID)
Управление
скремблированием
Структура транспортного пакета
Таблица состава программы (PMT)
Таблица условного доступа (CAT)
Таблица сетевой информации (NIT)
Иерархическая идентификация программ
Таблица соединения
программ (PAT)
Таблица сообщает список номеров
всех программ, которые содержатся
в транспортном потоке, и указывает
идентификаторы пакетов, в которых
находятся PMT-таблицы с информацией
о программах и элементарных потоках,
из которых они складываются.
Номер программы 0 зарезервирован, он
используется для указания на PID пакета
с сетевой информацией NIT о сетях
передачи транспортного потока, частотах
каналов, характеристиках модуляции и т.п.
В данном примере PID пакета с NIT равен 16,
а PID пакета с информацией PMT о
программе 1 равен 21.
Представление таблицы
соединения программ
В данном примере показана PMT
для программы 1 с PID, равным 21.
Таблица PMT указывает сведения о
программе и тех элементарных потоках,
из которых она складывается.
В этом примере элементарный поток
видеоданных программы 1 переносится
пакетами с PID=50, поток звука –
пакетами с PID=51, дополнительных
данных – пакетами с PID=52.
В таблице также указывается PID
транспортных пакетов, переносящих
метки опорного времени данной
программы (обычно эти пакеты имеют
тот же PID, что и поток видео).
Представление таблицы
состава программы
Таблица состава
программы 1
(PMT, PID 21)
.
.
.
Транспортный
поток программы 1
Транспортный
поток программы 2
.
.
.
Таблица соединения
программ (PAT, PID 0)
Многопрограммный
транспортный поток
Модель мультиплексирования элементарных и транспортных потоков
(Значения PID соответствуют примерам таблиц, указанным выше)
Модель демультиплексирования транспортного потока и получения элементарных потоков программы 1
(Значения PID соответствуют примерам таблиц, указанным выше)
PID 0
PID 21
PID 52
PID 50
PID 51
Определение
PID пакета с
PMT
программы 1
PID=21
Определение
значений PID
элементарных
потоков
PMT
программы 1
Видео
Звук
Звук
Принцип компрессии с постоянной задержкой
Декодер
компрессии
Декодер
компрессии
Кадры изображения поступают на вход кодера
с постоянной частотой, точно с такой же частотой
они должны воспроизводиться выходе декодера.
Т. е. общая задержка в системе, представляющая
собой сумму задержек в отдельных элементах
схемы, должна быть постоянной.
Это достигается за счет использования буфера
в кодере и в декодере. Данные поступаю в буфер
с переменной скоростью, а выходят - с постоянной.
Системное время кодера
Блоки доступа других элементарных
потоков с метками времени
Компенсацию задержек и синхронизацию обеспечивают метки времени,
которые ставятся в соответствие каждому блоку доступа и сообщают
декодеру точное время, когда блок доступа должен быть извлечен из
буфера декодера и декодирован.
Необходимы для потока видеоданных.
Определяют моменты времени,
в которые блоки доступа извлекаются
из буфера и декодируются, но не
предъявляются зрителю. (Время
предъявления назначают метки PST.)
Необходимы изображениям типа I и P,
которые должны декодироваться
раньше, чем B-изображения.
Высокое качество
сигнала при
низкой скорости
Платформа
MPEG
Монтаж с точно-
стью до кадра
при коротких GOP
Лучшее качество изображения благодаря
выбору максимальной скорости передачи
данных при данной ширине полосы канала
Основные аспекты кодирования MPEG-2 для обработки сигналов
Передача
Если не удалось найти и скачать презентацию, Вы можете заказать его на нашем сайте. Мы постараемся найти нужный Вам материал и отправим по электронной почте. Не стесняйтесь обращаться к нам, если у вас возникли вопросы или пожелания:
Email: Нажмите что бы посмотреть