Введение в оптимизацию приложений с использованием инструментов Intel® презентация

Идрисов

процессора.
о техниках улучшения производительности приложения
об инструментах Intel® для анализа производительности приложения
об оптимизирующем компиляторе Intel®, его основных компонентах и ключах компиляции
о теоретических основах некоторых основных оптимизаций

процессора
исследовать приложение с помощью VTune™ Performance Analyzer и найти проблемные места
идентифицировать главные проблемы анализируемого приложения
разработать стратегию улучшения производительности приложения
описать главные компоненты компилятора, их основные функции
управлять уровнем оптимизации с помощью ключей компилятора

компилятора в улучшении производительности приложения.
Граф управления, анализ потока данных.
Перестановочные оптимизации и их применимость.
Векторизация.
Распараллеливание при помощи директив OpenMP, распараллеливание в автоматическом режиме.
Основные компоненты компилятора, их задачи и взаимосвязь.

and Logic Unit, ALU)
системные регистры
системная шина (Front Side Bus, FSB)
память
периферийные устройства

Устройство управления (CU):
выполняет дешифрацию инструкций, поступающих из памяти компьютера.
управляет ALU.
осуществляет пересылку данных между регистрами ЦП, памятью, периферийными устройствами.
Арифметико-логическое устройство:
позволяет производить арифметические и логические операции над системными регистрами.
Системные регистры:
определенный участок памяти внутри ЦП, используемый для промежуточного хранения информации, обрабатываемой процессором.
Системная шина:
используется для пересылки данных между ЦП и памятью, а также между ЦП и периферийными устройствами.

производителей процессоров.
Производительность процессора напрямую связана с количеством работы, вычислений, которые он может выполнить за единицу времени.
Очень условно:
Производительность = Кол-во инструкций / Время

Мы будем рассматривать производительность процессоров на базе IA32 и IA32e архитектур.
(IA32 with EM64T).

Факторы влияющие на производительность процессора:
Тактовая частота процессора.
Объем адресуемой памяти и скорость доступа к внешней памяти.
Скорость выполнения и набор инструкций.
Использование внутренней памяти, регистров.
Качество конвейеризации.
Качество предсказания переходов.
Качество упреждающей выборки.
Суперскалярность.
Наличие векторных инструкций.
Многоядерность.

в нём существует таймер, который обеспечивает синхронизацию, посылая периодические импульсы. Его частота и называется тактовой частотой процессора.

Объем адресуемой памяти
8086 – 1МБ.
80286 – 16МБ (новые системные регистры и новый режим работы с памятью).
80386 – 4ГБ (первый 32-битный процессор
технология EM64T – ~264Б)

инструкции, насколько полно базовый набор инструкций покрывает все возможные задачи.

CISC,RISC (complex, reduced instruction set computing)
Современные процессоры Intel® представляют собой гибрид CISC и RISC процессоров, перед исполнением преобразуют CISC инструкции в более простой набор RISC инструкций.

кол-во доступных регистров влияет на производительность микропроцессора.

Вытеснение регистров (register spilling) – из-за недостаточного кол-ва регистров велик обмен между регистрами и стеком приложения.

Ia32
Технология EM64T – добавлены дополнительные системные регистры

С ростом производительности процессоров возникла проблема, связанная с тем, что скорость доступа к внешней памяти стала ниже скорости вычислений.

Существуют две характеристики для описания свойств памяти:
Время отклика (latency) – число циклов процессора необходимых для передачи единицы данных из памяти.
Пропускная способность (bandwidth) – количество элементов данных которые могут быть отправлены процессору из памяти за один цикл.

Две возможные стратегии для ускорения быстродействия– уменьшение времени отклика или упреждающий запрос нужной памяти.

памяти отображаются в более быструю кэш-память.

Если адрес памяти находится в кэше – происходит «попадание» и скорость получения данных значительно увеличивается.
В противном случае – «промах» (cash miss)
В этом случае блок оперативной памяти считывается в кэш-память за один или несколько циклов шины, называемых заполнением строки кэш-памяти.

Можно выделить следующие виды кэш-памяти:
полностью ассоциативная кэш-память (каждый блок может отображаться в любое место кэша)
память с прямым отображением (каждый блок может отображаться в одно место)
гибридные варианты (секторная память, память с множественно-ассоциативным доступом)

Множественно-ассоциативный доступ – по младшим разрядам определяется строка кэша, куда может отображаться данная память, но в этой строке может находиться только несколько слов основной памяти, выбор из которых проводится на ассоциативной основе.

Качество использования кэша – ключевое условие быстродействия.

i7:
L1 - latency 4
L2 - latency 11
L3 - latency 38
Время отклика для оперативной памяти > 100

Упреждающий механизм доступа к памяти реализован при помощи механизма упреждающей выборки (hardware prefetching).
Есть специальный набор инструкций, позволяющий побудить процессор загрузить в кэш память расположенную по определенному адресу (software prefetching).

использование переменных или взаимосвязанных данных. Различают временную локальность (temporal locality) – когда речь идёт об одних и тех же данных и пространственную локальность (spatial locality) – использование различных данных, имеющих относительно близкие области хранения.

Механизм кэширования использует принцип временной локальности. (Стремится сохранять в кэше наиболее часто используемые данные).

Механизм упреждающей выборки использует принцип пространственной локальности. (Стремится определить закономерность в доступе к памяти, чтобы заранее подгружать в кэш необходимую память). При этом, чем выше пространственная локальность (элементы расположены ближе в памяти), тем меньше данных требуется загружать в кэш и меньше нагрузка на системную шину.

Кэш aliasing – из-за неудачного расположения в памяти различных объектов, участвующих в вычислении, происходит вытеснению из кэш памяти одних адресов другими.

1

-

instr. 1

instr. 2

instr. 2

instr. 2

instr. 2

instr. 2

instr. 3

instr. 3

instr. 3

instr. 3

instr. 4

instr. 4

instr. 4

instr. 5

instr. 5

instr. 6

instr. 6

instr. 7

tick

0

1

2

3

4

5

6

при выполнении.

Выполнение типичной команды можно разделить на следующие этапы:
выборка команды – IF;
декодирование команды / выборка операндов из регистров - ID;
выполнение операции / вычисление эффективного адреса памяти - EX;
обращение к памяти - MEM;
запоминание результата - WB.

Конвейеризация улучшает пропускную способность процессора, но если инструкции зависят от результатов выполнения предыдущих инструкций, то возникают задержки. Таким образом, польза от конвейеризации определяется уровнем инструкционного параллелизма.

логике программы. (Data dependence and control flow dependence).

Эффективность суперскалярных и конвейерных механизмов во многом ограничивается различными условными переходами внутри программы.
Существует специальный механизм предсказания переходов (branch prediction).
МПП выбирает один из возможных путей и продолжает выбирать инструкции и нагружать конвейеры МП работой. В момент, когда условие перехода вычислено, определяется, не ошибся ли предсказатель.
Ошибка предсказателя (branch misprediction) - все уже выполненные или еще находящиеся в обработке инструкции удаляются, и МП заново заполняет конвейеры.
Можно выделить статический и динамический предсказатель.
Динамический предсказатель отличается тем, что собирает статистику на каждое ветвление и делает предсказание на основании собранной статистики.

Тривиальное предсказание – переход не будет выполнен в случае если осуществляется переход вперед и будет выполнен – если происходит переход назад.
Существует также механизм предсказания цели ветвления (branch target prediction), который предсказывает безусловные переходы.

Как следствие, для такого типа процессора обязательно наличие нескольких исполнительных блоков (execution unit).

Основными компонентами суперскалярного процессора являются устройства для интерпретации команд, снабженные логикой, позволяющей определить, являются ли команды независимыми, и достаточное число исполняющих устройств.

Pentium - первый суперскалярный процессор архитектуры x86.

Выигрыш от суперскалярности определяется уровнем параллелизма инструкций.
«Разнообразие» поступающих на конвейер инструкций позволяет более полно нагружать исполняемые устройства.

устройство
(ALU)

Регистры

Система
кэшей

векторными последовательностями в памяти или векторными регистрами фиксированной длины.
C(1:n) = A(1:n) +B(1:n)

Векторизация – процесс конвертации компьютерной программы из скалярного представления, в котором одна операция выполняется над парой операндов, в векторное представление, в котором одна операция выполняется над парой векторных операндов.

В Pentium III новая технология SSE (Streaming SIMD Extensions), которая добавила в МП 8 128 битных регистра (XMM0-XMM7) и 70 новых инструкций в том числе для работы с вещественными числами. SSE2,SSE3,SSEE3,SSE4,SSE4.2,AVX – последующие расширения этой идеи.

конвейер, современные микропроцессоры используют опережающий просмотр потока инструкций. Это позволяет определить те инструкции, которые могут вычисляться параллельно.
Также возможно исполнение с изменением последовательности операций (out-of-order execution).
Но технологии опережающего просмотра инструкций (lookahead) не могут решить проблему простоя АЛУ и конвейера в случае низкого уровня инструкционного параллелизма.

нескольких вычислительных ядер дает возможность достижения высокой производительности приложения распределением вычислений между этими вычислительными ядрами.

предсказание переходов
Эффективность использования векторных инструкций
Эффективность параллелизации
Уровень инструкционного параллелилизма

компилятора
работа МП

Потребителям необходимы критерии определения производительности вычислительной системы
Репрезентативная выборка типичных задач
Универсальная схема тестирования
Независимость от производителей МП

Spec.org (Standart Performance Evaluated Corporation) – некоммерческая организация для подготовки, поддержки и сопровождения стандартного набора тестов для сравнения производительности различных вычислительных систем. Эта организация разрабатывает стандартные пакеты и публикует результаты измерений.
CPU2006 – разработана для измерения производительности. Может быть использована для сравнения работы программ, выполняемых на различных вычислительных системах. CINT2006 для целочисленных вычислений.
CFP2006 для сравнения производительности работы с вещественными числами.
OMP2001 – измеряет производительность на тестах с использованием OpenMP (это библиотека для параллельных вычислений с общей памятью (shared-memory parallel processing)).

программы в эквивалентную ей результирующую программу на языке машинных команд или на языке ассемблера.
Играет ли компилятор какую-либо роль в борьбе за производительность МП?

Компилятор используется во время тестирования и отладки функциональности новых МП.
Только с помощью компилятора можно показать рост производительности МП связанный с новыми командами, увеличением количества регистров и т.п.
Компилятор способен скрыть неудачи архитекторов.

Bacon, Susan L. Graham and Oliver J.Sharp “Compiler transformations for High-Performance Computing”
Aart J.C. Bik “The Software Vectorization Handbook”
Richard Gerber, Aart J.C. Bik, Kevin B.Smith, Xinmin Tian “The Software Optimization Cookbook”
Intel® 64 and IA-32 Intel Architecture Software Developer's Manual
Intel® 64 and IA-32 Architectures Optimization Reference Manual
Agner Fog “Optimizing software in C++: An optimization guide for Windows, Linux and Mac platforms” http://www.agner.org/optimize/