Требуется инструкций avx2 что это

Текущая версия страницы пока не проверялась опытными участниками и может значительно отличаться от версии, проверенной 15 июля 2021 года; проверки требуют 10 правок.

Advanced Vector Extensions (AVX) — расширение системы команд x86 для микропроцессоров Intel и AMD, предложенное Intel в марте 2008.^[1]

AVX предоставляет различные улучшения, новые инструкции и новую схему кодирования машинных кодов.

Улучшения[править | править код]

• Новая схема кодирования инструкций VEX
• Ширина векторных регистров SIMD увеличивается с 128 (XMM) до 256 бит (регистры YMM0 — YMM15). Существующие 128-битные SSE-инструкции будут использовать младшую половину новых YMM-регистров, не изменяя старшую часть. Для работы с YMM-регистрами добавлены новые 256-битные AVX-инструкции. В будущем возможно расширение векторных регистров SIMD до 512 или 1024 бит. Например, процессоры с архитектурой Xeon Phi уже в 2012 году имели векторные регистры (ZMM) шириной в 512 бит^[2], и используют для работы с ними SIMD-команды с MVEX- и VEX-префиксами, но при этом они не поддерживают AVX. ^{[источник не указан 2798 дней]}
• Неразрушающие операции. Набор AVX-инструкций использует трёхоперандный синтаксис. Например, вместо можно использовать , при этом регистр остаётся неизменённым. В случаях, когда значение используется дальше в вычислениях, это повышает производительность, так как избавляет от необходимости сохранять перед вычислением и восстанавливать после вычисления регистр, содержавший , из другого регистра или памяти.
• Для большинства новых инструкций отсутствуют требования к выравниванию операндов в памяти. Однако рекомендуется следить за выравниванием на размер операнда во избежание значительного снижения производительности.^[3]
• Набор инструкций AVX содержит в себе аналоги 128-битных SSE-инструкций для вещественных чисел. При этом, в отличие от оригиналов, сохранение 128-битного результата будет обнулять старшую половину YMM-регистра. 128-битные AVX-инструкции сохраняют прочие преимущества AVX, такие как новая схема кодирования, трехоперандный синтаксис и невыровненный доступ к памяти.
• Intel рекомендует отказаться от старых SSE-инструкций в пользу новых 128-битных AVX-инструкций, даже если достаточно двух операндов.^[4].

Новая схема кодирования[править | править код]

Новая схема кодирования инструкций VEX использует VEX-префикс. В настоящий момент существуют два VEX-префикса, длиной 2 и 3 байта. Для 2-байтного VEX-префикса первый байт равен 0xC5, для 3-байтного — 0xC4.

В 64-битном режиме первый байт VEX-префикса уникален. В 32-битном режиме возникает конфликт с инструкциями LES и LDS, который разрешается старшим битом второго байта, он имеет значение только в 64-битном режиме, через неподдерживаемые формы инструкций LES и LDS.^[3]

Длина существующих AVX-инструкций, вместе с VEX-префиксом, не превышает 11 байт. В следующих версиях ожидается появление более длинных инструкций.

Новые инструкции[править | править код]

Также в спецификации AVX описана группа инструкций PCLMUL (Parallel Carry-Less Multiplication, Parallel CLMUL)

• PCLMULLQLQDQ xmmreg, xmmrm [rm: 66 0f 3a 44 /r 00]
• PCLMULHQLQDQ xmmreg, xmmrm [rm: 66 0f 3a 44 /r 01]
• PCLMULLQHQDQ xmmreg, xmmrm [rm: 66 0f 3a 44 /r 02]
• PCLMULHQHQDQ xmmreg, xmmrm [rm: 66 0f 3a 44 /r 03]
• PCLMULQDQ xmmreg, xmmrm, imm [rmi: 66 0f 3a 44 /r ib]

Применение[править | править код]

Подходит для интенсивных вычислений с плавающей точкой в мультимедиа-программах и научных задачах.
Там, где возможна более высокая степень параллелизма, увеличивает производительность с вещественными числами.

Поддержка[править | править код]

• Math Kernel Library^[5]

Поддержка в операционных системах[править | править код]

Использование YMM-регистров требует поддержки со стороны операционной системы. Следующие системы поддерживают регистры YMM:

• Linux: с версии ядра 2.6.30,^[6] released on June 9, 2009.^[7]
• Windows 7: поддержка добавлена в Service Pack 1^[8]
• Windows Server 2008 R2: поддержка добавлена в Service Pack 1^[8]

Микропроцессоры с AVX[править | править код]

• Intel:
  • Процессоры с микроархитектурой Sandy Bridge, 2011.^[9]
  • Процессоры с микроархитектурой Ivy Bridge, 2012.
  • Процессоры с микроархитектурой Haswell, 2013.
  • Процессоры с микроархитектурой Broadwell, 2015.
  • Процессоры с микроархитектурой Skylake, 2015.
  • Процессоры с микроархитектурой Kaby Lake, 2017.
  • Процессоры с микроархитектурой Coffee Lake, 2017.

• AMD:
  • Процессоры с микроархитектурой Bulldozer, 2011.^[10]
  • Процессоры с микроархитектурой Piledriver, 2012.
  • Процессоры с микроархитектурой Steamroller, 2014.
  • Процессоры с микроархитектурой Excavator, 2015.
  • Процессоры с микроархитектурой Zen, 2017.
  • Процессоры с микроархитектурой Zen 2, 2019.
  • Процессоры с микроархитектурой Zen 3, 2020.

Совместимость между реализациями Intel и AMD обсуждается в этой статье.

Микропроцессоры с AVX2[править | править код]

• Intel Haswell^[11]
• Intel Broadwell
• Intel Skylake
• Intel Kaby Lake
• Intel Coffee Lake
• Intel Comet Lake
• Intel Rocket Lake
• Intel Alder Lake
• AMD Excavator
• AMD Zen (AMD Ryzen)
• AMD Zen 2 (AMD Ryzen)
• AMD Zen 3 (AMD Ryzen)

AVX-512[править | править код]

AVX-512 расширяет систему команд AVX до векторов длиной 512 бит при помощи кодировки с префиксом EVEX. Расширение AVX-512 вводит 32 векторных регистра (ZMM), каждый по 512 бит, 8 регистров масок, 512-разрядные упакованные форматы для целых и дробных чисел и операции над ними, тонкое управление режимами округления (позволяет переопределить глобальные настройки), операции broadcast (рассылка информации из одного элемента регистра в другие), подавление ошибок в операциях с дробными числами, операции gather/scatter (сборка и рассылка элементов векторного регистра в/из нескольких адресов памяти), быстрые математические операции, компактное кодирование больших смещений. AVX-512 предлагает совместимость с AVX, в том смысле, что программа может использовать инструкции как AVX, так и AVX-512 без снижения производительности. Регистры AVX (YMM0-YMM15) отображаются на младшие части регистров AVX-512 (ZMM0-ZMM15), по аналогии с SSE и AVX регистрами.^[12]

Используeтся в Intel Xeon Phi (ранее Intel MIC) Knights Landing (версия AVX3.1), Intel Skylake-X,^[12] Intel Ice Lake, Intel Tiger Lake, Intel Rocket Lake. Также поддержка AVX-512 имеется в производительных ядрах Golden Cove^[13] процессоров Intel Alder Lake, однако энергоэффективные ядра Gracemont её лишены. По состоянию на декабрь 2021 г. поддержка AVX-512 для потребительских процессоров Alder Lake официально не заявляется.^[14]

Будущие расширения[править | править код]

Схема кодирования инструкций VEX легко допускает дальнейшее расширение набора инструкций AVX. В следующей версии, AVX2, добавлены инструкции для работы с целыми числами, FMA3 (увеличил производительность при обработке чисел с плавающей запятой в 2 раза^[11]), загрузку распределенного в памяти вектора (gather) и прочее.

Различные планируемые дополнения системы команд x86:

• AES
• CLMUL
• Intel/AMD FMA3
• AMD FMA4
• AMD XOP
• AMD CVT16

В серверных процессорах поколения Broadwell добавлены расширения AVX 3.1, а в серверных процессорах поколения Skylake — AVX 3.2.

Примечания[править | править код]

Ссылки[править | править код]

• Intel Advanced Vector Extensions Programming Reference (319433-011)(pdf) (англ.)
• Использование Intel AVX: пишем программы завтрашнего дня (рус.)
• Приемы использования масочных регистров в AVX512 коде (рус.)

При использовании TensorFlow, особенно после первоначальной установки, может возникнуть ситуация, когда при попытке запуска кода появляется следующее

При использовании TensorFlow, особенно после первоначальной установки, может возникнуть ситуация, когда при попытке запуска кода появляется следующее сообщение:

Your CPU supports instructions that this TensorFlow binary was not compiled to use: AVX AVX2

Это сообщение хоть и звучит сложно, на самом деле не является ошибкой. AVX (Advanced Vector Extensions) и AVX2 — это расширения набора инструкций процессора, которые позволяют увеличить производительность при выполнении операций с векторами и матрицами.

Однако, бинарные файлы TensorFlow, которые можно скачать и установить, обычно не поддерживают эти инструкции. Это сделано для обеспечения совместимости с большим количеством процессоров, включая те, которые не поддерживают AVX и AVX2.

В результате, при запуске кода TensorFlow на процессоре, который поддерживает AVX или AVX2, появляется упомянутое сообщение. Оно просто информирует, что TensorFlow может работать быстрее, если бы был скомпилирован с поддержкой этих инструкций.

Для того чтобы TensorFlow использовал AVX и AVX2, необходимо его скомпилировать из исходного кода с соответствующими параметрами. Это немного сложнее, чем просто скачать и установить готовый пакет, и может потребовать некоторых знаний и опыта работы с компиляторами.

Однако, важно отметить, что использование AVX и AVX2 может привести к незначительному увеличению производительности. В большинстве случаев разница в скорости работы не будет заметна. Поэтому, если не требуется максимальная производительность, можно просто игнорировать это сообщение.

Время на прочтение
6 мин

Количество просмотров 23K

Предыдущая часть вызвала бурную дискуссию, в ходе которой выяснилось, что AVX/AVX2 на самом деле есть в десктопных CPU, нет только AVX512. Поэтому продолжаем знакомиться с SIMD, но уже с современной его частью — AVX. А так же разберём некоторые комментарии:

• медленнее ли _mm256_load_si256, чем прямое обращение к памяти?
• влияет ли на скорость использование AVX команд над SSE регистрами?
• действительно ли так плохо использовать _popcnt?

Немного про AVX

AVX/AVX2 — это более мощная версия SSE, которая расширяет большинство 128 битных SSE операций до 256 бит, плюс приносит ряд новых инструкций.

Из тонкостей реализации можно выделить то, что на уровне ассемблера AVX использует 3 аргумента, что позволяет не разрушать данные в первых двух. SSE сохраняет результат в одном из аргументов.

Так же нужно учитывать, что при прямой адресации данные должны быть выровнены по 32 байта, в SSE выравнивание по 16.

Дополненная версия бенчмарка

Изменения:

1. Количество элементов увеличено в 10 000 раз (до 10 240 000), чтобы гарантированно не вместиться в кэш процессора.
2. Выравнивание изменено с 16 байт на 32 для поддержки AVX.
3. Добавлены AVX реализации аналогичные SSE.

#include <benchmark/benchmark.h>
#include <x86intrin.h>
#include <cstring>

#define ARR_SIZE 10240000
#define VAL 50

static int16_t *getRandArr() {
    auto res = new int16_t[ARR_SIZE];
    for (int i = 0; i < ARR_SIZE; ++i) {
        res[i] = static_cast<int16_t>(rand() % (VAL * 2));
    }
    return res;
}
static auto arr = getRandArr();

static int16_t *getAllignedArr() {
    auto res = aligned_alloc(32, sizeof(int16_t) * ARR_SIZE);
    memcpy(res, arr, sizeof(int16_t) * ARR_SIZE);
    return static_cast<int16_t *>(res);
}
static auto allignedArr = getAllignedArr();

static void BM_Count(benchmark::State &state) {
    for (auto _ : state) {
        int64_t cnt = 0;
        for (int i = 0; i < ARR_SIZE; ++i)
            if (arr[i] == VAL)
                ++cnt;
        benchmark::DoNotOptimize(cnt);
    }
}

BENCHMARK(BM_Count);

static void BM_SSE_COUNT_SET_EPI(benchmark::State &state) {
    for (auto _ : state) {
        int64_t cnt = 0;

        auto sseVal = _mm_set1_epi16(VAL);
        for (int i = 0; i < ARR_SIZE; i += 8) {
            cnt += _popcnt32(
                    _mm_movemask_epi8(
                            _mm_cmpeq_epi16(
                                    sseVal,
                                    _mm_set_epi16(arr[i + 7], arr[i + 6], arr[i + 5], arr[i + 4],
                                                  arr[i + 3], arr[i + 2], arr[i + 1], arr[i])
                            )
                    )
            );
        }
        benchmark::DoNotOptimize(cnt >> 1);
    }
}

BENCHMARK(BM_SSE_COUNT_SET_EPI);

static void BM_SSE_COUNT_LOADU(benchmark::State &state) {
    for (auto _ : state) {
        int64_t cnt = 0;

        auto sseVal = _mm_set1_epi16(VAL);
        for (int i = 0; i < ARR_SIZE; i += 8) {
            cnt += _popcnt32(
                    _mm_movemask_epi8(
                            _mm_cmpeq_epi16(
                                    sseVal,
                                    _mm_loadu_si128((__m128i *) &arr[i])
                            )
                    )
            );
        }
        benchmark::DoNotOptimize(cnt >> 1);
    }
}

BENCHMARK(BM_SSE_COUNT_LOADU);

static void BM_SSE_COUNT_DIRECT(benchmark::State &state) {
    for (auto _ : state) {
        int64_t cnt = 0;

        auto sseVal = _mm_set1_epi16(VAL);
        for (int i = 0; i < ARR_SIZE; i += 8) {
            cnt += _popcnt32(
                    _mm_movemask_epi8(
                            _mm_cmpeq_epi16(
                                    sseVal,
                                    *(__m128i *) &allignedArr[i]
                            )
                    )
            );
        }
        benchmark::DoNotOptimize(cnt >> 1);
    }
}

BENCHMARK(BM_SSE_COUNT_DIRECT);

#ifdef __AVX2__

static void BM_AVX_COUNT_LOADU(benchmark::State &state) {
    for (auto _ : state) {
        int64_t cnt = 0;

        auto avxVal = _mm256_set1_epi16(VAL);
        for (int i = 0; i < ARR_SIZE; i += 16) {
            cnt += _popcnt32(
                    _mm256_movemask_epi8(
                            _mm256_cmpeq_epi16(
                                    avxVal,
                                    _mm256_loadu_si256((__m256i *) &arr[i])
                            )
                    )
            );
        }
        benchmark::DoNotOptimize(cnt >> 1);
    }
}

BENCHMARK(BM_AVX_COUNT_LOADU);

static void BM_AVX_COUNT_LOAD(benchmark::State &state) {
    for (auto _ : state) {
        int64_t cnt = 0;

        auto avxVal = _mm256_set1_epi16(VAL);
        for (int i = 0; i < ARR_SIZE; i += 16) {
            cnt += _popcnt32(
                    _mm256_movemask_epi8(
                            _mm256_cmpeq_epi16(avxVal,
                                               _mm256_load_si256((__m256i *) &allignedArr[i])
                            )
                    )
            );
        }
        benchmark::DoNotOptimize(cnt >> 1);
    }
}

BENCHMARK(BM_AVX_COUNT_LOAD);

static void BM_AVX_COUNT_DIRECT(benchmark::State &state) {
    for (auto _ : state) {
        int64_t cnt = 0;

        auto avxVal = _mm256_set1_epi16(VAL);
        for (int i = 0; i < ARR_SIZE; i += 16) {
            cnt += _popcnt32(
                    _mm256_movemask_epi8(
                            _mm256_cmpeq_epi16(
                                    avxVal,
                                    *(__m256i *) &allignedArr[i]
                            )
                    )
            );
        }
        benchmark::DoNotOptimize(cnt >> 1);
    }
}

BENCHMARK(BM_AVX_COUNT_DIRECT);

#endif

BENCHMARK_MAIN();

Новые результаты выглядят так (-O0):

---------------------------------------------------------------------
Benchmark                              Time           CPU Iterations
---------------------------------------------------------------------
BM_Count                        17226622 ns   17062958 ns         41
BM_SSE_COUNT_SET_EPI             8901343 ns    8814845 ns         79
BM_SSE_COUNT_LOADU               3664778 ns    3664766 ns        185
BM_SSE_COUNT_DIRECT              3468436 ns    3468423 ns        202
BM_AVX_COUNT_LOADU               2090817 ns    2090796 ns        343
BM_AVX_COUNT_LOAD                1904424 ns    1904419 ns        364
BM_AVX_COUNT_DIRECT              1814875 ns    1814854 ns        385

Итого суммарное ускорение в 9+ раз, AVX ожидаемо быстрей SSE почти в 2 раза.

Медленнее ли _mm256_load_si256, чем прямое обращение к памяти?

Однозначного ответа нет. С -O0 медленнее прямого обращения, но быстрее _mm256_loadu_si256:

---------------------------------------------------------------------
Benchmark                              Time           CPU Iterations
---------------------------------------------------------------------
BM_AVX_COUNT_LOADU               2090817 ns    2090796 ns        343
BM_AVX_COUNT_LOAD                1904424 ns    1904419 ns        364
BM_AVX_COUNT_DIRECT              1814875 ns    1814854 ns        385

С -O3 быстрее, чем прямое обращение к памяти, но всё ещё ожидаемо медленней _mm256_loadu_si256.

---------------------------------------------------------------------
Benchmark                              Time           CPU Iterations
---------------------------------------------------------------------
BM_AVX_COUNT_LOADU                992319 ns     992368 ns        701
BM_AVX_COUNT_LOAD                 956120 ns     956166 ns        712
BM_AVX_COUNT_DIRECT              1027624 ns    1027674 ns        730

В продакшн коде всё-таки лучше использовать _mm256_load_si256 вместо прямого обращения, этот вариант компилятор умеет лучше оптимизировать.

Влияет ли на скорость использование AVX команд над SSE регистрами?

Короткий ответ — нет. Для эксперимента я собрал и запустил бенчмарк с -mavx2 и с -msse4.2.

-mavx2

_popcnt32(_mm_movemask_epi8(_mm_cmpeq_epi16(...))) превращается в

vpcmpeqw %xmm1,%xmm0,%xmm0
vpmovmskb %xmm0,%edx
popcnt %edx,%edx

Результаты:

------------------------------------------------------------
Benchmark                     Time           CPU Iterations
------------------------------------------------------------
BM_SSE_COUNT_SET_EPI    9376699 ns    9376767 ns         75
BM_SSE_COUNT_LOADU      4425510 ns    4425560 ns        159
BM_SSE_COUNT_DIRECT     3938604 ns    3938648 ns        177

-msse4.2

_popcnt32(_mm_movemask_epi8(_mm_cmpeq_epi16(...))) превращается в

pcmpeqw %xmm1,%xmm0
pmovmskb %xmm0,%edx
popcnt %edx,%edx

Результаты:

------------------------------------------------------------
Benchmark                     Time           CPU Iterations
------------------------------------------------------------
BM_SSE_COUNT_SET_EPI    9309352 ns    9309375 ns         76
BM_SSE_COUNT_LOADU      4382183 ns    4382195 ns        159
BM_SSE_COUNT_DIRECT     3944579 ns    3944590 ns        176

bonus

AVX команды _popcnt32(_mm256_movemask_epi8(_mm256_cmpeq_epi16(...)))превращаются в

vpcmpeqw %ymm1,%ymm0,%ymm0
vpmovmskb %ymm0,%edx
popcnt %edx,%edx

Действительно ли так плохо использовать _popcnt?

В одном из комментариев Antervis написал:

А еще, ты несколько недоработал алгоритм. Зачем делать через movemask + popcnt? Для массивов не более 2^18 элементов можно сначала собирать поэлементную сумму:
auto cmp = _mm_cmpeq_epi16(sseVal, sseArr);
cmp = _mm_and_si128(cmp, _mm_set1_epi16(1));
sum = _mm_add_epi16(sum, cmp);

а потом, в конце цикла, сделать одно горизонтальное сложение (не забывая про переполнение).

Я сделал бенчмарк

static void BM_AVX_COUNT_DIRECT_WO_POPCNT(benchmark::State &state) {
    auto avxVal1 = _mm256_set1_epi16(1);
    for (auto _ : state) {
        auto sum = _mm256_set1_epi16(0);

        auto avxVal = _mm256_set1_epi16(VAL);
        for (int i = 0; i < ARR_SIZE; i += 16) {
            sum = _mm256_add_epi16(
                    sum,
                    _mm256_and_si256(
                            avxVal1,
                            _mm256_cmpeq_epi16(
                                    avxVal,
                                    *(__m256i *) &allignedArr[i])
                    )
            );
        }

        auto arrSum = (uint16_t *) &sum;
        size_t cnt = 0;
        for (int j = 0; j < 16; ++j)
            cnt += arrSum[j];

        benchmark::DoNotOptimize(cnt >> 1);
    }
}

и он оказался медленней c -O0:

---------------------------------------------------------------------
Benchmark                              Time           CPU Iterations
---------------------------------------------------------------------
BM_AVX_COUNT_DIRECT              1814821 ns    1814785 ns        392
BM_AVX_COUNT_DIRECT_WO_POPCNT    2386289 ns    2386227 ns        287

и немного быстрее с -O3:

---------------------------------------------------------------------
Benchmark                              Time           CPU Iterations
---------------------------------------------------------------------
BM_AVX_COUNT_DIRECT               960941 ns     960924 ns        722
BM_AVX_COUNT_DIRECT_WO_POPCNT     948611 ns     948596 ns        732

From Wikipedia, the free encyclopedia

Advanced Vector Extensions (AVX) are extensions to the x86 instruction set architecture for microprocessors from Intel and Advanced Micro Devices (AMD). They were proposed by Intel in March 2008 and first supported by Intel with the Sandy Bridge^[1] processor shipping in Q1 2011 and later by AMD with the Bulldozer^[2] processor shipping in Q3 2011. AVX provides new features, new instructions, and a new coding scheme.

AVX2 (also known as Haswell New Instructions) expands most integer commands to 256 bits and introduces new instructions. They were first supported by Intel with the Haswell processor, which shipped in 2013.

AVX-512 expands AVX to 512-bit support using a new EVEX prefix encoding proposed by Intel in July 2013 and first supported by Intel with the Knights Landing co-processor, which shipped in 2016.^[3][4] In conventional processors, AVX-512 was introduced with Skylake server and HEDT processors in 2017.

Advanced Vector Extensions[edit]

AVX uses sixteen YMM registers to perform a single instruction on multiple pieces of data (see SIMD). Each YMM register can hold and do simultaneous operations (math) on:

• eight 32-bit single-precision floating point numbers or
• four 64-bit double-precision floating point numbers.

The width of the SIMD registers is increased from 128 bits to 256 bits, and renamed from XMM0–XMM7 to YMM0–YMM7 (in x86-64 mode, from XMM0–XMM15 to YMM0–YMM15). The legacy SSE instructions can be still utilized via the VEX prefix to operate on the lower 128 bits of the YMM registers.

AVX introduces a three-operand SIMD instruction format called VEX coding scheme, where the destination register is distinct from the two source operands. For example, an SSE instruction using the conventional two-operand form a ← a + b can now use a non-destructive three-operand form c ← a + b, preserving both source operands. Originally, AVX’s three-operand format was limited to the instructions with SIMD operands (YMM), and did not include instructions with general purpose registers (e.g. EAX). It was later used for coding new instructions on general purpose registers in later extensions, such as BMI. VEX coding is also used for instructions operating on the k0-k7 mask registers that were introduced with AVX-512.

The alignment requirement of SIMD memory operands is relaxed.^[5] Unlike their non-VEX coded counterparts, most VEX coded vector instructions no longer require their memory operands to be aligned to the vector size. Notably, the VMOVDQA instruction still requires its memory operand to be aligned.

The new VEX coding scheme introduces a new set of code prefixes that extends the opcode space, allows instructions to have more than two operands, and allows SIMD vector registers to be longer than 128 bits. The VEX prefix can also be used on the legacy SSE instructions giving them a three-operand form, and making them interact more efficiently with AVX instructions without the need for VZEROUPPER and VZEROALL.

The AVX instructions support both 128-bit and 256-bit SIMD. The 128-bit versions can be useful to improve old code without needing to widen the vectorization, and avoid the penalty of going from SSE to AVX, they are also faster on some early AMD implementations of AVX. This mode is sometimes known as AVX-128.^[6]

New instructions[edit]

These AVX instructions are in addition to the ones that are 256-bit extensions of the legacy 128-bit SSE instructions; most are usable on both 128-bit and 256-bit operands.

CPUs with AVX[edit]

• Intel
  • Sandy Bridge processors, Q1 2011^[9]
  • Sandy Bridge E processors, Q4 2011^[10]
  • Ivy Bridge processors, Q1 2012
  • Ivy Bridge E processors, Q3 2013
  • Haswell processors, Q2 2013
  • Haswell E processors, Q3 2014
  • Broadwell processors, Q4 2014
  • Skylake processors, Q3 2015
  • Broadwell E processors, Q2 2016
  • Kaby Lake processors, Q3 2016 (ULV mobile)/Q1 2017 (desktop/mobile)
  • Skylake-X processors, Q2 2017
  • Coffee Lake processors, Q4 2017
  • Cannon Lake processors, Q2 2018
  • Whiskey Lake processors, Q3 2018
  • Cascade Lake processors, Q4 2018
  • Ice Lake processors, Q3 2019
  • Comet Lake processors (only Core and Xeon branded), Q3 2019
  • Tiger Lake (Core, Pentium and Celeron branded^[11]) processors, Q3 2020
  • Rocket Lake processors, Q1 2021
  • Alder Lake (Xeon, Core, Pentium and Celeron branded) processors, Q4 2021. Supported both in Golden Cove P-cores and Gracemont E-cores.
  • Raptor Lake processors, Q4 2022
  • Sapphire Rapids processors, Q1 2023
  • Meteor Lake processors
  • Arrow Lake processors
  • Lunar Lake processors

Not all CPUs from the listed families support AVX. Generally, CPUs with the commercial denomination Core i3/i5/i7/i9 support them, whereas Pentium and Celeron CPUs before Tiger Lake^[12] do not.

• AMD:
  • Jaguar-based processors and newer
  • Puma-based processors and newer
  • «Heavy Equipment» processors
    • Bulldozer-based processors, Q4 2011^[13]
    • Piledriver-based processors, Q4 2012^[14]
    • Steamroller-based processors, Q1 2014
    • Excavator-based processors and newer, 2015
  • Zen-based processors, Q1 2017
  • Zen+-based processors, Q2 2018
  • Zen 2-based processors, Q3 2019
  • Zen 3 processors, Q4 2020
  • Zen 4 processors, Q4 2022

Issues regarding compatibility between future Intel and AMD processors are discussed under XOP instruction set.

• VIA:
  • Nano QuadCore
  • Eden X4
• Zhaoxin:
  • WuDaoKou-based processors (KX-5000 and KH-20000)

Compiler and assembler support[edit]

• Absoft supports with -mavx flag.
• The Free Pascal compiler supports AVX and AVX2 with the -CfAVX and -CfAVX2 switches from version 2.7.1.
• RAD studio (v11.0 Alexandria) supports AVX2 and AVX512.^[15]
• The GNU Assembler (GAS) inline assembly functions support these instructions (accessible via GCC), as do Intel primitives and the Intel inline assembler (closely compatible to GAS, although more general in its handling of local references within inline code).
• GCC starting with version 4.6 (although there was a 4.3 branch with certain support) and the Intel Compiler Suite starting with version 11.1 support AVX.
• The Open64 compiler version 4.5.1 supports AVX with -mavx flag.
• PathScale supports via the -mavx flag.
• The Vector Pascal compiler supports AVX via the -cpuAVX32 flag.
• The Visual Studio 2010/2012 compiler supports AVX via intrinsic and /arch:AVX switch.
• Other assemblers such as MASM VS2010 version, YASM,^[16] FASM, NASM and JWASM.

Operating system support[edit]

AVX adds new register-state through the 256-bit wide YMM register file, so explicit operating system support is required to properly save and restore AVX’s expanded registers between context switches. The following operating system versions support AVX:

• DragonFly BSD: support added in early 2013.
• FreeBSD: support added in a patch submitted on January 21, 2012,^[17] which was included in the 9.1 stable release^[18]
• Linux: supported since kernel version 2.6.30,^[19] released on June 9, 2009.^[20]
• macOS: support added in 10.6.8 (Snow Leopard) update^{[21][unreliable source?]} released on June 23, 2011. In fact, macOS Ventura does not support processors without the AVX2 instruction set. ^[22]
• OpenBSD: support added on March 21, 2015.^[23]
• Solaris: supported in Solaris 10 Update 10 and Solaris 11
• Windows: supported in Windows 7 SP1, Windows Server 2008 R2 SP1,^[24] Windows 8, Windows 10
  • Windows Server 2008 R2 SP1 with Hyper-V requires a hotfix to support AMD AVX (Opteron 6200 and 4200 series) processors, KB2568088

Advanced Vector Extensions 2[edit]

Advanced Vector Extensions 2 (AVX2), also known as Haswell New Instructions,^[25] is an expansion of the AVX instruction set introduced in Intel’s Haswell microarchitecture. AVX2 makes the following additions:

• expansion of most vector integer SSE and AVX instructions to 256 bits
• Gather support, enabling vector elements to be loaded from non-contiguous memory locations
• DWORD- and QWORD-granularity any-to-any permutes
• vector shifts.

Sometimes three-operand fused multiply-accumulate (FMA3) extension is considered part of AVX2, as it was introduced by Intel in the same processor microarchitecture. This is a separate extension using its own CPUID flag and is described on its own page and not below.

New instructions[edit]

CPUs with AVX2[edit]

• Intel
  • Haswell processors (only Core and Xeon branded), Q2 2013
  • Haswell E processors, Q3 2014
  • Broadwell processors, Q4 2014
  • Broadwell E processors, Q3 2016
  • Skylake processors, Q3 2015
  • Kaby Lake processors, Q3 2016 (ULV mobile)/Q1 2017 (desktop/mobile)
  • Skylake-X processors, Q2 2017
  • Coffee Lake processors, Q4 2017
  • Cannon Lake processors, Q2 2018
  • Cascade Lake processors, Q2 2019
  • Ice Lake processors, Q3 2019
  • Comet Lake processors, Q3 2019
  • Tiger Lake (Core, Pentium and Celeron branded^[11]) processors, Q3 2020
  • Rocket Lake processors, Q1 2021
  • Alder Lake (Xeon, Core, Pentium and Celeron branded^[11]) processors, Q4 2021. Supported both in Golden Cove P-cores and Gracemont E-cores.
  • Raptor Lake processors, Q4 2022
  • Sapphire Rapids processors, Q1 2023
  • Meteor Lake processors
  • Arrow Lake processors
  • Lunar Lake processors
• AMD
  • Excavator processor and newer, Q2 2015
  • Zen processors, Q1 2017
  • Zen+ processors, Q2 2018
  • Zen 2 processors, Q3 2019
  • Zen 3 processors, Q4 2020
  • Zen 4 processors, Q4 2022
• VIA:
  • Nano QuadCore
  • Eden X4

AVX-512[edit]

AVX-512 are 512-bit extensions to the 256-bit Advanced Vector Extensions SIMD instructions for x86 instruction set architecture proposed by Intel in July 2013, and are supported with Intel’s Knights Landing processor.^[3]

AVX-512 instructions are encoded with the new EVEX prefix. It allows 4 operands, 8 new 64-bit opmask registers, scalar memory mode with automatic broadcast, explicit rounding control, and compressed displacement memory addressing mode. The width of the register file is increased to 512 bits and total register count increased to 32 (registers ZMM0-ZMM31) in x86-64 mode.

AVX-512 consists of multiple instruction subsets, not all of which are meant to be supported by all processors implementing them. The instruction set consists of the following:

• AVX-512 Foundation (F) – adds several new instructions and expands most 32-bit and 64-bit floating point SSE-SSE4.1 and AVX/AVX2 instructions with EVEX coding scheme to support the 512-bit registers, operation masks, parameter broadcasting, and embedded rounding and exception control
• AVX-512 Conflict Detection Instructions (CD) – efficient conflict detection to allow more loops to be vectorized, supported by Knights Landing^[3]
• AVX-512 Exponential and Reciprocal Instructions (ER) – exponential and reciprocal operations designed to help implement transcendental operations, supported by Knights Landing^[3]
• AVX-512 Prefetch Instructions (PF) – new prefetch capabilities, supported by Knights Landing^[3]
• AVX-512 Vector Length Extensions (VL) – extends most AVX-512 operations to also operate on XMM (128-bit) and YMM (256-bit) registers (including XMM16-XMM31 and YMM16-YMM31 in x86-64 mode)^[26]
• AVX-512 Byte and Word Instructions (BW) – extends AVX-512 to cover 8-bit and 16-bit integer operations^[26]
• AVX-512 Doubleword and Quadword Instructions (DQ) – enhanced 32-bit and 64-bit integer operations^[26]
• AVX-512 Integer Fused Multiply Add (IFMA) – fused multiply add for 512-bit integers.^[27]: 746
• AVX-512 Vector Byte Manipulation Instructions (VBMI) adds vector byte permutation instructions which are not present in AVX-512BW.
• AVX-512 Vector Neural Network Instructions Word variable precision (4VNNIW) – vector instructions for deep learning.
• AVX-512 Fused Multiply Accumulation Packed Single precision (4FMAPS) – vector instructions for deep learning.
• VPOPCNTDQ – count of bits set to 1.^[28]
• VPCLMULQDQ – carry-less multiplication of quadwords.^[28]
• AVX-512 Vector Neural Network Instructions (VNNI) – vector instructions for deep learning.^[28]
• AVX-512 Galois Field New Instructions (GFNI) – vector instructions for calculating Galois field.^[28]
• AVX-512 Vector AES instructions (VAES) – vector instructions for AES coding.^[28]
• AVX-512 Vector Byte Manipulation Instructions 2 (VBMI2) – byte/word load, store and concatenation with shift.^[28]
• AVX-512 Bit Algorithms (BITALG) – byte/word bit manipulation instructions expanding VPOPCNTDQ.^[28]
• AVX-512 Bfloat16 Floating-Point Instructions (BF16) – vector instructions for AI acceleration.
• AVX-512 Half-Precision Floating-Point Instructions (FP16) – vector instructions for operating on floating-point and complex numbers with reduced precision.

Only the core extension AVX-512F (AVX-512 Foundation) is required by all implementations, though all current processors also support CD (conflict detection); computing coprocessors will additionally support ER, PF, 4VNNIW, 4FMAPS, and VPOPCNTDQ, while central processors will support VL, DQ, BW, IFMA, VBMI, VPOPCNTDQ, VPCLMULQDQ etc.

The updated SSE/AVX instructions in AVX-512F use the same mnemonics as AVX versions; they can operate on 512-bit ZMM registers, and will also support 128/256 bit XMM/YMM registers (with AVX-512VL) and byte, word, doubleword and quadword integer operands (with AVX-512BW/DQ and VBMI).^[27]: 23

CPUs with AVX-512[edit]

^[29]

^Note 1 : AVX-512 is disabled by default in Alder Lake processors. On some motherboards with some BIOS versions, AVX-512 can be enabled in the BIOS, but this requires disabling E-cores.^[30] However, Intel has begun fusing AVX-512 off on newer Alder Lake processors.^[31]

Compilers supporting AVX-512[edit]

• GCC 4.9 and newer^[32]
• Clang 3.9 and newer^[33]
• ICC 15.0.1 and newer^[34]
• Microsoft Visual Studio 2017 C++ Compiler^[35]

AVX-VNNI, AVX-IFMA[edit]

AVX-VNNI is a VEX-coded variant of the AVX512-VNNI instruction set extension. Similarly, AVX-IFMA is a VEX-coded variant of AVX512-IFMA. These extensions provide the same sets of operations as their AVX-512 counterparts, but are limited to 256-bit vectors and do not support any additional features of EVEX encoding, such as broadcasting, opmask registers or accessing more than 16 vector registers. These extensions allow to support VNNI and IFMA operations even when full AVX-512 support is not implemented in the processor.

CPUs with AVX-VNNI[edit]

• Intel
  • Alder Lake processors, Q4 2021
  • Raptor Lake processors, Q4 2022
  • Sapphire Rapids processors, Q1 2023
  • Meteor Lake processors
  • Emerald Rapids processors
  • Arrow Lake processors
  • Lunar Lake processors

CPUs with AVX-IFMA[edit]

• Intel
  • Sierra Forest processors
  • Grand Ridge processors
  • Meteor Lake processors

AVX10[edit]

AVX10, announced in August 2023, is a new, «converged» AVX instruction set. It addresses several issues of AVX-512, such as it being split into too many parts^[36] (20 feature flags) and making 512-bit vectors mandatory to support. AVX10 presents a simplified CPUID interface to test for instruction support, consisting of the AVX10 version number (indicating the set of instructions supported, with later versions always being a superset of an earlier one) and the available maximum vector length (256 or 512 bits).^[37] A combined notation is used to indicate the version and vector length: for example, AVX10.2/256 indicates that a CPU is capable of the second version of AVX10 with a maximum vector width of 256 bits.^[38]

The first and «early» version of AVX10, notated AVX10.1, will not introduce any instructions or encoding features beyond what is already in AVX-512 (F, CD, VL, DQ, BW, IFMA, VBMI, VBMI2, BITALG, VNNI, GFNI, VPOPCNTDQ, VPCLMULQDQ, VAES, BF16, FP16). The second and «fully-featured» version, AVX10.2, introduces new features such as YMM embedded rounding and Suppress All Exception. For CPUs supporting AVX10 and 512-bit vectors, all legacy AVX-512 feature flags will remain set to facilitate applications supporting AVX-512 to continue using AVX-512 instructions.^[38]

AVX10.1/512 will be available on Granite Rapids.^[38]

APX[edit]

APX is a new extension. It is not focused on vector computation, but provides RISC-like extensions to the x86-64 architecture by doubling the number of general purpose registers to 32 and introducing three-operand instruction formats. AVX is only tangentially affected as APX introduces extended operands.^[39][40]

Applications[edit]

• Suitable for floating point-intensive calculations in multimedia, scientific and financial applications (AVX2 adds support for integer operations).
• Increases parallelism and throughput in floating point SIMD calculations.
• Reduces register load due to the non-destructive instructions.
• Improves Linux RAID software performance (required AVX2, AVX is not sufficient)^[41]

Software[edit]

• Blender uses AVX, AVX2 and AVX-512 in the Cycles render engine.^[42]
• Bloombase uses AVX, AVX2 and AVX-512 in their Bloombase Cryptographic Module (BCM).
• Botan uses both AVX and AVX2 when available to accelerate some algorithms, like ChaCha.
• BSAFE C toolkits uses AVX and AVX2 where appropriate to accelerate various cryptographic algorithms.^[43]
• Crypto++ uses both AVX and AVX2 when available to accelerate some algorithms, like Salsa and ChaCha.
• OpenSSL uses AVX- and AVX2-optimized cryptographic functions since version 1.0.2.^[44] Support for AVX-512 was added in version 3.0.0.^[45] Some of this support is also present in various clones and forks, like LibreSSL.
• Prime95/MPrime, the software used for GIMPS, started using the AVX instructions since version 27.1, AVX2 since 28.6 and AVX-512 since 29.1.^[46]
• dav1d AV1 decoder can use AVX2 and AVX-512 on supported CPUs.^[47][48]
• SVT-AV1 AV1 encoder can use AVX2 and AVX-512 to accelerate video encoding.^[49]
• dnetc, the software used by distributed.net, has an AVX2 core available for its RC5 project and will soon release one for its OGR-28 project.
• Einstein@Home uses AVX in some of their distributed applications that search for gravitational waves.^[50]
• Folding@home uses AVX on calculation cores implemented with GROMACS library.
• Helios uses AVX and AVX2 hardware acceleration on 64-bit x86 hardware.^[51]
• Horizon: Zero Dawn uses AVX in its Decima game engine.
• RPCS3, an open source PlayStation 3 emulator, uses AVX2 and AVX-512 instructions to emulate PS3 games.
• Network Device Interface, an IP video/audio protocol developed by NewTek for live broadcast production, uses AVX and AVX2 for increased performance.
• TensorFlow since version 1.6 and tensorflow above versions requires CPU supporting at least AVX.^[52]
• x264, x265 and VTM video encoders can use AVX2 or AVX-512 to speed up encoding.
• Various CPU-based cryptocurrency miners (like pooler’s cpuminer for Bitcoin and Litecoin) use AVX and AVX2 for various cryptography-related routines, including SHA-256 and scrypt.
• libsodium uses AVX in the implementation of scalar multiplication for Curve25519 and Ed25519 algorithms, AVX2 for BLAKE2b, Salsa20, ChaCha20, and AVX2 and AVX-512 in implementation of Argon2 algorithm.
• libvpx open source reference implementation of VP8/VP9 encoder/decoder, uses AVX2 or AVX-512 when available.
• FFTW can utilize AVX, AVX2 and AVX-512 when available.
• LLVMpipe, a software OpenGL renderer in Mesa using Gallium and LLVM infrastructure, uses AVX2 when available.
• glibc uses AVX2 (with FMA) and AVX-512 for optimized implementation of various mathematical (i.e. expf, sinf, powf, atanf, atan2f) and string (memmove, memcpy, etc.) functions in libc.
• Linux kernel can use AVX or AVX2, together with AES-NI as optimized implementation of AES-GCM cryptographic algorithm.
• Linux kernel uses AVX or AVX2 when available, in optimized implementation of multiple other cryptographic ciphers: Camellia, CAST5, CAST6, Serpent, Twofish, MORUS-1280, and other primitives: Poly1305, SHA-1, SHA-256, SHA-512, ChaCha20.
• POCL, a portable Computing Language, that provides implementation of OpenCL, makes use of AVX, AVX2 and AVX-512 when possible.
• .NET and .NET Framework can utilize AVX, AVX2 through the generic System.Numerics.Vectors namespace.
• .NET Core, starting from version 2.1 and more extensively after version 3.0 can directly use all AVX, AVX2 intrinsics through the System.Runtime.Intrinsics.X86 namespace.
• EmEditor 19.0 and above uses AVX2 to speed up processing.^[53]
• Native Instruments’ Massive X softsynth requires AVX.^[54]
• Microsoft Teams uses AVX2 instructions to create a blurred or custom background behind video chat participants,^[55] and for background noise suppression.^[56]
• Pale Moon custom Windows builds greatly increase browsing speed due to the use of AVX2.
• simdjson, a JSON parsing library, uses AVX2 and AVX-512 to achieve improved decoding speed.^[57][58]
• Tesseract OCR engine uses AVX, AVX2 and AVX-512 to accelerate character recognition.^[59]

Downclocking[edit]

Since AVX instructions are wider and generate more heat, some Intel processors have provisions to reduce the Turbo Boost frequency limit when such instructions are being executed. On Skylake and its derivatives, the throttling is divided into three levels:^[60][61]

• L0 (100%): The normal turbo boost limit.
• L1 (~85%): The «AVX boost» limit. Soft-triggered by 256-bit «heavy» (floating-point unit: FP math and integer multiplication) instructions. Hard-triggered by «light» (all other) 512-bit instructions.
• L2 (~60%):^{[dubious – discuss]} The «AVX-512 boost» limit. Soft-triggered by 512-bit heavy instructions.

The frequency transition can be soft or hard. Hard transition means the frequency is reduced as soon as such an instruction is spotted; soft transition means that the frequency is reduced only after reaching a threshold number of matching instructions. The limit is per-thread.^[60]

In Ice Lake, only two levels persist:^[62]

• L0 (100%): The normal turbo boost limit.
• L1 (~97%): Triggered by any 512-bit instructions, but only when single-core boost is active; not triggered when multiple cores are loaded.

Rocket Lake processors do not trigger frequency reduction upon executing any kind of vector instructions regardless of the vector size.^[62] However, downclocking can still happen due to other reasons, such as reaching thermal and power limits.

Downclocking means that using AVX in a mixed workload with an Intel processor can incur a frequency penalty. Avoiding the use of wide and heavy instructions help minimize the impact in these cases. AVX-512VL allows for using 256-bit or 128-bit operands in AVX-512, making it a sensible default for mixed loads.^[63]

On supported and unlocked variants of processors that down-clock, the ratios are adjustable and may be turned off (set to 0x) entirely via Intel’s Overclocking / Tuning utility or in BIOS if supported there.^[64]

See also[edit]

• Memory Protection Extensions
• Scalable Vector Extension for ARM — a new vector instruction set (supplementing VFP and NEON) similar to AVX-512, with some additional features.

References[edit]

External links[edit]

• Intel Intrinsics Guide
• x86 Assembly Language Reference Manual