io_uring в Linux против ввода-вывода в Windows: техническое сравнение

Содержание
  1. Положение дел с асинхронным вводом-выводом
  2. Что такое io_uring?
  3. Механизмы асинхронного ввода-вывода в Windows
    1. Порты завершения ввода-вывода (IOCP)
    2. Перекрывающийся ввод-вывод (overlapped I/O)
    3. Зарегистрированный ввод-вывод (RIO)
  4. Сравнение лицом к лицу
    1. Накладные расходы на системные вызовы
    2. Универсальность
    3. Управление буферами
    4. Обход ядра и опрос
    5. Связанные и зависимые операции
    6. Зрелость и экосистема
  5. Преимущества io_uring перед вводом-выводом Windows
  6. Преимущества ввода-вывода Windows перед io_uring
  7. Недостатки io_uring
  8. Недостатки ввода-вывода Windows
  9. Итог

Положение дел с асинхронным вводом-выводом

Высокопроизводительные серверы, базы данных и системы хранения упираются в одно и то же узкое место: как выполнять огромные объёмы ввода-вывода, не утонув в накладных расходах на системные вызовы. Linux и Windows подошли к этой задаче принципиально по-разному, и с тех пор, как в 2019 году в Linux 5.1 появился io_uring, разрыв между ними заметно вырос.

Что такое io_uring?

io_uring — это интерфейс ядра Linux для асинхронного ввода-вывода, построенный вокруг двух неблокирующих кольцевых буферов, разделяемых пространством пользователя и ядром: очереди отправки (SQ) и очереди завершения (CQ). Приложение помещает запросы ввода-вывода в SQ, а ядро складывает результаты в CQ — и всё это без системных вызовов на горячем пути.

Ключевые свойства:

  • Отправка без копирования — запросы пишутся прямо в общую память. После того как кольца настроены, обёртка syscall на каждую операцию не нужна.
  • Пакетная обработка — один вызов io_uring_enter() может отправить сотни операций и одновременно собрать завершения.
  • Режим опроса — для нагрузок NVMe со сверхнизкой задержкой ядро может активно опрашивать завершения, полностью избавляясь от накладных расходов на прерывания.
  • Зарегистрированные буферы и файловые дескрипторы — предварительная регистрация ресурсов убирает повторные поиски в ядре и экономит микросекунды на каждой операции.
  • Связанные операции — цепочки зависимых операций ввода-вывода можно отправить как единое целое, и ядро выполнит их по порядку.
  • Кольца фиксированного размера, выделенные заранее — никаких выделений памяти на горячем пути.

Механизмы асинхронного ввода-вывода в Windows

Windows предлагает несколько пересекающихся механизмов асинхронного ввода-вывода, каждый из своей эпохи:

Порты завершения ввода-вывода (IOCP)

IOCP, появившиеся в Windows NT 3.5 (1994), — основной высокопроизводительный механизм асинхронного ввода-вывода в Windows. Приложение создаёт порт завершения, связывает с ним дескрипторы файлов, запускает перекрывающиеся (overlapped) операции ввода-вывода и извлекает завершения из порта.

  • Учитывают пул потоков — ядро ограничивает параллелизм, чтобы избежать лавины переключений контекста.
  • Хорошо интегрированы с Winsock для сетевого ввода-вывода.
  • Каждая операция ввода-вывода — это системный вызов. Ни пакетной обработки, ни обходного пути через общую память нет.

Перекрывающийся ввод-вывод (overlapped I/O)

Фундамент, на котором стоят IOCP. Каждый вызов ввода-вывода принимает структуру OVERLAPPED и завершается асинхронно. Уведомление о завершении приходит через IOCP, объекты событий или ожидание с оповещением (APC). Накладные расходы на системный вызов для каждой операции остаются.

Зарегистрированный ввод-вывод (RIO)

RIO, появившийся в Windows 8 / Server 2012, — попытка Microsoft создать более производительный путь для сетевого ввода-вывода. Он заранее регистрирует буферы и использует очереди отправки и завершения — концептуально похоже на io_uring, но только для сетевых сокетов. RIO так и не получил широкого распространения и редко используется за пределами специализированных приложений для финансовой торговли.

Сравнение лицом к лицу

Накладные расходы на системные вызовы

Здесь io_uring выигрывает безоговорочно. IOCP требуют одного системного вызова на каждую запущенную операцию ввода-вывода и одного — на каждое извлечённое завершение. io_uring может отправить и собрать тысячи операций вообще без системных вызовов в режиме опроса общей памяти или, самое большее, одним вызовом io_uring_enter() на целый пакет. На нагрузках с миллионами мелких операций ввода-вывода в секунду одна эта разница может дать на 30–50% большую пропускную способность.

Универсальность

io_uring поддерживает практически все операции ввода-вывода, которые предлагает ядро: read, write, fsync, poll, accept, connect, send, recv, openat, close, statx, rename, unlink, mkdir и многие другие. По сути он стал универсальным интерфейсом асинхронных системных вызовов.

IOCP рассчитаны в первую очередь на файловый и сокетный ввод-вывод. RIO — только на сокеты. В Windows нет аналога способности io_uring асинхронно выполнять произвольные операции с файловой системой через единый интерфейс.

Управление буферами

io_uring позволяет заранее регистрировать фиксированные буферы, которые ядро отображает один раз. Группы предоставленных буферов позволяют ядру самому выбирать буферы от имени приложения, что убирает лишний круговой проход для операций приёма.

IOCP требуют закреплять страницы для каждой перекрывающейся операции. RIO заранее регистрирует буферы, но только для сетевого ввода-вывода. Аналога групп предоставленных буферов io_uring для файлового ввода-вывода в Windows нет.

Обход ядра и опрос

Режим SQPOLL в io_uring запускает поток ядра, который непрерывно опрашивает очередь отправки, так что в установившемся режиме приложение вообще не входит в ядро. В сочетании с режимом опроса NVMe это даёт задержки, близкие к обходу ядра в стиле SPDK, без отказа от безопасности ввода-вывода через ядро.

В Windows аналога нет. Ближе всего — фреймворк драйверов пользовательского режима (UMDF) или собственный драйвер ядра, а и то и другое гораздо сложнее разрабатывать и развёртывать.

Связанные и зависимые операции

io_uring поддерживает цепочки операций: прочитать файл, затем записать в сокет, затем выполнить fsync — всё это отправляется как одна связанная цепочка. Ядро выполняет их по порядку, не возвращаясь в пространство пользователя между шагами.

У IOCP аналога нет. Каждую зависимую операцию приходится отправлять из пространства пользователя после завершения предыдущей, что добавляет круговой проход на каждое звено цепочки.

Зрелость и экосистема

За IOCP — 30 лет промышленного использования. Они хорошо изучены, хорошо документированы и глубоко встроены в экосистему Windows (.NET, Win32, Winsock). Ими пользуется практически каждое серверное приложение под Windows. Средства отладки и профилирования (ETW, xperf, WPA) зрелые.

io_uring моложе (2019) и прошёл несколько итераций усиления безопасности. В ранних версиях ядра были уязвимости CVE, связанные с io_uring, и некоторые дистрибутивы (в частности, промышленные ядра Google и ранние версии профилей seccomp в Docker) на какое-то время отключали его полностью. Начиная с Linux 5.15+ API заметно стабилизировался, и крупные проекты (PostgreSQL, RocksDB, NGINX, Tokio, liburing) теперь используют его в продакшене.

Преимущества io_uring перед вводом-выводом Windows

  • Резко меньшие накладные расходы на операцию благодаря кольцевым буферам в общей памяти и пакетной отправке.
  • Единый интерфейс для всех видов ввода-вывода — файлов, сети, метаданных файловой системы — вместо отдельного механизма для каждого.
  • Опрос на стороне ядра полностью убирает накладные расходы на системные вызовы для нагрузок, чувствительных к задержке.
  • Цепочки операций сокращают число круговых проходов для многошаговых последовательностей ввода-вывода.
  • Группы предоставленных буферов позволяют ядру управлять буферами приёма, упрощая код приложения и уменьшая перерасход памяти.
  • Быстрое развитие — новые операции и оптимизации добавляются в каждом выпуске ядра.
  • Открытый код — любой может читать, проверять реализацию и вносить в неё вклад.

Преимущества ввода-вывода Windows перед io_uring

  • Десятилетия стабильности — API IOCP заморожен уже 30 лет. Никаких внезапных ломающих изменений.
  • Интеграция с пулом потоков — встроенное в IOCP ограничение параллелизма затрудняет написание сервера, который плавится под нагрузкой.
  • Лучшая документация и инструменты — документация Microsoft по IOCP, трассировка ETW и анализ в WPA отшлифованы.
  • Никаких детских болезней безопасности — поверхность атаки IOCP укреплялась три десятилетия, тогда как io_uring всё ещё накапливает исправления CVE.
  • RIO для узких задач — для чисто сетевых нагрузок RIO даёт часть преимуществ io_uring без его сложности.
  • Более широкая языковая поддержка — асинхронный ввод-вывод в C#/.NET построен прямо на IOCP, что делает высокопроизводительный ввод-вывод доступным без ручного управления кольцевыми буферами.

Недостатки io_uring

  • Сложность — API мощный, но большой. Правильное использование требует понимания семантики кольцевых буферов, упорядочения памяти и флагов записей очереди отправки (SQE). Библиотеки вроде liburing помогают, но абстракция по своей природе сложнее, чем «вызвать ReadFile с OVERLAPPED».
  • Репутация в области безопасности — io_uring раз за разом становился источником уязвимостей повышения привилегий. Большая поверхность атаки в ядре остаётся постоянной заботой.
  • Зависимость от версии ядра — возможности и исправления сильно различаются от версии к версии. Приложение, нацеленное на io_uring, должно либо требовать свежее ядро, либо реализовывать запасные пути.
  • Трудность отладки — отслеживать ввод-вывод через кольцевые буферы в общей памяти труднее, чем системные вызовы. Стандартный strace по умолчанию не перехватывает операции io_uring.

Недостатки ввода-вывода Windows

  • Системный вызов на каждую операцию — фундаментальное архитектурное ограничение. Никакая оптимизация не сравнится с путём без системных вызовов.
  • Раздробленный API — IOCP, RIO, перекрывающийся ввод-вывод и APC — это отдельные механизмы с разной семантикой, что ведёт к путанице и ошибкам.
  • Нет настоящих асинхронных операций с метаданными файловой системы — такие операции, как rename, delete и stat, в Windows синхронны. Приложениям, которым нужны асинхронные операции с метаданными, приходится использовать пулы потоков, а это сводит смысл на нет.
  • Застой RIO — самый похожий на io_uring API Microsoft почти не развивался с момента появления и по-прежнему годится только для сети.
  • Закрытый код — невозможно проверить, отладить на уровне ядра или внести исправления без участия Microsoft.

Итог

io_uring — это скачок на целое поколение в проектировании интерфейсов ввода-вывода. Он устраняет фундаментальную неэффективность, от которой страдали все прежние модели асинхронного ввода-вывода, — системный вызов на каждую операцию — и заменяет её обменом через общую память, способным давать миллионы IOPS при минимальной нагрузке на процессор.

IOCP Windows остаются толковыми и проверенными в бою, но их архитектура выдаёт свой возраст. Microsoft не выпустила сопоставимого современного интерфейса ввода-вывода, а RIO оказался полушагом, так и не раскрывшим свой потенциал.

Для новых высокопроизводительных систем — баз данных, систем хранения, прокси, систем обмена сообщениями — io_uring в Linux явный технический победитель. Разница в производительности не маргинальная, а архитектурная. Приложения, которым раньше требовались фреймворки обхода ядра вроде DPDK или SPDK, теперь могут достичь сопоставимой производительности через io_uring, оставаясь в рамках стандартного пути ввода-вывода через ядро.

Готовность ядра Linux переосмыслять фундаментальные интерфейсы, даже ценой краткосрочной сложности и болезней роста в безопасности, дала измеримо лучшую подсистему ввода-вывода. Windows, скованная десятилетиями обязательств по обратной совместимости и более консервативной культурой разработки ядра, на этом фронте отстала.