Дизайн библиотеки
Tokamax стандартизирует и упрощает типичные задачи разработчиков, связанные с созданием, оптимизацией, поддержкой и использованием ядер. Это достигается за счет базовых классов и общей инфраструктуры, которые наследуются и реализуются всеми операторами в библиотеке в рамках хорошо структурированного фреймворка.
Слои операторов
Базовый класс Tokamax
tokamax.Op – это базовый класс Tokamax, который служит основой для каждого оператора в библиотеке. При вызове любого производного оператора этот уровень автоматически обрабатывает следующие функции:
- Связывание аргументов. Перед выполнением вычислений базовый класс нормализует и проверяет аргументы вызывающего объекта, приводя их к единому каноническому представлению. Это позволяет кешированию, эвристике и выполнению ядра единообразно обрабатывать рабочую нагрузку (через объект
BoundArguments) независимо от способа передачи входных данных (см.op.bind()). - Проверка устройств. Чтобы выявлять несоответствия оборудования на ранних этапах, оператор проверяет поддержку устройства целевым ускорителем перед запуском. При этом проверку можно пропустить, если кросс-компиляция выполняется на хосте ЦП (см.
op.supported_on(),bypass_device_check=Trueиconfig.cross_compile(True)). - Пакетный захват. Поскольку оптимальная конфигурация ядра (
Config) часто зависит от размера всего пакета, а не от одного среза, базовый класс захватывает окружающие пакетные измерения, когда оператор векторизуется (jax.vmap). Это позволяет эвристикам и кешам автонастройки оптимизировать истинную форму рабочей нагрузки (см.op._capture_batched_args()). - Разрешение конфигурации. Чтобы обеспечить высокую производительность без ручной настройки, базовый класс автоматически разрешает гиперпараметры ядра, если вызывающий объект их не предоставляет. При этом используются ранее автоматически настроенные параметры в кэше автоматической настройки на диске (если они доступны) или встроенная эвристика (см.
BoundArguments.default_config). - Сериализация метаданных StableHLO. Чтобы скомпилированные программы можно было анализировать для офлайн-профилирования и автоматической настройки, базовый класс встраивает метаданные оператора в пониженный граф. Это позволяет инструментам ниже по цепочке восстанавливать, какие операторы выполнялись и с какими входными данными (формами, типами и т. д.), непосредственно из скомпилированного модуля или профиля производительности (см.
_tokamax_metadata()). - Прямое выполнение и пользовательский VJP. Поскольку специализированные аппаратные ядра часто не могут быть эффективно дифференцированы стандартным автоматическим дифференцированием, базовый класс координирует прямое и обратное выполнение как пару, позволяя прямому проходу передавать промежуточные значения непосредственно в пользовательское обратное ядро во время вычисления градиента (см.
op._fwd()) и вызовыjax.custom_vjp.
Базовый класс для конкретной операции
Каждое семейство операторов определяет собственный базовый класс, который наследует от базового класса операторов и устанавливает контракт, общий для всех бэкендов (например, см. RaggedDot):
- Эталонная реализация. Каждый базовый класс оператора предоставляет переносимую эталонную реализацию полной математической спецификации на чистом JAX, включая градиенты, если применимо. Это служит фундаментальной истиной для тестов на числовую точность и гарантирует работающий резервный вариант на любом оборудовании (см.
RaggedDot._fwd()). - Каноническая привязка. Поскольку пользователи могут выражать одну и ту же математическую операцию несколькими способами (например, передавая разные формы масок, настройки точности или спецификации размеров), базовый класс оператора нормализует входные данные и заранее проверяет совместимость формы и типа, чтобы отдельным аппаратным бэкендам приходилось обрабатывать только один предсказуемый формат входных данных (см.
RaggedDot.bind()).
Классы реализации операций
Эти классы предоставляют реализации ядра для конкретного оборудования и могут быть созданы и вызваны непосредственно пользователями. Каждая реализация наследуется от базового класса, зависящего от оператора, и предоставляет поведение, зависящее от серверной части (например, см. PallasMosaicTpuRaggedDot):
- Основные функции. Здесь определяется фактическое выполнение ядра аппаратного обеспечения, обычно с использованием языка ядра, такого как Pallas. Когда для операции требуется специализированный обратный проход, ядро градиента обычно моделируется как собственная реализация первоклассного оператора, чтобы его можно было настраивать, настраивать и тестировать независимо. Хотя код ядра самого низкого уровня часто выносится в отдельный вспомогательный файл для модульности, этот класс служит основным интерфейсом для вызова этого ядра (см.
PallasMosaicTpuRaggedDot._fwd()). - Конфигурация. Поскольку аппаратные ядра часто предоставляют регуляторы производительности, такие как размеры фрагментов, этапы конвейера или стратегии буферизации памяти, каждый бэкенд определяет выделенную структуру конфигурации, которая позволяет пользователям или автоматизированным инструментам контролировать, как ядро разбивается, компилируется и выполняется (см.
Config). - Эвристика. Не все рабочие нагрузки настраиваются автоматически заранее, поэтому каждый бэкенд предоставляет встроенную эвристику, которая выбирает разумные параметры настройки по умолчанию на основе размеров задачи, типов данных и спецификаций ускорителя (см.
_get_heuristics_config()). - Пространство поиска для автонастройки. Для рабочих нагрузок, где важна пиковая производительность, каждый бэкенд определяет пространство поиска для автонастройки, состоящее из допустимых комбинаций параметров для заданной формы задачи. Это позволяет автонастройщику сравнивать кандидатов и находить самую быструю конфигурацию (см.
_get_autotuning_configs()). - Проверка, зависящая от реализации. К аппаратным ядрам часто предъявляются более строгие требования, чем к общим математическим операциям, например правила выравнивания размеров или ограниченная поддержка типов данных. Каждая реализация проверяет эти ограничения и сигнализирует, когда рабочая нагрузка не может быть обработана, позволяя диспетчерам более высокого уровня корректно переключаться на другой бэкенд (см.
PallasMosaicTpuRaggedDot._fwd()).
Высокоуровневый API
У большинства операторов есть несколько серверных частей, например переносимая эталонная реализация наряду с одним или несколькими ядрами, специфичными для оборудования, и они предоставляют единую знакомую высокоуровневую точку входа (например, стандартную функцию jax.lax). Этот уровень предназначен для того, чтобы предоставить пользователям простой интерфейс, который автоматически выбирает лучший поддерживаемый бэкенд для их оборудования и входных форм, но при этом позволяет им запрашивать конкретную реализацию, когда это необходимо (см. tokamax.ragged_dot()).
ArgSpecs
Поддержание общего каталога важных форм рабочих нагрузок необходимо для тестирования и оптимизации ядер в разных серверных частях. Tokamax фиксирует эти репрезентативные формы производства и эталонные формы в виде спецификаций рабочих нагрузок, которые используются во всех реализациях оператора. Это дает тестам непрерывной интеграции, контрольным показателям регрессии и конвейерам автонастройки единый источник достоверных данных, который можно фильтровать по тегам для различных рабочих процессов (см. ArgSpecs для ragged_dot).
Структура хранилища
Код внутренней реализации находится в дереве частных источников (см. tokamax/_src), а общедоступные символы для операторов, автонастройки, тестирования производительности и конфигурации повторно экспортируются через модули верхнего уровня (см. tokamax/__init__.py).
В каталоге каждого оператора (см. tokamax/_src/ops) файлы именуются по единому принципу. Ниже приведен пример для ragged dot:
- Высокоуровневый API. Определяет общедоступную функциональную точку входа и логику диспетчеризации серверной части (см.
api.py). - Базовый класс для конкретной операции. Определяет переносимую эталонную реализацию (см.
base.py). - Реализации серверной части. Определяет классы операторов, конфигурации, эвристики и пространства автонастройки, зависящие от оборудования (см.
pallas_mosaic_tpu.py). - Ядра низкого уровня. Отдельные реализации ядер и общие вспомогательные модули низкого уровня разделены на сопутствующие модули (см.
pallas_mosaic_tpu_kernel.py). - Спецификации рабочих нагрузок. Каталоги канонических входных форм для тестирования, сравнительного анализа и автонастройки (см.
arg_specs.py). - Наборы тестов. Определяет общие параметризованные проверки правильности наряду с наборами тестов для каждого бэкенда (см.
test_base.py).
Операции в каталоге experimental имеют похожую структуру, но могут не отображаться в общедоступном API. Эти операции предназначены для быстрой итерации и исследования и могут часто и значительно меняться, при этом обычно предъявляются более низкие требования к текущему обслуживанию и поддержке.
Какой уровень следует вызывать пользователям
Выбор точки входа – это компромисс между удобством и контролем. Большинству пользователей следует начать с вызова операторов через высокоуровневый функциональный API, который предоставляет знакомый интерфейс стиля и автоматически выбирает подходящую реализацию бэкэнда. Когда требуется детерминированный выбор бэкенда, пользователи могут передать явный выбор реализации в функцию высокого уровня, сохраняя ту же сигнатуру вызова. Для максимального контроля пользователи могут напрямую создать экземпляр конкретного класса реализации оператора, чтобы настроить гиперпараметры ядра, такие как размеры фрагментов, и передать аргументы, специфичные для бэкенда.
Не рекомендуется вызывать низкоуровневые функции ядра напрямую, не используя класс реализации оператора. Это позволяет обойти важную инфраструктуру, включая автонастройку, проверку входных данных и нормализацию, а также сериализацию метаданных, не предлагая при этом существенной экономии накладных расходов, поскольку оболочки операторов намеренно облегчены. Например, если не настроить гиперпараметры, то эффективность может быть значительно ниже оптимальной.
Дополнительные темы
Оператор Fusion
Операторы Fusible Pallas TPU поддерживают объединение окружающих прологов и эпилогов JAX непосредственно в ядро через @tokamax.ops.op_fusion.fuse. Примеры использования и инструкции по созданию ядер и подклассов Op, совместимых с объединением, можно найти в руководстве по объединению операторов.
Порядок воспроизведения
Ядра можно сериализовать в StableHLO. Вызовы ядра – это пользовательские вызовы JAX, которые по умолчанию запрещены в jax.export. Чтобы разрешить экспорт всех ядер Tokamax, необходимо использовать tokamax.DISABLE_JAX_EXPORT_CHECKS.
from jax import export
f_grad_exported = export.export(f_grad, disabled_checks=tokamax.DISABLE_JAX_EXPORT_CHECKS)(
jax.ShapeDtypeStruct(x.shape, x.dtype),
jax.ShapeDtypeStruct(scale.shape, scale.dtype),
)
Обратите внимание, что функции, сериализованные с помощью ядер Tokamax, теряют независимость от устройства, которая есть у стандартного StableHLO. Tokamax гарантирует два типа сериализации:
- Десериализованная функция, сериализованная на определенном устройстве, гарантированно будет работать на том же устройстве, для которого она была сериализована.
- Tokamax предоставляет те же гарантии совместимости, что и JAX: обратная совместимость в течение шести месяцев.
Кросс-компиляция и экспорт ЦП
Ядра Tokamax можно экспортировать или кросс-компилировать на хосте ЦП:
- Явный выбор реализации (например,
implementation="mosaic_tpu_v2") автоматически отключает проверку хост-устройства. - Или включите кросс-компиляцию глобально с помощью
tokamax.config.cross_compile(True):
with tokamax.config.cross_compile(True):
f_exported = export.export(
f, disabled_checks=tokamax.DISABLE_JAX_EXPORT_CHECKS
)(
jax.ShapeDtypeStruct(x.shape, x.dtype),
...,
)