AIKraft/Skills/cupynumeric: параллельная загрузка данных

cupynumeric: параллельная загрузка данных

Load a sharded, on-disk dataset (sharded .npy, Parquet/Arrow, raw binary, sharded HDF5, custom layouts) into a distributed cuPyNumeric ndarray via a manual partition + leaf @task launch with CPU/OMP/GPU variants. Use when no single-call loader fits, including when per-shard row counts differ across files. Prefer cupynumeric.load or legate.io.hdf5.from_file when they apply.

AInvidia official Дизайн

Что делает навык

Загрузка шардированного набора данных на диске (шардированные .npy, Parquet/Arrow, raw binary, шардированный HDF5, произвольные форматы) в распределённый cuPyNumeric ndarray через ручное разбиение и запуск leaf @task с вариантами для CPU/OMP/GPU. Используйте, когда не подходит ни один загрузчик с единственным вызовом, в том числе когда число строк на шард различается между файлами. Предпочитайте cupynumeric.load или legate.io.hdf5.from_file, когда они применимы.

Как подключить

1Скачать навык

# возьмите папку навыка «cupynumeric-parallel-data-load» из репозитория: # https://github.com/nvidia/skills

2Положить папку с SKILL.md к навыкам ассистента

# положите папку навыка туда, где ассистент ищет skills: cp -r cupynumeric-parallel-data-load/ ~/.claude/skills/cupynumeric-parallel-data-load/

Навык — папка с файлом SKILL.md (описание + инструкции) и опциональными скриптами. Ассистент (Claude, Claude Code и совместимые) подхватывает его по описанию и следует шагам.