AIKraft/AI/Войти
AIKraft/Skills/eval-harness-first

eval-harness-first

Создавайте оценочный стенд (evaluation harness), который контролирует каждый запуск дообучения (fine-tuning): золотые наборы данных, оценщики для каждого типа ошибок, калибровка судей (judge calibration) и базовые показатели базовой модели. Применяйте при начале работы по дообучению, преобразовании трассировок в набор для оценки или калибровке судьи по человеческим меткам.

wshobson official Данные

Что делает навык

Создавайте оценочный стенд (evaluation harness), который контролирует каждый запуск дообучения (fine-tuning): золотые наборы данных, оценщики для каждого типа ошибок, калибровка судей (judge calibration) и базовые показатели базовой модели. Применяйте при начале работы по дообучению, преобразовании трассировок в набор для оценки или калибровке судьи по человеческим меткам.

Как подключить

1Скачать навык
# возьмите папку навыка «eval-harness-first» из репозитория: # https://github.com/wshobson/agents
2Положить папку с SKILL.md к навыкам ассистента
# положите папку навыка туда, где ассистент ищет skills: cp -r eval-harness-first/ ~/.claude/skills/eval-harness-first/

Навык — папка с файлом SKILL.md (описание + инструкции) и опциональными скриптами. Ассистент (Claude, Claude Code и совместимые) подхватывает его по описанию и следует шагам.