io.github.sharozdawa/robotstxt-ai
Анализируйте и генерируйте robots.txt с AI crawler detection для 20+ bots, таких как GPTBot и ClaudeBot.
AIsharozdawa
Локальный · npm
official
Что это
Анализируйте и генерируйте robots.txt с AI crawler detection для 20+ bots, таких как GPTBot и ClaudeBot.
Как подключить
1Официальный package
npm · robotstxt-ai-mcp@1.0.1
2Установить и запустить в терминале
npx robotstxt-ai-mcp@1.0.1
3Добавить в конфиг MCP-клиента (mcp.json / claude_desktop_config.json)
{
"mcpServers": {
"io-github-sharozdawa-robotstxt-ai": {
"command": "npx",
"args": [
"robotstxt-ai-mcp@1.0.1"
]
}
}
}
Вставьте блок в конфиг клиента (Claude Desktop, Claude Code, Cursor, VS Code, Cline). Команда и package собраны из полей официального MCP Registry.