автор 0xMassi · 0xMassi/webclaw
Быстрый локальный скрапинг и структурированное извлечение на Rust — получайте очищенный markdown + структурированные поля без отправки URL третьим сторонам.
WebClaw — local-first инструмент для извлечения веб-контента: скрапинг, обход, разбор readability, извлечение структурированных полей — всё в одном бинарнике на Rust. Используйте его, когда страницы не должны проходить через SaaS-скрапер.
%APPDATA%\Claude\claude_desktop_config.json{
"mcpServers": {
"webclaw-mcp": {
"command": "npx",
"args": [
"-y",
"webclaw-mcp"
]
}
}
}Откройте Claude Desktop → Settings → Developer → Edit Config. Перезапустите после сохранения.
{
"mcpServers": {
"webclaw-mcp": {
"command": "npx",
"args": [
"-y",
"webclaw-mcp"
]
}
}
}Cursor использует ту же схему mcpServers, что и Claude Desktop. Конфиг проекта приоритетнее глобального.
{
"mcpServers": {
"webclaw-mcp": {
"command": "npx",
"args": [
"-y",
"webclaw-mcp"
]
}
}
}Щёлкните значок MCP Servers на боковой панели Cline, затем "Edit Configuration".
{
"mcpServers": {
"webclaw-mcp": {
"command": "npx",
"args": [
"-y",
"webclaw-mcp"
]
}
}
}Тот же формат, что и Claude Desktop. Перезапустите Windsurf для применения.
{
"mcpServers": [
{
"name": "webclaw-mcp",
"command": "npx",
"args": [
"-y",
"webclaw-mcp"
]
}
]
}Continue использует массив объектов серверов, а не map.
{
"context_servers": {
"webclaw-mcp": {
"command": {
"path": "npx",
"args": [
"-y",
"webclaw-mcp"
]
}
}
}
}Добавьте в context_servers. Zed перезагружается автоматически.
claude mcp add webclaw-mcp -- npx -y webclaw-mcpОднострочная команда. Проверить: claude mcp list. Удалить: claude mcp remove.
Когда использовать: NDA или compliance ограничивает использование SaaS-скраперов.
Итог: Содержимое страницы доступно Claude без стороннего скрапера.
Сохранять извлечённый markdown для последующего RAG
| Инструмент | Входные данные | Когда вызывать | Стоимость |
|---|---|---|---|
| fetch | (см. документацию) | Получить URL в виде очищенного markdown | 1 вызов |
| extract | (см. документацию) | Применить схему для извлечения структурированных полей | 1 вызов |
| crawl | (см. документацию) | Обойти сайт с ограничением глубины | 1 вызов |
scrape paywalled / login-required content as agentЗаблокирован сайтомПопробуйте --respect-robots false только на своих собственных сайтах
| Альтернатива | Когда использовать | Компромисс |
|---|---|---|
| firecrawl-mcp | Вам нужен управляемый SaaS | Страницы проходят через Firecrawl |