por 0xMassi · 0xMassi/webclaw
Scraping local ultrarrápido en Rust y extracción estructurada — obtén una página como markdown limpio + campos estructurados sin enviar la URL a terceros.
WebClaw es un extractor de contenido web local-first: scrape, crawl, parse de legibilidad, extracción de campos estructurados, todo en un solo binario Rust. Úsalo cuando no quieras que las páginas pasen por un scraper SaaS.
%APPDATA%\Claude\claude_desktop_config.json{
"mcpServers": {
"webclaw-mcp": {
"command": "npx",
"args": [
"-y",
"webclaw-mcp"
]
}
}
}Abre Claude Desktop → Settings → Developer → Edit Config. Reinicia después de guardar.
{
"mcpServers": {
"webclaw-mcp": {
"command": "npx",
"args": [
"-y",
"webclaw-mcp"
]
}
}
}Cursor usa el mismo esquema mcpServers que Claude Desktop. La configuración del proyecto prevalece sobre la global.
{
"mcpServers": {
"webclaw-mcp": {
"command": "npx",
"args": [
"-y",
"webclaw-mcp"
]
}
}
}Haz clic en el icono MCP Servers de la barra lateral de Cline y luego en "Edit Configuration".
{
"mcpServers": {
"webclaw-mcp": {
"command": "npx",
"args": [
"-y",
"webclaw-mcp"
]
}
}
}Mismo formato que Claude Desktop. Reinicia Windsurf para aplicar.
{
"mcpServers": [
{
"name": "webclaw-mcp",
"command": "npx",
"args": [
"-y",
"webclaw-mcp"
]
}
]
}Continue usa un array de objetos de servidor en lugar de un mapa.
{
"context_servers": {
"webclaw-mcp": {
"command": {
"path": "npx",
"args": [
"-y",
"webclaw-mcp"
]
}
}
}
}Añádelo a context_servers. Zed recarga en caliente al guardar.
claude mcp add webclaw-mcp -- npx -y webclaw-mcpUn solo comando. Verifica con claude mcp list. Quita con claude mcp remove.
Cuándo usarlo: NDA o cumplimiento limita el uso de scrapers SaaS.
Resultado: Contenido de página disponible para Claude sin scraper de terceros.
Guardar markdown extraído para RAG posterior
| Herramienta | Entradas | Cuándo llamar | Coste |
|---|---|---|---|
| fetch | (see docs) | Obtener una URL como markdown limpio | 1 call |
| extract | (see docs) | Aplicar un schema para extraer campos estructurados | 1 call |
| crawl | (see docs) | Recorrer un sitio con límites de profundidad | 1 call |
scrape paywalled / login-required content as agentBloqueado por el sitioPrueba --respect-robots false solo en tus propios sitios
| Alternativa | Cuándo usarla | Contrapartida |
|---|---|---|
| firecrawl-mcp | Quieres SaaS gestionado | Las páginas pasan por Firecrawl |