por 0xMassi · 0xMassi/webclaw
Scraping local ultra-rápido em Rust com extração estruturada — recupere uma página, obtenha markdown limpo + campos estruturados sem enviar a URL para terceiros.
WebClaw é um extrator de conteúdo web local-first: scraping, crawling, parse de readability, extração de campos estruturados, tudo em um único binário Rust. Use quando você não quer que as páginas passem por um scraper SaaS.
%APPDATA%\Claude\claude_desktop_config.json{
"mcpServers": {
"webclaw-mcp": {
"command": "npx",
"args": [
"-y",
"webclaw-mcp"
]
}
}
}Abra Claude Desktop → Settings → Developer → Edit Config. Reinicie após salvar.
{
"mcpServers": {
"webclaw-mcp": {
"command": "npx",
"args": [
"-y",
"webclaw-mcp"
]
}
}
}Cursor usa o mesmo esquema mcpServers que o Claude Desktop. Config de projeto vence a global.
{
"mcpServers": {
"webclaw-mcp": {
"command": "npx",
"args": [
"-y",
"webclaw-mcp"
]
}
}
}Clique no ícone MCP Servers na barra lateral do Cline, depois "Edit Configuration".
{
"mcpServers": {
"webclaw-mcp": {
"command": "npx",
"args": [
"-y",
"webclaw-mcp"
]
}
}
}Mesmo formato do Claude Desktop. Reinicie o Windsurf para aplicar.
{
"mcpServers": [
{
"name": "webclaw-mcp",
"command": "npx",
"args": [
"-y",
"webclaw-mcp"
]
}
]
}O Continue usa um array de objetos de servidor em vez de um map.
{
"context_servers": {
"webclaw-mcp": {
"command": {
"path": "npx",
"args": [
"-y",
"webclaw-mcp"
]
}
}
}
}Adicione em context_servers. Zed recarrega automaticamente ao salvar.
claude mcp add webclaw-mcp -- npx -y webclaw-mcpUma linha só. Verifique com claude mcp list. Remova com claude mcp remove.
Quando usar: NDA ou compliance limita scrapers SaaS.
Resultado: Conteúdo da página disponível para o Claude sem scraper de terceiros.
Salve o markdown extraído para RAG downstream
| Ferramenta | Entradas | Quando chamar | Custo |
|---|---|---|---|
| fetch | (ver docs) | Recupera uma URL como markdown limpo | 1 chamada |
| extract | (ver docs) | Aplica um schema para extrair campos estruturados | 1 chamada |
| crawl | (ver docs) | Percorre um site com limites de profundidade | 1 chamada |
scrape paywalled / login-required content as agentBloqueado pelo siteTente --respect-robots false apenas nos seus próprios sites
| Alternativa | Quando usar | Troca |
|---|---|---|
| firecrawl-mcp | Você quer SaaS gerenciado | Páginas passam pelo Firecrawl |