von 0xMassi · 0xMassi/webclaw
Rust-schnelles lokales Scraping und strukturierte Extraktion — eine Seite laden, bereinigtes Markdown und strukturierte Felder zurückbekommen, ohne die URL an Dritte zu senden.
WebClaw ist ein local-first Web-Content-Extraktor: scrapen, crawlen, Readability-Parsing, strukturierte Felder extrahieren — alles in einem einzigen Rust-Binary. Verwenden, wenn Seiten nicht durch einen SaaS-Scraper gehen sollen.
%APPDATA%\Claude\claude_desktop_config.json{
"mcpServers": {
"webclaw-mcp": {
"command": "npx",
"args": [
"-y",
"webclaw-mcp"
]
}
}
}Öffne Claude Desktop → Settings → Developer → Edit Config. Nach dem Speichern neu starten.
{
"mcpServers": {
"webclaw-mcp": {
"command": "npx",
"args": [
"-y",
"webclaw-mcp"
]
}
}
}Cursor nutzt das gleiche mcpServers-Schema wie Claude Desktop. Projektkonfiguration schlägt die globale.
{
"mcpServers": {
"webclaw-mcp": {
"command": "npx",
"args": [
"-y",
"webclaw-mcp"
]
}
}
}Klicken Sie auf das MCP-Servers-Symbol in der Cline-Seitenleiste, dann "Edit Configuration".
{
"mcpServers": {
"webclaw-mcp": {
"command": "npx",
"args": [
"-y",
"webclaw-mcp"
]
}
}
}Gleiche Struktur wie Claude Desktop. Windsurf neu starten zum Übernehmen.
{
"mcpServers": [
{
"name": "webclaw-mcp",
"command": "npx",
"args": [
"-y",
"webclaw-mcp"
]
}
]
}Continue nutzt ein Array von Serverobjekten statt einer Map.
{
"context_servers": {
"webclaw-mcp": {
"command": {
"path": "npx",
"args": [
"-y",
"webclaw-mcp"
]
}
}
}
}In context_servers hinzufügen. Zed lädt beim Speichern neu.
claude mcp add webclaw-mcp -- npx -y webclaw-mcpEinzeiler. Prüfen mit claude mcp list. Entfernen mit claude mcp remove.
Wann einsetzen: NDA oder Compliance schränkt SaaS-Scraper ein.
Ergebnis: Seiteninhalt für Claude verfügbar ohne Drittanbieter-Scraper.
Extrahiertes Markdown für nachgelagerte RAG-Pipelines speichern
| Werkzeug | Eingaben | Wann aufrufen | Kosten |
|---|---|---|---|
| fetch | (see docs) | Eine URL als bereinigtes Markdown holen | 1 call |
| extract | (see docs) | Ein Schema anwenden, um strukturierte Felder zu extrahieren | 1 call |
| crawl | (see docs) | Eine Seite mit Tiefenbegrenzung durchlaufen | 1 call |
scrape paywalled / login-required content as agentDurch Seite blockiert--respect-robots false nur auf eigenen Seiten versuchen
| Alternative | Wann stattdessen | Kompromiss |
|---|---|---|
| firecrawl-mcp | Du möchtest verwalteten SaaS | Seiten gehen durch Firecrawl |