par 0xMassi · 0xMassi/webclaw
Scraping local ultra-rapide en Rust et extraction structurée — récupérez une page, obtenez du markdown nettoyé + des champs structurés sans envoyer l'URL à un tiers.
WebClaw est un extracteur de contenu web local-first : scraping, crawling, parsing readability, extraction de champs structurés, le tout dans un binaire Rust unique. Utilisez-le quand vous ne souhaitez pas que les pages transitent par un scraper SaaS.
%APPDATA%\Claude\claude_desktop_config.json{
"mcpServers": {
"webclaw-mcp": {
"command": "npx",
"args": [
"-y",
"webclaw-mcp"
]
}
}
}Ouvrez Claude Desktop → Settings → Developer → Edit Config. Redémarrez après avoir enregistré.
{
"mcpServers": {
"webclaw-mcp": {
"command": "npx",
"args": [
"-y",
"webclaw-mcp"
]
}
}
}Cursor utilise le même schéma mcpServers que Claude Desktop. La config projet l'emporte sur la globale.
{
"mcpServers": {
"webclaw-mcp": {
"command": "npx",
"args": [
"-y",
"webclaw-mcp"
]
}
}
}Cliquez sur l'icône MCP Servers dans la barre latérale Cline, puis "Edit Configuration".
{
"mcpServers": {
"webclaw-mcp": {
"command": "npx",
"args": [
"-y",
"webclaw-mcp"
]
}
}
}Même format que Claude Desktop. Redémarrez Windsurf pour appliquer.
{
"mcpServers": [
{
"name": "webclaw-mcp",
"command": "npx",
"args": [
"-y",
"webclaw-mcp"
]
}
]
}Continue utilise un tableau d'objets serveur plutôt qu'une map.
{
"context_servers": {
"webclaw-mcp": {
"command": {
"path": "npx",
"args": [
"-y",
"webclaw-mcp"
]
}
}
}
}Ajoutez dans context_servers. Zed recharge à chaud à la sauvegarde.
claude mcp add webclaw-mcp -- npx -y webclaw-mcpUne seule ligne. Vérifiez avec claude mcp list. Supprimez avec claude mcp remove.
Quand l'utiliser : Les contraintes NDA ou de conformité interdisent les scrapers SaaS.
Résultat : Contenu de page disponible pour Claude sans scraper tiers.
Sauvegarder le markdown extrait pour un RAG en aval
| Outil | Entrées | Quand appeler | Coût |
|---|---|---|---|
| fetch | (voir la documentation) | Récupérer une URL en markdown nettoyé | 1 appel |
| extract | (voir la documentation) | Appliquer un schéma pour extraire des champs structurés | 1 appel |
| crawl | (voir la documentation) | Parcourir un site avec limites de profondeur | 1 appel |
scrape paywalled / login-required content as agentBloqué par le siteUtilisez --respect-robots false uniquement sur vos propres sites
| Alternative | Quand l'utiliser | Compromis |
|---|---|---|
| firecrawl-mcp | Vous souhaitez un SaaS géré | Les pages transitent par Firecrawl |