作者 0xMassi · 0xMassi/webclaw
Rust製の高速ローカルスクレイピングと構造化抽出 — URLを取得してクリーンなmarkdownと構造化フィールドを得る、サードパーティへのURL送信なし。
WebClawはローカルファーストのWebコンテンツ抽出ツールです：スクレイピング、クロール、readability解析、構造化フィールド抽出をすべて1つのRustバイナリで実行します。SaaSスクレイパーにページを通したくない場合に役立ちます。
%APPDATA%\Claude\claude_desktop_config.json{
"mcpServers": {
"webclaw-mcp": {
"command": "npx",
"args": [
"-y",
"webclaw-mcp"
]
}
}
}Claude Desktop → Settings → Developer → Edit Config を開く。保存後、アプリを再起動。
{
"mcpServers": {
"webclaw-mcp": {
"command": "npx",
"args": [
"-y",
"webclaw-mcp"
]
}
}
}Cursor は Claude Desktop と同じ mcpServers スキーマを使用。プロジェクト設定はグローバルより優先。
{
"mcpServers": {
"webclaw-mcp": {
"command": "npx",
"args": [
"-y",
"webclaw-mcp"
]
}
}
}Cline サイドバーの MCP Servers アイコンをクリックし、"Edit Configuration" を選択。
{
"mcpServers": {
"webclaw-mcp": {
"command": "npx",
"args": [
"-y",
"webclaw-mcp"
]
}
}
}Claude Desktop と同じ形式。Windsurf を再起動して反映。
{
"mcpServers": [
{
"name": "webclaw-mcp",
"command": "npx",
"args": [
"-y",
"webclaw-mcp"
]
}
]
}Continue はマップではなくサーバーオブジェクトの配列を使用。
{
"context_servers": {
"webclaw-mcp": {
"command": {
"path": "npx",
"args": [
"-y",
"webclaw-mcp"
]
}
}
}
}context_servers に追加。保存時に Zed がホットリロード。
claude mcp add webclaw-mcp -- npx -y webclaw-mcpワンライナー。claude mcp list で確認、claude mcp remove で削除。
使うタイミング： NDCや法令遵守によりSaaSスクレイパーが制限されている場合。
結果： サードパーティのスクレイパーを経由せずにClaudeがページ内容を利用できるようになります。
抽出したmarkdownをダウンストリームのRAG向けに保存する
| ツール | 入力 | 呼び出すタイミング | コスト |
|---|---|---|---|
| fetch | (ドキュメント参照) | URLをクリーンなmarkdownとして取得する | 1 call |
| extract | (ドキュメント参照) | スキーマを適用して構造化フィールドを抽出する | 1 call |
| crawl | (ドキュメント参照) | 深さ制限付きでサイトをクロールする | 1 call |
エージェントとしてペイウォール/ログイン必須のコンテンツをスクレイプすることサイトにブロックされる自分のサイトに限り --respect-robots false を試してください
| 代替案 | 代わりに使う場面 | トレードオフ |
|---|---|---|
| firecrawl-mcp | マネージドSaaSが必要な場合 | ページがFirecrawlを経由する |