제작: 0xMassi · 0xMassi/webclaw
Rust 기반의 빠른 로컬 스크래핑 및 구조화 추출 — 서드파티로 URL을 보내지 않고 페이지를 가져와 정제된 markdown과 구조화된 필드를 얻습니다.
WebClaw는 로컬 우선 웹 콘텐츠 추출기입니다: 단일 Rust 바이너리로 스크래핑, 크롤링, 가독성 파싱, 구조화 필드 추출을 모두 수행합니다. 페이지가 SaaS 스크래퍼를 거치지 않게 하고 싶을 때 사용하세요.
%APPDATA%\Claude\claude_desktop_config.json{
"mcpServers": {
"webclaw-mcp": {
"command": "npx",
"args": [
"-y",
"webclaw-mcp"
]
}
}
}Claude Desktop → Settings → Developer → Edit Config 열기. 저장 후 앱 재시작.
{
"mcpServers": {
"webclaw-mcp": {
"command": "npx",
"args": [
"-y",
"webclaw-mcp"
]
}
}
}Cursor는 Claude Desktop과 동일한 mcpServers 스키마 사용. 프로젝트 설정이 전역보다 우선.
{
"mcpServers": {
"webclaw-mcp": {
"command": "npx",
"args": [
"-y",
"webclaw-mcp"
]
}
}
}Cline 사이드바의 MCP Servers 아이콘 클릭 후 "Edit Configuration" 선택.
{
"mcpServers": {
"webclaw-mcp": {
"command": "npx",
"args": [
"-y",
"webclaw-mcp"
]
}
}
}Claude Desktop과 같은 형식. Windsurf 재시작 후 적용.
{
"mcpServers": [
{
"name": "webclaw-mcp",
"command": "npx",
"args": [
"-y",
"webclaw-mcp"
]
}
]
}Continue는 맵이 아닌 서버 오브젝트 배열 사용.
{
"context_servers": {
"webclaw-mcp": {
"command": {
"path": "npx",
"args": [
"-y",
"webclaw-mcp"
]
}
}
}
}context_servers에 추가. 저장 시 Zed가 핫 리로드.
claude mcp add webclaw-mcp -- npx -y webclaw-mcp한 줄 명령. claude mcp list로 확인, claude mcp remove로 제거.
언제 쓸까: NDA나 컴플라이언스로 인해 SaaS 스크래퍼 사용이 제한될 때.
결과: 서드파티 스크래퍼 없이 Claude가 페이지 콘텐츠를 사용 가능.
추출된 markdown을 다운스트림 RAG용으로 저장
| 도구 | 입력 | 언제 호출 | 비용 |
|---|---|---|---|
| fetch | (문서 참조) | URL을 정제된 markdown으로 가져오기 | 호출 1회 |
| extract | (문서 참조) | 스키마를 적용하여 구조화 필드 추출 | 호출 1회 |
| crawl | (문서 참조) | 깊이 제한으로 사이트 크롤링 | 호출 1회 |
scrape paywalled / login-required content as agent사이트에 의해 차단됨자신의 사이트에서만 --respect-robots false 시도
| 대안 | 언제 쓰나 | 단점/장점 |
|---|---|---|
| firecrawl-mcp | 관리형 SaaS를 원할 때 | 페이지가 Firecrawl을 거침 |