● مجتمع 0xMassi ⚡ فوري

WebClaw

Name: WebClaw MCP Server
Author: 0xMassi

بواسطة 0xMassi · 0xMassi/webclaw

كشط محلي سريع بـ Rust واستخراج منظم — اسحب صفحة، احصل على markdown نظيف وحقول منظمة دون إرسال URL لطرف ثالث.

WebClaw هو أداة استخراج محتوى ويب تُعطي الأولوية للمحلية: كشط، زحف، تحليل readability، استخراج حقول منظمة، كل ذلك في ثنائي Rust واحد. استخدمه عندما لا تريد مرور الصفحات عبر خدمة SaaS.

▶ شاهد العرض 📦 التثبيت 💡 حالات الاستخدام

لماذا تستخدمه

الميزات الأساسية

ثنائي Rust محلي — لا SaaS
مخرجات Readability و markdown
استخراج حقول منظمة بمخططات
زحف مع حدود العمق
يحترم robots.txt
تدوير User-agent

عرض مباشر

كيف يبدو في الممارسة

جاهز

التثبيت

اختر العميل

~/Library/Application Support/Claude/claude_desktop_config.json · Windows: %APPDATA%\Claude\claude_desktop_config.json

{
  "mcpServers": {
    "webclaw-mcp": {
      "command": "npx",
      "args": [
        "-y",
        "webclaw-mcp"
      ]
    }
  }
}

افتح Claude Desktop → Settings → Developer → Edit Config. أعد التشغيل بعد الحفظ.

~/.cursor/mcp.json · .cursor/mcp.json

{
  "mcpServers": {
    "webclaw-mcp": {
      "command": "npx",
      "args": [
        "-y",
        "webclaw-mcp"
      ]
    }
  }
}

يستخدم Cursor نفس مخطط mcpServers مثل Claude Desktop. إعدادات المشروع أولى من الإعدادات العامة.

VS Code → Cline → MCP Servers → Edit

{
  "mcpServers": {
    "webclaw-mcp": {
      "command": "npx",
      "args": [
        "-y",
        "webclaw-mcp"
      ]
    }
  }
}

انقر على أيقونة MCP Servers في شريط Cline الجانبي، ثم "Edit Configuration".

~/.codeium/windsurf/mcp_config.json

{
  "mcpServers": {
    "webclaw-mcp": {
      "command": "npx",
      "args": [
        "-y",
        "webclaw-mcp"
      ]
    }
  }
}

نفس الصيغة مثل Claude Desktop. أعد تشغيل Windsurf لتطبيق التغييرات.

~/.continue/config.json

{
  "mcpServers": [
    {
      "name": "webclaw-mcp",
      "command": "npx",
      "args": [
        "-y",
        "webclaw-mcp"
      ]
    }
  ]
}

يستخدم Continue مصفوفة من كائنات الخادم بدلاً من خريطة.

~/.config/zed/settings.json

{
  "context_servers": {
    "webclaw-mcp": {
      "command": {
        "path": "npx",
        "args": [
          "-y",
          "webclaw-mcp"
        ]
      }
    }
  }
}

أضف إلى context_servers. يعيد Zed التحميل تلقائيًا عند الحفظ.

claude mcp add webclaw-mcp -- npx -y webclaw-mcp

أمر من سطر واحد. تحقق باستخدام claude mcp list. احذف باستخدام claude mcp remove.

حالات الاستخدام

استخدامات عملية: WebClaw

كشط موقع توثيق دون تسريب URLs لـ SaaS

👤 المطورون ⏱ ~15 min intermediate

متى تستخدمه: اتفاقية سرية أو متطلبات امتثال تُقيّد خدمات SaaS للكشط.

الخطوات

التشغيل

webclaw fetch https://internal-docs.corp/x✓ تم النسخ

→ Markdown مُعاد
التكرار

يُحسّن Claude الاستخراج✓ تم النسخ

→ نص نظيف

النتيجة: محتوى الصفحة متاح لـ Claude دون كاشط طرف ثالث.

التركيبات

اجمعها مع خوادم MCP أخرى لتحقيق نتائج x10

webclaw-mcp + filesystem

حفظ markdown المستخرج لـ RAG لاحق

Combine webclaw-mcp with filesystem: Save extracted markdown for downstream RAG✓ تم النسخ

الأدوات

ما يوفره هذا الـ MCP

الأداة	المدخلات	متى تستدعيها	التكلفة
fetch	(انظر التوثيق)	سحب URL كـ markdown نظيف	1 استدعاء
extract	(انظر التوثيق)	تطبيق مخطط لاستخراج حقول منظمة	1 استدعاء
crawl	(انظر التوثيق)	تصفح موقع مع حدود العمق	1 استدعاء

التكلفة والحدود

تكلفة التشغيل

حصة API: معالج محلي
الرموز لكل استدعاء: بحجم الصفحة
التكلفة المالية: مجاني ومفتوح المصدر
نصيحة: استخدم --readability؛ HTML الخام يستهلك tokens

الأمان

الصلاحيات والأسرار ونطاق الأثر

تخزين بيانات الاعتماد: لا شيء

نقل البيانات الخارجي: أينما تجلب

لا تمنح أبدًا: scrape paywalled / login-required content as agent

استكشاف الأخطاء

الأخطاء الشائعة وحلولها

الموقع يحجب الطلبات

جرّب --respect-robots false فقط على مواقعك الخاصة

البدائل

WebClaw مقابل البدائل

البديل	متى تستخدمها	المقايضة
firecrawl-mcp	تريد SaaS مُدار	الصفحات تمر عبر Firecrawl