● مجتمع
yfe404
⚡ فوري
web-scraper
بواسطة yfe404 · yfe404/web-scraper
أداة كشط تجريبية متعددة المراحل تفضل واجهات برمجية > خرائط المواقع > HTML، وتختار قالب Apify المناسب (Cheerio أو Playwright)، وتصعّد آليات مكافحة الاكتشاف فقط عند الحاجة.
كشط ويب ذكي عبر Claude Code. ينفذ كشفاً استكشافياً خماسي المراحل (المراحل 0-5) يجرب أولاً أرخص مسار استخراج: واجهات برمجية عامة، تغذيات خريطة المواقع، البيانات المنظمة. فقط عندما تفشل تلك يعتبر أتمتة المتصفح، وفقط عندما تظهر إشارات حماية يضيف طبقات من الخفاء. مبني حول تطوير Apify Actor الموجه نحو TypeScript، مع قوالب (Cheerio للمحتوى الثابت، Playwright للمحتوى الثقيل بـ JavaScript).
لماذا تستخدمه
الميزات الأساسية
- كشف متعدد المراحل — واجهات برمجية > خرائط المواقع > HTML ثابت > متصفح
- منتقي القالب: Cheerio للمحتوى الثابت، Playwright للمحتوى الثقيل بـ JavaScript
- سير عمل Apify Actor الموجه نحو TypeScript أولاً
- الخفاء الانتقائي: فقط عند اكتشاف إشارات حماية
- تسجيل الجلسة + إعادة التشغيل للتصحيح
عرض مباشر
كيف يبدو في الممارسة
web-scraper-skill.replay
▶ جاهز
حالات الاستخدام
استخدامات عملية: web-scraper
متى تستخدمه: عندما تحتاج إلى مجموعة بيانات من موقع عام لا يحتوي على واجهة برمجية
الخطوات
-
دع Skill تقوم بالكشف
استخدم web-scraper. الهدف: https://example.com/listings. أريد name + URL + category. كشف أولاً — أخبرني بأرخص مسار استخراج.✓ تم النسخ
→ تقرير Skill: 'sitemap.xml متاح، استخدم Cheerio'
-
أنشئ هيكل Apify Actor
أنشئ هيكل TypeScript Apify Cheerio actor لهذا الاستخراج.✓ تم النسخ
→ هيكل Actor + main.ts جاهز للتشغيل
-
قم بالتشغيل والتكرار
قم بالتشغيل محلياً على 10 صفحات؛ شدد المحددات إذا لزم الأمر.✓ تم النسخ
→ مخرجات JSON نظيفة
النتيجة: Actor Apify يمكنك نشره لعمليات كشط مجدولة
المزالق
- الانتقال إلى Playwright عندما يكون Cheerio كافياً — ثق بالكشف — متصفحات الرأس تكلف 10 أضعاف بلا داعٍ
التركيبات
اجمعها مع خوادم MCP أخرى لتحقيق نتائج x10
web-scraper-skill +
apifyنشر Actor المُنشأ إلى Apify لتشغيل مجدولة
نشر هذا Actor إلى حسابي على Apify وجدولته يومياً.✓ تم النسخ
احتفظ برمز Actor في المستودع بجانب التطبيق المستهلك
أنشئ هيكل في scrapers/ والتزم به مع المشروع الرئيسي.✓ تم النسخ
التكلفة والحدود
تكلفة التشغيل
- حصة API
- لدى Apify حصصها الحسابية الخاصة + وكيل
- الرموز لكل استدعاء
- معتدل — هيكل وحلقات التكرار
- التكلفة المالية
- Skill مجانية؛ تكاليف Apify منفصلة
- نصيحة
- فضّل Cheerio — أحد أرخص ملفات التشغيل على Apify
الأمان
الصلاحيات والأسرار ونطاق الأثر
الحد الأدنى من الصلاحيات: Apify API token with actor:read + actor:write
تخزين بيانات الاعتماد: APIFY_TOKEN in env
نقل البيانات الخارجي: أي مواقع تستهدفها + منصة Apify
- احترم robots.txt وشروط الخدمة لكل موقع. Skill ليست أداة مناهضة للشروط — استخدمها على البيانات المسموح لك بجمعها.
- البيانات العامة غير الموثقة فقط ما لم يكن لديك إذن صريح.
استكشاف الأخطاء
الأخطاء الشائعة وحلولها
Cheerio returns empty selectors
المحتوى يتم تصييره بـ JS — أعد تشغيل الكشف، توقع قالب Playwright
Playwright times out
زد مهلة التنقل؛ فكر في الانتظار على محدد معين بدلاً من networkidle
403 / bot-block page
توقف وأعد التفكير. هذه إشارة شرعية لإعادة التحقق من شروط الخدمة، وليست إشارة لتصعيد الخفاء.
البدائل
web-scraper مقابل البدائل
| البديل | متى تستخدمها | المقايضة |
|---|
| وحدة تحكم Apify المباشرة | عندما تعرف بالفعل القالب الذي تحتاجه | بدون مرحلة كشف |
| firecrawl | عندما تحتاج فقط إلى markdown للصفحة، وليس استخراج منظم | بدون هيكل actor |