crawlee-python
قم ببناء برامج استخراج بيانات الويب وتأتمتة المتصفح الموثوقة بلغة Python.
استخرج البيانات لصالح الذكاء الاصطناعي، وLLM، وRAG، وGPTs باستخدام BeautifulSoup أو Playwright.
مكتبة crawlee-python هي مكتبة لاستخراج بيانات الويب وتأتمتة المتصفح مصممة لاستخراج البيانات لتطبيقات الذكاء الاصطناعي. تمنحك واجهة موحدة لعمليات الزحف عبر بروتوكول HTTP والمتصفحات المخفية مع ميزة التدوير التلقائي للوكلاء (Proxies).
ما هو
تتولى إدارة عمليات الزحف والاستخراج من الويب من البداية إلى النهاية، مما يتيح لك تنزيل ملفات HTML وPDF والصبيان (الصور) مع تخزين البيانات الجدولية بشكل دائم. يمكنك التبديل بين BeautifulSoupCrawler لطلبات HTTP السريعة وPlaywrightCrawler للصفحات كثيفة الاعتماد على JavaScript.
لمن هو
تناسب مطوري Python مهندسي الذكاء الاصطناعي الذين يبنون خطوط أنابيب بيانات لصالح RAG أو LLMs والذين يحتاجون إلى برامج استخراج مرنة تتجاوز أنظمة الحماية ضد الروبوتات. ولا تناسب أولئك الذين يبحثون عن واجهة رسومية لاستخراج البيانات بدون برمجة.
أهم الميزات
واجهة برمجة تطبيقات موحدة لـ HTTP والمتصفح
التبديل بسهولة بين BeautifulSoup للسرعة وPlaywright لعرض صفحات JavaScript باستخدام واجهة مشابهة.
تدوير الوكلاء المدمج
إدارة الجلسات وتدوير الوكلاء تلقائياً لتفادي رادارات حماية الروبوتات الحديثة.
هنية قائمة على Asyncio
الاستفادة من مكتبة asyncio القياسية في Python لعمليات زحف متوازية عالية الأداء وتكامل حديث.
الاحتفاظ بالحالة
حفظ حالة الاستخراج أثناء الانقطاعات حتى لا تضطر أبداً إلى إعادة تشغيل خطوط الأنابيب من الصفر.
جاهز للعمل في 3 خطوات
حكمنا الصادق
ما يميّزه
- تغطية كاملة لتلميحات الأنواع لتحسين الإكمال التلقائي في بيئة التطوير وتقليل الأخطاء
- إعادة المحاولة التلقائية المدمجة عند حدوث أخطاء وحماية ضد الحظر
- خيارات منظمة لتخزين البيانات بما في ذلك مجموعات البيانات ومتاجر المفتاح والقيمة
- أداة CLI مع قوالب مشاريع جاهزة باستخدام uv أو pip القياسي
أين يقصّر
- تتطلب كتابة كود Python وإدارة سير العمل غير المتزامن (Async)
- يتطلب ملحق Playwright تثبيت ملفات ثنائية منفصلة للمتصفح
- تشغيل عمليات التأتمتة الثقيلة القائمة على المتصفح يستهلك ذاكرة نظام كبيرة
التسعير والرخصة
مكتبة Crawlee مجانية بموجب ترخيص Apache-2.0، ونظراً لأنها تعمل محلياً أو على بنيتك التحتية الخاصة، فإن التكلفة الوحيدة هي تشغيلها بنفسك.
وظائف للناطقين بالعربية
880 وظيفة مفتوحة عن بعد في تدريب الذكاء الاصطناعي، آخر تحديث ١٥ نوفمبر ٢٠٢٦؛ أجر معظمها $20–$175 في الساعة. منها 2 وظائف تطلب متحدثين بالعربية. يعرضها ذكائي مجانًا، والتقديم يتم على منصة جهة التوظيف.
البدائل
استخدمه، أو دعنا نُعِدّه لك
الأسئلة الشائعة
هل يجب أن أستخدم BeautifulSoupCrawler أم PlaywrightCrawler؟
استخدم BeautifulSoupCrawler لاستخراج بيانات HTML الثابتة عالية الأداء، وPlaywrightCrawler عندما تحتاج إلى تنفيذ JavaScript من جهة العميل.
هل يمكنني تشغيل Crawlee-python على منصة Apify؟
نعم، على الرغم من أنها مفتوحة المصدر وتعمل في أي مكان، إلا أنها تتكامل بسهولة مع منصة Apify السحابية.
