مكتبة استخراج البيانات من الويب وأتمتة المتصفح لـ Node.js و TypeScript.
أنشئ زحافات قوية مع تدوير تلقائي للوكيل (Proxy) وتجاوز لأنظمة حظر الروبوتات.
Crawlee هي مكتبة شاملة لاستخراج البيانات من الويب وأتمتة المتصفح لـ JavaScript و TypeScript. تساعدك على استخراج بيانات نظيفة للذكاء الاصطناعي، و LLMs، وخطوط أنابيب RAG مع تجاوز وسائل حماية الروبوتات الحديثة. سيجدها المحترفون الذين يبنون مهام سير عمل جمع البيانات الآلية قادرة بشكل استثنائي.
توفر المكتبة واجهة موحدة لكل من الزحف عبر HTTP الخام وأتمتة المتصفح الخفي الكامل باستخدام Playwright أو Puppeteer. وتتميز بإدارة الجلسات التلقائية، وتدوير الوكيل، وتوليد بصمات الأصابع، وقوائم انتظار الطلبات المستمرة. يمكنك بسهولة حفظ البيانات المستخرجة على القرص أو التخزين السحابي بتنسيقات جدولية أو ملفات.
تتناسب مع المطورين ومهندسي البيانات الذين يبنون برامج استخراج بيانات ويب جاهزة للإنتاج في Node.js والذين يحتاجون إلى تجاوز اكتشاف الروبوتات. وهي لا تناسب الفرق التي تبحث عن أداة واجهة رسومية بدون تعليمات برمجية أو أولئك الذين يعملون بشكل أساسي خارج بيئة JavaScript و TypeScript.
التبديل بسلاسة بين طلبات HTTP وأتمتة المتصفح الخفي باستخدام نفس الـ API.
إدارة الجلسات وتدوير الوكلاء محلياً لتجنب الحظر بواسطة مواقع الويب المستهدفة.
توليد رؤوس تشبه المتصفح وبصمات TLS تلقائياً لتجاوز وسائل حماية الروبوتات الحديثة.
تخزين البيانات الجدولية المستخرجة والملفات التي تم تنزيلها محلياً أو تكوين خلفيات التخزين السحابي.
Crawlee مجانية بموجب ترخيص open source الخاص بها. التكلفة الوحيدة هي تشغيلها بنفسك على البنية التحتية الخاصة بك أو جهازك المحلي، بالإضافة إلى أي خدمات وكيل اختيارية تختار دمجها.
877 وظيفة مفتوحة عن بعد في تدريب الذكاء الاصطناعي، آخر تحديث ١٦ نوفمبر ٢٠٢٦؛ أجر معظمها $20–$175 في الساعة. منها 2 وظائف تطلب متحدثين بالعربية. يعرضها ذكائي مجانًا، والتقديم يتم على منصة جهة التوظيف.
مكتبة Node.js الأساسية هي JavaScript و TypeScript، لكن المشرفين يوفرون أيضاً مستودع Crawlee منفصل لـ Python.
لا، تحتاج إلى تثبيت مكتبات أتمتة المتصفح مثل Playwright أو Puppeteer بشكل منفصل للحفاظ على احجام تثبيت أصغر.
بشكل افتراضي، تقوم Crawlee بتخزين مجموعات البيانات المستخرجة، وأزواج المفتاح والقيمة، وقوائم انتظار الطلبات محلياً في دليل `./storage`.
شاهد Zekai أولاً في جوجل