pathway
إطار عمل Python ETL معالجة التدفق، والتحليلات الفورية، وRAG.
إطار عمل Python ETL للتحليلات الفورية، وخطوط أنابيب LLM، وRAG.
Pathway هو إطار عمل Python ETL مدعوم بمحرك Rust قابل للتوسع لمعالجة التدفق والتحليلات الفورية. وهو مناسب للمحترفين الذين يبنون تطبيقات LLM حية وخطوط أنابيب RAG باستخدام Python.
ما هو
يقوم بتنفيذ خطوط أنابيب بيانات Python عبر بيانات الدفعات والتدفق باستخدام محرك Differential Dataflow Rust. ويشمل موصلات لـ Kafka وPostgreSQL وGDrive، إلى جانب مساعدين متخصصين لـ LLM لفهارس المتجهات الفورية.
لمن هو
هو مناسب للمطورين الذين يبنون خلاصات بيانات حية وأنظمة RAG الذين يرغبون في البرمجة بلغة Python مع الاحتفاظ بأداء Rust. وهو غير مناسب للفرق التي تبحث عن أدوات بناء خطوط أنابيب واجهة مستخدم بدون تعليمات برمجية.
أهم الميزات
محرك Rust قابل للتوسع
ينفذ تعليمات Python البرمجية عبر محرك Differential Dataflow Rust للحوسبة المتعددة الخيوط والموزعة.
دفعات وتدفق موحد
يعالج مهام الدفعات، وإعادة تشغيل التدفق، وتدفقات البيانات باستخدام نفس قاعدة الكود تماماً.
أدوات LLM وRAG
يوفر غلافات، ومحللات، ومضمنات، وفهرس متجهات فوري في الذاكرة لـ RAG للمستندات الحية.
موصلات واسعة النطاق
يتصل بـ Kafka وGDrive وPostgreSQL وSharePoint وأكثر من 300 مصدر بيانات عبر Airbyte.
جاهز للعمل في 3 خطوات
حكمنا الصادق
ما يميّزه
- يتعامل نفس الكود الأساسي مع التطوير المحلي، ومهام الدفعات، والتدفقات الفورية
- تتضمن إمتدادات LLM المدمجة مضمنات، ومقسّمات، وفهارس متجهات فورية
- يتعامل مع نقاط البيانات غير المرتبة والمتاخرة مع تحديثات الاتساق التلقائية
- يدعم تكامل Airbyte للاتصال بأكثر من 300 مصدر بيانات خارجي
أين يقصّر
- متوفر فقط على MacOS وLinux بشكل أصلي، مما يتطلب آلة افتراضية لنظام تشغيل آخر
- يوفر الإصدار المجاني اتساق 'على الأقل مرة واحدة' بينما يتطلب 'مرة واحدة بالضبط' إصدار المؤسسات
- يتطلب مهارة تقنية لإعداد بيئات Python، والتبعيات، ونشر الحاويات
التسعير والرخصة
لا يذكر المستودع اسم ترخيص في بياناته الوصفية، ويذكر ملف README إصدارات مجانية ومؤسسية ذات ضمانات اتساق مختلفة.
وظائف للناطقين بالعربية
879 وظيفة مفتوحة عن بعد في تدريب الذكاء الاصطناعي، آخر تحديث ١٥ نوفمبر ٢٠٢٦؛ أجر معظمها $20–$175 في الساعة. منها 2 وظائف تطلب متحدثين بالعربية. يعرضها ذكائي مجانًا، والتقديم يتم على منصة جهة التوظيف.
البدائل
استخدمه، أو دعنا نُعِدّه لك
الأسئلة الشائعة
ما هي أنظمة التشغيل المدعومة؟
يتوفر Pathway رسمياً على أنظمة MacOS وLinux. يجب على مستخدمي الأنظمة الأخرى تشغيله داخل آلة افتراضية.
هل يدعم كلاً من الدفعات والتدفق؟
نعم، يستخدم إطار العمل محركاً موحداً يسمح لنفس الكود بمعالجة مهام الدفعات، وإعادة تشغيل التدفق، والتدفقات الفورية.
كيف يتصل بالمصادر الخارجية؟
يتضمن موصلات مدمجة لـ Kafka وGDrive وPostgreSQL وSharePoint، بالإضافة إلى موصل Airbyte لأكثر من 300 مصدر إضافي.
