50 موجهًا للذكاء الاصطناعي لعلماء البيانات: انسخ، الصق، خصص

تصرّف كمحلل جودة بيانات. سأقدم لك pandas DataFrame باسم `df`. مخططه كالتالي: `[PASTE SCHEMA OR HEAD() OUTPUT HERE]`.
مهمتك هي إجراء تحليل شامل للبيانات. لكل عمود، قدم:
1. نوع البيانات.
2. عدد ونسبة القيم المفقودة.
3. عدد القيم الفريدة (العددية).
4. للأعمدة الرقمية: المتوسط، الوسيط، الانحراف المعياري، الحد الأدنى، والحد الأقصى.
5. للأعمدة الفئوية: قائمة بالقيم الفريدة وتكراراتها.
6. حدد أي أعمدة تبدو مكتوبة بشكل غير صحيح (على سبيل المثال، التواريخ المخزنة ككائنات).
قدم المخرجات كجدول markdown.

تصرّف كعالم بيانات يبني نموذجًا تنبؤيًا. يحتوي pandas DataFrame `df` الخاص بي على قيم مفقودة. إليك مخرجات `df.isnull().sum()`:
`[PASTE MISSING VALUE COUNTS]`
الهدف التجاري هو التنبؤ بـ `[TARGET_VARIABLE]`. بناءً على أسماء الأعمدة والهدف، اقترح استراتيجية مفصلة لتعويض القيم المفقودة. لكل عمود يحتوي على قيم مفقودة، أوصِ بطريقة (المتوسط، الوسيط، المنوال، ثابت، أو تعويض قائم على النموذج) وبرر اختيارك في جملة واحدة.
صيغ المخرجات ككائن JSON حيث تكون المفاتيح هي أسماء الأعمدة والقيم هي كائن آخر يحتوي على "method" و "justification".

أنشئ نصًا برمجيًا بلغة Python يستخدم طريقة النطاق الربيعي (IQR) لتحديد القيم الشاذة في الأعمدة الرقمية التالية من pandas DataFrame `df`: `[LIST_OF_NUMERIC_COLUMNS]`.
يجب أن يقوم النص البرمجي بما يلي:
1. حساب Q1 و Q3 و IQR لكل عمود محدد.
2. تحديد الحدود العليا والسفلى (Q1 - 1.5 * IQR, Q3 + 1.5 * IQR).
3. إنشاء DataFrame جديد يحتوي فقط على الصفوف التي تحتوي على قيم شاذة في أي من الأعمدة المحددة.
4. طباعة شكل DataFrame الأصلي و DataFrame القيم الشاذة.

. تحتاج الأعمدة التالية إلى تصحيح أنواع بياناتها:
- يجب أن يكون

الخاص بي. أرغب في التحقق من التكرارات بناءً على مجموعة فرعية من الأعمدة:

تأخذ سلسلة نصية وتنفذ خطوات تنظيف النص التالية:
1. تحويل النص إلى أحرف صغيرة.
2. إزالة جميع علامات الترقيم.
3. إزالة الأرقام الرقمية.
4. إزالة الكلمات الإنجليزية الشائعة التي لا تحمل معنى (stop words).
5. تجذير الكلمات المتبقية باستخدام Porter Stemmer.
يجب أن تعيد الدالة السلسلة النصية المنظفة. قم بتضمين الاستيرادات من

، أنشئ مجموعة من رسوم Python البيانية للتحليل أحادي المتغير.
لكل عمود رقمي في

أنشئ كود Python لحساب مصفوفة ارتباط بيرسون (Pearson correlation matrix) للأعمدة الرقمية في pandas DataFrame `df` الخاص بي. الأعمدة هي: `[LIST_OF_NUMERIC_COLUMNS]`.
ثم، قم بما يلي:
1. أنشئ خريطة حرارية (heatmap) لمصفوفة الارتباط باستخدام seaborn. علّم القيم على الخريطة الحرارية.
2. حدد واعرض جميع أزواج المتغيرات التي يزيد معامل الارتباط الخاص بها عن 0.7 أو يقل عن -0.7.
3. لأعلى 3 أزواج ارتباطًا، قدم فرضية من جملة واحدة حول سبب ارتباطها.

.
لكل متغير رقمي، أنشئ مخططًا صندوقيًا يقارن توزيعه عبر الفئات المختلفة لـ

.
أنشئ نصًا برمجيًا بلغة Python باستخدام

.
أنشئ نصًا برمجيًا بلغة Python يقوم بما يلي:
1. توحيد هذين العمودين باستخدام

لرسم هذه النقاط على خريطة العالم. يجب أن يتوافق لون كل نقطة مع القيمة في

[TARGET_VARIABLE, e.g., 'customer lifetime value']

. أنشئ نصًا برمجيًا بلغة Python ينشئ الميزات الجديدة التالية من هذا العمود:
- السنة
- الشهر
- يوم الأسبوع (كرقم، 0=الاثنين)
- يوم السنة
- أسبوع السنة
- علامة ثنائية

أنشئ كود Python لإنشاء ميزات تفاعل لنموذج تعلم آلة. يحتوي pandas DataFrame `df` الخاص بي على الميزات الرقمية التالية: `[COLUMN_A, COLUMN_B, COLUMN_C]`. أنشئ جميع ميزات التفاعل الثنائية (على سبيل المثال، A*B, A*C, B*C). أضف هذه الميزات الجديدة إلى DataFrame.

لترميز الأعمدة الفئوية التالية في DataFrame

أرغب في تحويل ميزة رقمية مستمرة إلى فئة. يحتوي DataFrame `df` الخاص بي على عمود `[NUMERIC_COLUMN]` يمثل `[e.g., 'age']`. أنشئ كود Python لإنشاء عمود جديد `[NEW_CATEGORICAL_COLUMN]` عن طريق تقسيم `[NUMERIC_COLUMN]` إلى المجموعات التالية: `[e.g., '0-18', '19-35', '36-55', '56+']`. استخدم `pandas.cut()` وقدم تسميات واضحة للفئات.

الخاص بي مفهرس حسب التاريخ ويحتوي على عمود مستهدف

تصرّف كمتخصص في التعلم الآلي التلقائي (AutoML). لدي مجموعة بيانات معالجة مسبقًا مع ميزات `X` ومتغير مستهدف ثنائي `y`. أنشئ نصًا برمجيًا كاملاً بلغة Python يقوم بتدريب وتقييم ثلاثة نماذج تصنيف أساسية مختلفة:
1. الانحدار اللوجستي (Logistic Regression)
2. مصنف الغابات العشوائية (Random Forest Classifier)
3. مصنف تعزيز التدرج (Gradient Boosting Classifier) (باستخدام LightGBM)
لكل نموذج، يجب أن يقوم النص البرمجي بما يلي:
- استخدام التحقق المتقاطع بخمس طيات (5-fold cross-validation).
- حساب وطباعة متوسط الدقة (Accuracy)، والضبط (Precision)، والاستدعاء (Recall)، ودرجة F1.
- تخزين النتائج في pandas DataFrame لسهولة المقارنة.

من scikit-learn.
مصفوفة الميزات الخاصة بي هي

ميزة.
يجب أن يكون هيكل الشبكة:
- طبقة إدخال مع

لسير عمل التعلم الآلي. يجب أن يتكون المسار من الخطوات التالية:
1. تعويض القيم الرقمية المفقودة باستخدام

تحتوي على سلسلة زمنية أحادية المتغير. أنشئ نصًا برمجيًا بلغة Python باستخدام

لبناء نموذج توصية بسيط للترشيح التعاوني بين المستخدم والعنصر.
افترض أن لدي pandas DataFrame

لحساب ورسم مصفوفة ارتباك. يجب أن يكون الرسم البياني معنونًا بوضوح بأسماء المحاور ('Predicted Label', 'True Label') وأسماء الفئات

باستخدام `y_test` (التسميات الحقيقية) و `y_pred_proba` (الاحتمالات المتوقعة للفئة الإيجابية من المصنف الخاص بي)، أنشئ نصًا برمجيًا بلغة Python من أجل:
1. حساب درجة AUC (المساحة تحت المنحنى).
2. رسم منحنى ROC (منحنى خصائص تشغيل المستقبل).
3. تضمين خط قطري يمثل مصنفًا عشوائيًا للمقارنة.
4. تسمية الرسم البياني بدرجة AUC.

.
أنشئ نصًا برمجيًا بلغة Python باستخدام مكتبة

لدي نموذج `RandomForestClassifier` مدرب يسمى `model`. ميزاتي لها الأسماء `[LIST_OF_FEATURE_NAMES]`. أنشئ كود Python لاستخراج أهمية الميزات من النموذج، ومطابقتها بأسمائها، وإنشاء مخطط شريطي أفقي يوضح أهم 15 ميزة.

sklearn.inspection.permutation_importance

. أنشئ نصًا برمجيًا بلغة Python باستخدام

[TARGET_VARIABLE, e.g., 'employee attrition']

أدناه نص برمجي بلغة Python ينشئ رسمًا بيانيًا. بعد النص البرمجي، سأصف الرسم البياني. مهمتك هي كتابة تفسير موجز من فقرة واحدة لهذه الرؤية لجمهور الأعمال. تجنب المصطلحات التقنية.
`[PASTE PYTHON PLOT SCRIPT]`
يوضح الرسم البياني مخططًا شريطيًا حيث يبلغ متوسط الإنفاق الشهري للعملاء في فئة الدعم "الفئة 1" 150 دولارًا، بينما يبلغ متوسط الإنفاق للعملاء في فئة "الفئة 3" 45 دولارًا.
الآن، اكتب الملخص التجاري.

يحتوي على نتائج اختبار A/B. يحتوي على أعمدة

تصرّف كمحلل بيانات. صغ بريدًا إلكترونيًا لفريق المنتج للإبلاغ عن نتائج اختبار A/B لميزة "الدفع بنقرة واحدة" الجديدة.
النتائج الرئيسية:
- معدل تحويل المجموعة الضابطة: 3.5%
- معدل تحويل مجموعة المعالجة (مع الميزة): 4.8%
- النتيجة ذات دلالة إحصائية بقيمة p تبلغ 0.002.
- استمر الاختبار لمدة 14 يومًا مع 50,000 مستخدم في كل مجموعة.
صمم البريد الإلكتروني بعنوان واضح، وملخص موجز للنتيجة، والأرقام الرئيسية، وتوصية بنشر الميزة.

اشرح مفهوم "الفرط في التجهيز" (overfitting) في التعلم الآلي كما لو كنت تشرحه لمدير مبيعات. استخدم تشبيهًا. اجعل الشرح أقل من 150 كلمة.

أنشئ قالب markdown لملف README لمشروع علم بيانات. يجب أن يتضمن القالب الأقسام التالية:
- عنوان المشروع
- مشكلة العمل
- مصدر البيانات
- المنهجية (تنظيف البيانات، تحليل البيانات الاستكشافي، النمذجة)
- النتائج
- كيفية تشغيل الكود (التبعيات، التعليمات)
- جهات الاتصال الرئيسية

(ملف النموذج المدرب)
يجب أن يقوم Dockerfile بما يلي:
1. البدء من صورة أساسية

تقبل طلبات POST مع حمولة JSON.
يجب أن يقوم النص البرمجي بما يلي:
1. تحميل نموذج scikit-learn مدرب مسبقًا من ملف يسمى

أنشئ مقتطف نص برمجي بلغة Python يوضح كيفية استخدام MLflow لتتبع التجارب. يجب أن يقوم النص البرمجي بما يلي:
1. بدء تشغيل MLflow.
2. تسجيل معلمتين: `learning_rate` و `n_estimators`.
3. تسجيل ثلاثة مقاييس: `accuracy` و `precision` و `recall`.
4. تسجيل النموذج المدرب نفسه كأثر (artifact).
5. إنهاء التشغيل.

. يجب أن يسمى سير العمل "CI Pipeline" ويقوم بالمهام التالية:
1. إعداد Python 3.9.
2. تثبيت التبعيات من

def remove_outliers(df, column_name):
Q1 = df[column_name].quantile(0.25)
Q3 = df[column_name].quantile(0.75)
IQR = Q3 - Q1
lower_bound = Q1 - 1.5 * IQR
upper_bound = Q3 + 1.5 * IQR
return df[(df[column_name] >= lower_bound) & (df[column_name] <= upper_bound)]

.
أنشئ نصًا برمجيًا بلغة Python يستخدم اختبار كولموغوروف-سميرنوف (K-S) لمقارنة توزيع كل ميزة في

. أولاً، قم بتحميله في pandas DataFrame وقم بتشغيل ملف تعريف كامل للبيانات. حدد القيم المفقودة وأنواع البيانات والإحصائيات الأساسية لكل عمود. أظهر لي المخرجات."
**الموجه 2 (بعد استجابة الذكاء الاصطناعي):** "شكرًا لك. بناءً على هذا الملف التعريفي، أنشئ نصًا برمجيًا بلغة Python للتعامل مع تنظيف البيانات. قم بتعويض

: عدد صحيح، موزع طبيعيًا حول متوسط 40 بانحراف معياري 10.
-

تأخذ المعلمات الفائقة للنموذج.
- طريقة

import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.ensemble import RandomForestClassifier
df = pd.read_csv('data.csv')
df = df.dropna()
X = df[['feature1', 'feature2']]
y = df['target']
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)
model = RandomForestClassifier(n_estimators=100)
model.fit(X_train, y_train)
print(model.score(X_test, y_test))

) تنبأ النموذج لها باحتمالية عالية للتراجع (0.92).
اشرح هذا التنبؤ باستخدام تفسير مضاد للواقع. بعبارات بسيطة، صف التغييرات الدنيا في ميزات هذا العميل (على سبيل المثال،

.
يجب أن يحسب الاستعلام معدل الاحتفاظ للأفواج الشهرية للعملاء. فوج العميل هو شهر أول عملية شراء له. الاحتفاظ لشهر معين هو النسبة المئوية للعملاء من فوج قاموا بعملية شراء في ذلك الشهر.
يجب أن يحتوي الإخراج على ثلاثة أعمدة:

['date', 'region', 'sales', 'product_category']

) لا يتسع في ذاكرة pandas. المهمة هي حساب متوسط