Prompts IA pour Data Science

Agissez comme un analyste de la qualité des données. Je vous fournis un DataFrame pandas nommé `df`. Son schéma est le suivant : `[[PASTE SCHEMA OR HEAD() OUTPUT HERE]]`. Votre tâche est d'effectuer un profilage complet des données. Pour chaque colonne, fournissez : 1. Le type de données. 2. Le nombre et le pourcentage de valeurs manquantes. 3. Le nombre de valeurs uniques (cardinalité). 4. Pour les colonnes numériques : la moyenne, la médiane, l'écart type, le minimum et le maximum. 5. Pour les colonnes catégorielles : une liste des valeurs uniques et leurs fréquences. 6. Identifiez toutes les colonnes qui semblent être mal typées (par exemple, les dates stockées comme des objets). Présentez la sortie sous forme de tableau markdown.

contient des valeurs manquantes. Voici la sortie de

Générez un script Python qui utilise la méthode de l'intervalle interquartile (IQR) pour identifier les valeurs aberrantes dans les colonnes numériques suivantes d'un DataFrame pandas `df` : `[[LIST_OF_NUMERIC_COLUMNS]]`. Le script doit : 1. Calculer Q1, Q3 et l'IQR pour chaque colonne spécifiée. 2. Définir les bornes supérieure et inférieure (Q1 - 1.5 * IQR, Q3 + 1.5 * IQR). 3. Créer un nouveau DataFrame contenant uniquement les lignes qui ont des valeurs aberrantes dans l'une des colonnes spécifiées. 4. Afficher la forme du DataFrame original et du DataFrame des valeurs aberrantes.

. Les colonnes suivantes nécessitent une correction de leur type de données : -

. Je souhaite vérifier les doublons en me basant sur un sous-ensemble de colonnes :

qui prend une chaîne de caractères et effectue les étapes de nettoyage de texte suivantes : 1. Convertit le texte en minuscules. 2. Supprime toute la ponctuation. 3. Supprime les chiffres numériques. 4. Supprime les mots vides (stop words) anglais courants. 5. Réduit les mots restants à leur racine (stemming) en utilisant le Porter Stemmer. La fonction doit renvoyer la chaîne nettoyée. Incluez les importations de

, générez un ensemble de graphiques Python pour l'analyse univariée. Pour chaque colonne numérique dans

Générez du code Python pour calculer la matrice de corrélation de Pearson pour les colonnes numériques de mon DataFrame pandas `df`. Les colonnes sont : `[[LIST_OF_NUMERIC_COLUMNS]]`. Ensuite, effectuez les opérations suivantes : 1. Créez une carte de chaleur (heatmap) de la matrice de corrélation en utilisant seaborn. Annotez les valeurs sur la carte de chaleur. 2. Identifiez et listez toutes les paires de variables avec un coefficient de corrélation supérieur à 0,7 ou inférieur à -0,7. 3. Pour les 3 paires les plus corrélées, proposez une hypothèse en une phrase expliquant pourquoi elles pourraient être corrélées.

. Pour chaque variable numérique, générez un diagramme en boîte qui compare sa distribution à travers les différentes catégories de

avec un index datetime et une colonne nommée

. Générez un script Python qui : 1. Standardise ces deux colonnes en utilisant

avec des colonnes de latitude et longitude nommées

[[TARGET_VARIABLE, par exemple, la 'valeur vie client']]

. Générez un script Python qui crée les nouvelles fonctionnalités suivantes à partir de cette colonne : - Année - Mois - Jour de la semaine (sous forme de nombre, 0=Lundi) - Jour de l'année - Semaine de l'année - Un indicateur binaire

a les fonctionnalités numériques suivantes :

pour encoder en one-hot les colonnes catégorielles suivantes dans mon DataFrame

. Générez du code Python pour créer une nouvelle colonne

est indexé par date et a une colonne cible

Agissez comme un spécialiste AutoML. J'ai un ensemble de données prétraité avec des fonctionnalités `X` et une variable cible binaire `y`. Générez un script Python complet qui entraîne et évalue trois modèles de classification de base différents : 1. Régression logistique 2. Classifieur Random Forest 3. Classifieur Gradient Boosting (utilisant LightGBM) Pour chaque modèle, le script doit : - Utiliser une validation croisée à 5 plis. - Calculer et afficher la moyenne de l'Accuracy, de la Précision, du Rappel et du score F1. - Stocker les résultats dans un DataFrame pandas pour une comparaison facile.

de scikit-learn. Ma matrice de fonctionnalités est

fonctionnalités. L'architecture du réseau doit être : - Couche d'entrée avec

pour un flux de travail d'apprentissage automatique. Le pipeline doit se composer des étapes suivantes : 1. Imputer les valeurs numériques manquantes en utilisant

contenant une série temporelle univariée. Générez un script Python utilisant

pour construire un modèle simple de recommandation par filtrage collaboratif utilisateur-élément. Supposons que j'aie un DataFrame pandas

et les prédictions du modèle sont dans

En utilisant `y_test` (vraies étiquettes) et `y_pred_proba` (probabilités prédites pour la classe positive de mon classifieur), générez un script Python pour : 1. Calculer le score AUC (Area Under the Curve). 2. Tracer la courbe ROC (Receiver Operating Characteristic). 3. Inclure une ligne diagonale représentant un classifieur aléatoire pour comparaison. 4. Étiqueter le graphique avec le score AUC.

. Je souhaite expliquer une seule prédiction pour une instance spécifique

J'ai un modèle `RandomForestClassifier` entraîné nommé `model`. Mes fonctionnalités ont les noms `[[LIST_OF_FEATURE_NAMES]]`. Générez du code Python pour extraire les importances des fonctionnalités du modèle, les associer à leurs noms, et créer un diagramme à barres horizontal montrant les 15 fonctionnalités les plus importantes.

sklearn.inspection.permutation_importance

Je souhaite vérifier si les probabilités prédites de mon classifieur binaire sont bien calibrées. J'ai les vraies étiquettes `y_test` et les probabilités prédites `y_pred_proba`. Générez un script Python utilisant `sklearn.calibration.CalibrationDisplay` pour tracer une courbe de calibration pour mon modèle.

[TARGET_VARIABLE, par exemple, le 'taux de désabonnement des employés']

Ci-dessous se trouve un script Python qui génère un graphique. Après le script, je décrirai le graphique. Votre tâche est de rédiger une interprétation concise, en un paragraphe, de cette information pour un public métier. Évitez le jargon technique. `[[PASTE PYTHON PLOT SCRIPT]]` Le graphique montre un diagramme à barres où les clients de la catégorie de support 'Tier 1' ont une dépense mensuelle moyenne de 150 $, tandis que les clients de la catégorie 'Tier 3' ont une dépense moyenne de 45 $. Maintenant, rédigez le résumé métier.

avec les résultats d'un test A/B. Il contient les colonnes

Agissez comme un analyste de données. Rédigez un e-mail à l'équipe produit rapportant les résultats d'un test A/B pour la nouvelle fonctionnalité « Paiement en un clic ». Principales conclusions : - Taux de conversion du groupe de contrôle : 3,5 % - Taux de conversion du groupe de traitement (avec fonctionnalité) : 4,8 % - Le résultat est statistiquement significatif avec une valeur p de 0,002. - Le test a duré 14 jours avec 50 000 utilisateurs dans chaque groupe. Structurez l'e-mail avec un objet clair, un bref résumé du résultat, les chiffres clés et une recommandation de déployer la fonctionnalité.

Expliquez le concept de « surapprentissage » (overfitting) en apprentissage automatique comme vous le feriez à un directeur commercial. Utilisez une analogie. Gardez l'explication sous 150 mots.

Générez un modèle markdown pour un fichier README de projet de science des données. Le modèle doit inclure les sections suivantes : - Titre du projet - Problème métier - Source des données - Méthodologie (Nettoyage des données, EDA, Modélisation) - Résultats - Comment exécuter le code (Dépendances, Instructions) - Contacts clés

(le fichier du modèle entraîné) Le Dockerfile doit : 1. Partir d'une image de base

). Il doit avoir un point de terminaison

Générez un extrait de script Python qui démontre comment utiliser MLflow pour le suivi d'expériences. Le script doit : 1. Démarrer une exécution MLflow. 2. Enregistrer deux paramètres : `learning_rate` et `n_estimators`. 3. Enregistrer trois métriques : `accuracy`, `precision` et `recall`. 4. Enregistrer le modèle entraîné lui-même comme artefact. 5. Terminer l'exécution.

) qui s'exécute à chaque push sur la branche

def remove_outliers(df, column_name): Q1 = df[[column_name]].quantile(0.25) Q3 = df[[column_name]].quantile(0.75) IQR = Q3 - Q1 lower_bound = Q1 - 1.5 * IQR upper_bound = Q3 + 1.5 * IQR return df[(df[[column_name]] >= lower_bound) & (df[[column_name]] <= upper_bound)]

, et j'ai un nouveau lot de données de production dans

. Tout d'abord, chargez-le dans un DataFrame pandas et exécutez un profilage complet des données. Identifiez les valeurs manquantes, les types de données et les statistiques de base pour chaque colonne. Montrez-moi la sortie. » **Prompt 2 (après la réponse de l'IA) :** « Merci. Sur la base de ce profil, générez un script Python pour gérer le nettoyage des données. Imputez les

: entier, distribué normalement autour d'une moyenne de 40 avec un écart type de 10. -

. La classe doit avoir : - Une méthode

import pandas as pd from sklearn.model_selection import train_test_split from sklearn.ensemble import RandomForestClassifier df = pd.read_csv('data.csv') df = df.dropna() X = df[[['feature1', 'feature2']]] y = df[['target']] X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42) model = RandomForestClassifier(n_estimators=100) model.fit(X_train, y_train) print(model.score(X_test, y_test))

) pour laquelle le modèle a prédit une forte probabilité de désabonnement (0,92). Expliquez cette prédiction en utilisant une explication contrefactuelle. En langage clair, décrivez les changements minimaux apportés aux fonctionnalités de ce client (par exemple,

. La requête doit calculer le taux de rétention des cohortes de clients mensuelles. La cohorte d'un client est le mois de son premier achat. La rétention pour un mois donné est le pourcentage de clients d'une cohorte qui ont effectué un achat ce mois-là. La sortie doit avoir trois colonnes :

[['date', 'region', 'sales', 'product_category']]

) qui ne rentre pas dans la mémoire de pandas. La tâche consiste à calculer la moyenne de