ИИ-промпты для профессии: Наука о данных

Действуй как аналитик качества данных. Я предоставляю тебе DataFrame pandas с именем `df`. Его схема следующая: `[[ВСТАВЬТЕ СХЕМУ ИЛИ ВЫВОД HEAD() СЮДА]]`. Твоя задача — выполнить комплексное профилирование данных. Для каждого столбца предоставь: 1. Тип данных. 2. Количество и процент пропущенных значений. 3. Количество уникальных значений (кардинальность). 4. Для числовых столбцов: среднее, медиана, стандартное отклонение, минимум и максимум. 5. Для категориальных столбцов: список уникальных значений и их частоты. 6. Определи любые столбцы, которые, по-видимому, имеют неправильный тип (например, даты, хранящиеся как объекты). Представь вывод в виде таблицы Markdown.

содержит пропущенные значения. Вот вывод

Сгенерируй скрипт Python, который использует метод межквартильного диапазона (IQR) для выявления выбросов в следующих числовых столбцах DataFrame pandas `df`: `[[СПИСОК_ЧИСЛОВЫХ_СТОЛБЦОВ]]`. Скрипт должен: 1. Вычислить Q1, Q3 и IQR для каждого указанного столбца. 2. Определить верхнюю и нижнюю границы (Q1 - 1.5 * IQR, Q3 + 1.5 * IQR). 3. Создать новый DataFrame, содержащий только строки, в которых есть выбросы в любом из указанных столбцов. 4. Вывести форму исходного DataFrame и DataFrame с выбросами.

. Следующие столбцы нуждаются в исправлении типов данных: -

. Я хочу проверить дубликаты на основе подмножества столбцов:

, которая принимает строку и выполняет следующие шаги по очистке текста: 1. Преобразует текст в нижний регистр. 2. Удаляет все знаки препинания. 3. Удаляет числовые цифры. 4. Удаляет общие английские стоп-слова. 5. Проводит стемминг оставшихся слов с использованием стеммера Портера. Функция должна возвращать очищенную строку. Включи импорты из

, сгенерируй набор графиков Python для одномерного анализа. Для каждого числового столбца в

Сгенерируй код Python для вычисления матрицы корреляции Пирсона для числовых столбцов в моем DataFrame pandas `df`. Столбцы: `[[СПИСОК_ЧИСЛОВЫХ_СТОЛБЦОВ]]`. Затем выполни следующее: 1. Создай тепловую карту матрицы корреляции с использованием seaborn. Аннотируй значения на тепловой карте. 2. Определи и перечисли все пары переменных с коэффициентом корреляции больше 0.7 или меньше -0.7. 3. Для 3 наиболее коррелированных пар предоставь однопредложенческую гипотезу о том, почему они могут быть коррелированы.

. Для каждой числовой переменной сгенерируй ящичную диаграмму, которая сравнивает ее распределение по различным категориям

с индексом datetime и столбцом с именем

. Сгенерируй скрипт Python, который: 1. Стандартизирует эти два столбца с использованием

со столбцами широты и долготы с именами

[[ОТРАСЛЬ, например, электронной коммерции]]

. Сгенерируй скрипт Python, который создает следующие новые признаки из этого столбца: - Год - Месяц - День недели (как число, 0=понедельник) - День года - Неделя года - Бинарный флаг

Сгенерируй код Python для создания признаков взаимодействия для модели машинного обучения. Мой DataFrame pandas `df` имеет следующие числовые признаки: `[[СТОЛБЕЦ_A, СТОЛБЕЦ_B, СТОЛБЕЦ_C]]`. Создай все попарные признаки взаимодействия (например, A*B, A*C, B*C). Добавь эти новые признаки в DataFrame.

для one-hot кодирования следующих категориальных столбцов в моем DataFrame

. Сгенерируй код Python для создания нового столбца

индексирован по дате и имеет целевой столбец

Действуй как специалист по AutoML. У меня есть предварительно обработанный набор данных с признаками `X` и бинарной целевой переменной `y`. Сгенерируй полный скрипт Python, который обучает и оценивает три различные базовые модели классификации: 1. Логистическая регрессия 2. Классификатор случайного леса 3. Классификатор градиентного бустинга (с использованием LightGBM) Для каждой модели скрипт должен: - Использовать 5-кратную перекрестную проверку. - Вычислить и вывести средние значения Accuracy, Precision, Recall и F1-score. - Сохранить результаты в DataFrame pandas для удобного сравнения.

из scikit-learn. Моя матрица признаков —

признаков. Архитектура сети должна быть: - Входной слой с

для рабочего процесса машинного обучения. Конвейер должен состоять из следующих шагов: 1. Заполнить пропущенные числовые значения с использованием

, содержащий одномерный временной ряд. Сгенерируй скрипт Python с использованием

для построения простой рекомендательной модели коллаборативной фильтрации пользователь-элемент. Предположим, у меня есть DataFrame pandas

. Сгенерируй код Python с использованием

Используя `y_test` (истинные метки) и `y_pred_proba` (предсказанные вероятности для положительного класса из моего классификатора), сгенерируй скрипт Python, чтобы: 1. Вычислить оценку AUC (площадь под кривой). 2. Построить ROC-кривую (рабочая характеристика приемника). 3. Включить диагональную линию, представляющую случайный классификатор для сравнения. 4. Пометить график оценкой AUC.

. Я хочу объяснить одно предсказание для конкретного экземпляра

У меня есть обученная модель `RandomForestClassifier` с именем `model`. Мои признаки имеют имена `[[СПИСОК_ИМЕН_ПРИЗНАКОВ]]`. Сгенерируй код Python для извлечения важности признаков из модели, сопоставления их с их именами и создания горизонтальной столбчатой диаграммы, показывающей 15 наиболее важных признаков.

sklearn.inspection.permutation_importance

. Сгенерируй скрипт Python с использованием

[[ЦЕЛЕВАЯ_ПЕРЕМЕННАЯ, например, 'отток сотрудников']]

Ниже приведен скрипт Python, который генерирует график. После скрипта я опишу график. Твоя задача — написать краткую, однопараграфную интерпретацию этого вывода для бизнес-аудитории. Избегай технического жаргона. `[[PASTE PYTHON PLOT SCRIPT]]` График показывает столбчатую диаграмму, где клиенты в категории поддержки «Уровень 1» имеют средние ежемесячные расходы в $150, в то время как клиенты в категории «Уровень 3» имеют средние расходы в $45. Теперь напиши бизнес-резюме.

с результатами A/B-теста. Он имеет столбцы

Действуй как аналитик данных. Составь электронное письмо для продуктовой команды с отчетом о результатах A/B-теста для новой функции «Оформление заказа в один клик». Основные выводы: - Коэффициент конверсии контрольной группы: 3.5% - Коэффициент конверсии тестовой группы (с функцией): 4.8% - Результат статистически значим с p-значением 0.002. - Тест проводился в течение 14 дней с 50 000 пользователей в каждой группе. Структурируй электронное письмо с четкой темой, кратким изложением результата, ключевыми цифрами и рекомендацией по внедрению функции.

Объясни концепцию «переобучения» в машинном обучении так, как если бы ты объяснял ее директору по продажам. Используй аналогию. Держи объяснение в пределах 150 слов.

Сгенерируй шаблон Markdown для файла README проекта по науке о данных. Шаблон должен включать следующие разделы: - Название проекта - Бизнес-проблема - Источник данных - Методология (очистка данных, EDA, моделирование) - Результаты - Как запустить код (зависимости, инструкции) - Ключевые контакты

(the trained model file) Dockerfile должен: 1. Начинаться с базового образа

, который принимает POST-запросы с JSON-полезной нагрузкой. Скрипт должен: 1. Загрузить предварительно обученную модель scikit-learn из файла с именем

Сгенерируй фрагмент скрипта Python, который демонстрирует, как использовать MLflow для отслеживания экспериментов. Скрипт должен: 1. Начать запуск MLflow. 2. Залогировать два параметра: `learning_rate` и `n_estimators`. 3. Залогировать три метрики: `accuracy`, `precision` и `recall`. 4. Залогировать саму обученную модель как артефакт. 5. Завершить запуск.

), который запускается при каждом push в ветку

def remove_outliers(df, column_name): Q1 = df[[column_name]].quantile(0.25) Q3 = df[[column_name]].quantile(0.75) IQR = Q3 - Q1 lower_bound = Q1 - 1.5 * IQR upper_bound = Q3 + 1.5 * IQR return df[(df[[column_name]] >= lower_bound) & (df[[column_name]] <= upper_bound)]

, и у меня есть новая партия производственных данных в

. Сначала загрузи его в DataFrame pandas и выполни полное профилирование данных. Определи пропущенные значения, типы данных и базовую статистику для каждого столбца. Покажи мне вывод." **Prompt 2 (after AI responds):** "Спасибо. Основываясь на этом профиле, сгенерируй скрипт Python для очистки данных. Заполни пропущенные значения

: целое число, нормально распределенное вокруг среднего значения 40 со стандартным отклонением 10. -

# Placeholder for Jupyter Notebook code # import pandas as pd # from sklearn.model_selection import train_test_split # from sklearn.linear_model import LogisticRegression # from sklearn.preprocessing import StandardScaler # from sklearn.impute import SimpleImputer # # Load data # df = pd.read_csv('data.csv') # # Simple cleaning # imputer = SimpleImputer(strategy='median') # df[['age']] = imputer.fit_transform(df[[['age']]]) # df.dropna(subset=[['last_purchase_date']], inplace=True) # df[['total_spent']] = df[['total_spent']].replace({r'\$': '', r',': ''}, regex=True).astype(float) # # Feature engineering # df[['is_weekend']] = (pd.to_datetime(df[['order_date']]).dt.dayofweek >= 5).astype(int) # # Model training # X = df[[['age', 'total_spent', 'is_weekend']]] # y = df[['churn']] # X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42) # scaler = StandardScaler() # X_train_scaled = scaler.fit_transform(X_train) # X_test_scaled = scaler.transform(X_test) # model = LogisticRegression(random_state=42) # model.fit(X_train_scaled, y_train) # # Prediction # predictions = model.predict(X_test_scaled) # print(f"Model accuracy: {model.score(X_test_scaled, y_test)}")

import pandas as pd from sklearn.model_selection import train_test_split from sklearn.ensemble import RandomForestClassifier df = pd.read_csv('data.csv') df = df.dropna() X = df[[['feature1', 'feature2']]] y = df[['target']] X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42) model = RandomForestClassifier(n_estimators=100) model.fit(X_train, y_train) print(model.score(X_test, y_test))

), для которого модель предсказала высокую вероятность оттока (0.92). Объясни это предсказание с использованием контрфактического объяснения. Простым языком опиши минимальные изменения в признаках этого клиента (например,

. Запрос должен вычислять коэффициент удержания ежемесячных когорт клиентов. Когорта клиента — это месяц его первой покупки. Удержание за данный месяц — это процент клиентов из когорты, совершивших покупку в этом месяце. Вывод должен иметь три столбца:

[['date', 'region', 'sales', 'product_category']]

), который не помещается в память pandas. Задача состоит в том, чтобы вычислить среднее значение