Prompts de IA para Ciência de Dados

[[COLE O ESQUEMA OU A SAÍDA DE HEAD() AQUI]]

possui valores ausentes. Aqui está a saída de

Gere um script Python que utilize o método do Intervalo Interquartil (IQR) para identificar outliers nas seguintes colunas numéricas de um pandas DataFrame `df`: `[[LISTA_DE_COLUNAS_NUMÉRICAS]]`. O script deve: 1. Calcular Q1, Q3 e IQR para cada coluna especificada. 2. Definir os limites superior e inferior (Q1 - 1.5 * IQR, Q3 + 1.5 * IQR). 3. Criar um novo DataFrame contendo apenas as linhas que possuem valores atípicos em qualquer uma das colunas especificadas. 4. Imprimir o formato do DataFrame original e do DataFrame de outliers.

. As seguintes colunas precisam ter seus tipos de dados corrigidos: -

. Quero verificar duplicatas com base em um subconjunto de colunas:

que recebe uma string e executa as seguintes etapas de limpeza de texto: 1. Converte o texto para minúsculas. 2. Remove toda a pontuação. 3. Remove dígitos numéricos. 4. Remove palavras de parada comuns em inglês. 5. Realiza a lematização (stemming) das palavras restantes usando o Porter Stemmer. A função deve retornar a string limpa. Inclua importações de

, gere um conjunto de gráficos Python para análise univariada. Para cada coluna numérica em

Gere código Python para calcular a matriz de correlação de Pearson para as colunas numéricas no meu pandas DataFrame `df`. As colunas são: `[[LISTA_DE_COLUNAS_NUMÉRICAS]]`. Em seguida, faça o seguinte: 1. Crie um mapa de calor da matriz de correlação usando seaborn. Anote os valores no mapa de calor. 2. Identifique e liste todos os pares de variáveis com um coeficiente de correlação maior que 0.7 ou menor que -0.7. 3. Para os 3 pares mais correlacionados, forneça uma hipótese de uma frase sobre por que eles podem estar correlacionados.

. Para cada variável numérica, gere um box plot que compare sua distribuição entre as diferentes categorias de

com um índice datetime e uma coluna chamada

. Gere um script Python que: 1. Padronize essas duas colunas usando

com colunas de latitude e longitude chamadas

. Estou construindo um modelo para prever

. Gere um script Python que crie as seguintes novas features a partir desta coluna: - Ano - Mês - Dia da semana (como número, 0=Segunda-feira) - Dia do ano - Semana do ano - Uma flag binária

possui as seguintes features numéricas:

para realizar one-hot encoding nas seguintes colunas categóricas do meu DataFrame

. Gere código Python para criar uma nova coluna

é indexado por data e possui uma coluna alvo

Atue como um especialista em AutoML. Tenho um conjunto de dados pré-processado com features `X` e uma variável alvo binária `y`. Gere um script Python completo que treine e avalie três modelos de classificação base diferentes: 1. Regressão Logística 2. Classificador Random Forest 3. Classificador Gradient Boosting (usando LightGBM) Para cada modelo, o script deve: - Usar validação cruzada de 5-folds. - Calcular e imprimir a Média de Acurácia, Precisão, Recall e F1-score. - Armazenar os resultados em um pandas DataFrame para fácil comparação.

do scikit-learn. Minha matriz de features é

features. A arquitetura da rede deve ser: - Camada de entrada com

para um fluxo de trabalho de machine learning. O pipeline deve consistir nas seguintes etapas: 1. Imputar valores numéricos ausentes usando

contendo uma série temporal univariada. Gere um script Python usando

para construir um modelo simples de recomendação de filtragem colaborativa user-item. Assuma que tenho um pandas DataFrame

para calcular e plotar uma matriz de confusão. O gráfico deve ser claramente rotulado com títulos de eixos ('Rótulo Predito', 'Rótulo Verdadeiro') e os nomes das classes

Usando `y_test` (rótulos verdadeiros) e `y_pred_proba` (probabilidades preditas para a classe positiva do meu classificador), gere um script Python para: 1. Calcular a pontuação AUC (Area Under the Curve). 2. Plotar a curva ROC (Receiver Operating Characteristic). 3. Incluir uma linha diagonal representando um classificador aleatório para comparação. 4. Rotular o gráfico com a pontuação AUC.

. Quero explicar uma única previsão para uma instância específica

Tenho um modelo `RandomForestClassifier` treinado chamado `model`. Minhas features têm os nomes `[[LISTA_DE_NOMES_DE_FEATURES]]`. Gere código Python para extrair as importâncias das features do modelo, combiná-las com seus nomes e criar um gráfico de barras horizontal mostrando as 15 features mais importantes.

sklearn.inspection.permutation_importance

Quero verificar se as probabilidades preditas do meu classificador binário estão bem calibradas. Tenho os rótulos verdadeiros `y_test` e as probabilidades preditas `y_pred_proba`. Gere um script Python usando `sklearn.calibration.CalibrationDisplay` para plotar uma curva de calibração para o meu modelo.

[[VARIÁVEL_ALVO, por exemplo, 'rotatividade de funcionários']]

Abaixo está um script Python que gera um gráfico. Após o script, descreverei o gráfico. Sua tarefa é escrever uma interpretação concisa, em um parágrafo, deste insight para um público de negócios. Evite jargões técnicos. `[[COLE O SCRIPT PYTHON DO GRÁFICO]]` O gráfico mostra um gráfico de barras onde clientes na categoria de suporte 'Tier 1' têm um gasto médio mensal de $150, enquanto clientes na categoria 'Tier 3' têm um gasto médio de $45. Agora, escreva o resumo de negócios.

com os resultados de um teste A/B. Ele possui colunas

Atue como um analista de dados. Rascunhe um e-mail para a equipe de produto reportando os resultados de um teste A/B para a nova feature "Checkout com Um Clique". Principais descobertas: - Taxa de conversão do grupo de controle: 3.5% - Taxa de conversão do grupo de tratamento (com feature): 4.8% - O resultado é estatisticamente significativo com um valor p de 0.002. - O teste durou 14 dias com 50.000 usuários em cada grupo. Estruture o e-mail com uma linha de assunto clara, um breve resumo do resultado, os números chave e uma recomendação para lançar a feature.

Explique o conceito de "overfitting" em machine learning como você faria para um diretor de vendas. Use uma analogia. Mantenha a explicação abaixo de 150 palavras.

Gere um modelo markdown para um arquivo README de projeto de ciência de dados. O modelo deve incluir as seguintes seções: - Título do Projeto - Problema de Negócio - Fonte de Dados - Metodologia (Limpeza de Dados, EDA, Modelagem) - Resultados - Como Executar o Código (Dependências, Instruções) - Contatos Chave

(o arquivo do modelo treinado) O Dockerfile deve: 1. Começar de uma imagem base

que aceita requisições POST com um payload JSON. O script deve: 1. Carregar um modelo scikit-learn pré-treinado de um arquivo chamado

Gere um trecho de script Python que demonstre como usar MLflow para rastreamento de experimentos. O script deve: 1. Iniciar uma execução do MLflow. 2. Registrar dois parâmetros: `learning_rate` e `n_estimators`. 3. Registrar três métricas: `accuracy`, `precision` e `recall`. 4. Registrar o próprio modelo treinado como um artefato. 5. Finalizar a execução.

) que é executado em cada push para a branch

def remove_outliers(df, column_name): Q1 = df[[column_name]].quantile(0.25) Q3 = df[[column_name]].quantile(0.75) IQR = Q3 - Q1 lower_bound = Q1 - 1.5 * IQR upper_bound = Q3 + 1.5 * IQR return df[(df[[column_name]] >= lower_bound) & (df[[column_name]] <= upper_bound)]

, e tenho um novo lote de dados de produção em

. Primeiro, carregue-o em um pandas DataFrame e execute um perfil completo dos dados. Identifique valores ausentes, tipos de dados e estatísticas básicas para cada coluna. Mostre-me a saída." **Prompt 2 (após a resposta da IA):** "Obrigado. Com base nesse perfil, gere um script Python para lidar com a limpeza dos dados. Impute

: inteiro, normalmente distribuído em torno de uma média de 40 com um desvio padrão de 10. -

import pandas as pd from sklearn.model_selection import train_test_split from sklearn.linear_model import LogisticRegression from sklearn.preprocessing import StandardScaler from sklearn.impute import SimpleImputer # Sample data generation (for demonstration) data = { 'age': [[25, 30, 45, 22, 50, 35, None, 28, 40, 60]], 'gender': [['M', 'F', 'M', 'F', 'M', 'F', 'F', 'M', 'F', 'M']], 'monthly_charges': [[50, 75, 60, 40, 80, 65, 55, 70, 90, 100]], 'churn': [[0, 1, 0, 0, 1, 0, 1, 0, 1, 0]] } df = pd.DataFrame(data) # Preprocessing steps # Impute missing age with median imputer = SimpleImputer(strategy='median') df[['age']] = imputer.fit_transform(df[[['age']]]) # One-hot encode gender df = pd.get_dummies(df, columns=[['gender']], drop_first=True) # Split data X = df[[['age', 'monthly_charges', 'gender_M']]] y = df[['churn']] X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42) # Scale features scaler = StandardScaler() X_train_scaled = scaler.fit_transform(X_train) X_test_scaled = scaler.transform(X_test) # Train model model = LogisticRegression(random_state=42) model.fit(X_train_scaled, y_train) # Evaluate print(f"Model accuracy: {model.score(X_test_scaled, y_test):.2f}")

import pandas as pd from sklearn.model_selection import train_test_split from sklearn.ensemble import RandomForestClassifier df = pd.read_csv('data.csv') df = df.dropna() X = df[[['feature1', 'feature2']]] y = df[['target']] X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42) model = RandomForestClassifier(n_estimators=100) model.fit(X_train, y_train) print(model.score(X_test, y_test))

) e uma instância de cliente específica (

. A consulta deve calcular a taxa de retenção de coortes mensais de clientes. A coorte de um cliente é o mês de sua primeira compra. A retenção para um determinado mês é a porcentagem de clientes de uma coorte que fizeram uma compra naquele mês. A saída deve ter três colunas:

[['date', 'region', 'sales', 'product_category']]

) que não cabe na memória do pandas. A tarefa é calcular a média de