crawlee-python
Construa web scrapers confiáveis e fluxos de trabalho de automação de navegador em Python.
Extraia dados para IA, LLMs, RAG e GPTs usando BeautifulSoup ou Playwright.
Crawlee-python é uma biblioteca de web scraping e automação de navegador projetada para extrair dados para aplicações de IA. Ela oferece uma interface unificada para rastreamento HTTP e de navegador sem cabeça com rotação de proxy integrada.
O que é
Ela gerencia o rastreamento e scraping web de ponta a ponta, permitindo que você baixe arquivos HTML, PDF e de imagem enquanto armazena dados tabulares de forma persistente. Você pode alternar entre BeautifulSoupCrawler para requisições HTTP rápidas e PlaywrightCrawler para páginas pesadas em JavaScript.
Para quem
É ideal para desenvolvedores Python e engenheiros de IA que constroem pipelines de dados para RAG ou LLMs e precisam de scrapers resilientes que evitam bloqueios. Não é adequado para quem procura uma interface gráfica de scraping sem código.
Recursos principais
API Unificada de HTTP e Navegador
Alterne facilmente entre BeautifulSoup para velocidade e Playwright para renderização de JavaScript usando uma interface semelhante.
Rotação de Proxy Integrada
Gerencie sessões e rotacione proxies automaticamente para passar despercebido pelas proteções anti-bot modernas.
Arquitetura Baseada em Asyncio
Aproveite o asyncio padrão do Python para rastreamento paralelo de alto desempenho e integração moderna.
Persistência de Estado
Salve o estado do scraping durante interrupções para nunca precisar reiniciar pipelines do zero.
Pronto em 3 passos
Nosso veredito honesto
Pontos fortes
- Cobertura completa de type hints para melhor autocompletação na IDE e menos bugs
- Tentativas automáticas integradas em caso de erros e proteção contra bloqueios
- Opções organizadas de armazenamento de dados, incluindo datasets e key-value stores
- Ferramenta CLI com modelos de projeto preparados usando uv ou pip padrão
Onde deixa a desejar
- Requer escrever código Python e gerenciar fluxos de trabalho assíncronos
- O extra do Playwright requer a instalação de binários de navegador separados
- Executar automação pesada baseada em navegador consome memória significativa do sistema
Preços & licença
Crawlee é gratuito sob a licença Apache-2.0 e, como é executado localmente ou em sua própria infraestrutura, o único custo é executá-lo por conta própria.
Vagas para quem fala português
880 vagas remotas abertas de treinamento de IA, atualizadas em 15 de novembro de 2026; a maioria paga $20–$175 por hora. 8 delas pedem falantes de português. O Zekai lista de graça; a candidatura vai para a plataforma do empregador.
Alternativas
Use, ou deixe que a gente configure
FAQ
Devo usar BeautifulSoupCrawler ou PlaywrightCrawler?
Use BeautifulSoupCrawler para scraping de HTML estático de alto desempenho e PlaywrightCrawler quando precisar executar JavaScript no lado do cliente.
Posso executar o Crawlee-python na plataforma Apify?
Sim, embora seja open source e rode em qualquer lugar, ele se integra facilmente à plataforma em nuvem da Apify.
