Ferramentas de IA avaliadas para o seu trabalho
Ganhe treinando IA
🤝 Você está na biblioteca Grátis & Open Source — ferramentas feitas pela comunidade que você pode usar sem pagar. Um conceito diferente do nosso diretório de IA avaliado.
Início › Grátis & Open Source › Serviços Pro › crawlee
✦ Grátis & open sourceServiços Pro

crawlee

Biblioteca de web scraping e automação de navegador para Node.js e TypeScript.

Web scraping e automação de navegador confiáveis

Construa crawlers robustos com rotação de proxy integrada e evasão anti-bot.

Grátis para sempre · open source · Apache-2.0
✓ Light setup✓ No navegador✓ Colaboração em tempo real
7.9
ZEKAI
Scraper essencial para Node.js
Grátis & open source · Serviços Pro
Facilidade de configuração4
Utilidade9
Manutenção9.5
Comunidade9.2
★ 26,090
GITHUB
Oct 2026
ATUALIZADO
Apache-2.0
LICENÇA
🛠 Não quer hospedar você mesmo? Nós configuramos para você →
⚡ Resposta rápida

Crawlee é uma biblioteca de ponta a ponta para web scraping e automação de navegador para JavaScript e TypeScript. Ela ajuda você a extrair dados limpos para IA, LLMs e pipelines de RAG enquanto contorna proteções modernas contra bots. Profissionais que constroem fluxos de trabalho automatizados de coleta de dados a acharão excepcionalmente capaz.

Funciona em
Cross-platform
Hospedagem
Self-host
Idiomas
TypeScript
Licença
Apache-2.0

O que é

A biblioteca fornece uma interface unificada tanto para crawling HTTP puro quanto para automação completa de navegador sem cabeça usando Playwright ou Puppeteer. Ela possui gerenciamento automático de sessão, rotação de proxy, geração de impressões digitais e filas de requisições persistentes. Você pode facilmente salvar os dados extraídos em disco ou armazenamento em nuvem em formatos tabulares ou de arquivo.

Para quem

É ideal para desenvolvedores e engenheiros de dados que constroem web scrapers de nível de produção em Node.js que precisam contornar a detecção de bots. Não é adequado para equipes que buscam uma ferramenta de interface gráfica sem código ou que trabalham principalmente fora do ecossistema JavaScript e TypeScript.

Recursos principais

Interface de Crawling Unificada

Alterne perfeitamente entre requisições HTTP e automação de navegador sem cabeça usando a mesma API.

Rotação Automática de Proxy

Gerencie sessões e rotacione proxies nativamente para evitar ser bloqueado por sites de destino.

Impressões Digitais Humanizadas

Gere cabeçalhos semelhantes a navegadores e impressões digitais TLS automaticamente para contornar proteções modernas contra bots.

Armazenamento Plugável

Armazene dados tabulares raspados e arquivos baixados localmente ou configure backends de armazenamento em nuvem.

Como começar

Pronto em 3 passos

1
Execute `npx crawlee create my-crawler` via a CLI para gerar um novo projeto com código boilerplate.
2
Instale as dependências necessárias, como o Playwright, se você estiver usando crawling baseado em navegador.
3
Implemente sua lógica de crawling personalizada dentro do manipulador de requisições e inicie o scraper.
Falando sério

Nosso veredito honesto

Pontos fortes

  • Suporta tanto Cheerio/JSDOM para scraping HTTP rápido quanto Playwright/Puppeteer para renderização completa no navegador.
  • A rotação automática de proxy integrada e o gerenciamento de sessões lidam com limites de taxa de forma elegante.
  • Gera impressões digitais de navegador humanizadas prontas para uso para evadir a detecção estrita de bots.
  • Escrito inteiramente em TypeScript com fortes genéricos para extração de dados com segurança de tipos.

Onde deixa a desejar

  • Requer Node.js 22.13 ou superior para funcionar corretamente.
  • A automação pesada de navegador via Playwright ou Puppeteer requer recursos significativos de RAM e CPU em escala.
  • Você deve escrever e manter sua própria lógica de extração em JavaScript ou TypeScript.
Custo

Preços & licença

O Crawlee é gratuito sob sua licença open source. O único custo é executá-lo por conta própria em sua infraestrutura ou máquina local, além de quaisquer serviços de proxy opcionais que você escolha integrar.

Trabalho remunerado

Vagas para quem fala português

877 vagas remotas abertas de treinamento de IA, atualizadas em 16 de novembro de 2026; a maioria paga $20–$175 por hora. 8 delas pedem falantes de português. O Zekai lista de graça; a candidatura vai para a plataforma do empregador.

Ver todas as vagas abertas →
Comparar

Alternativas

Saiba mais

Use, ou deixe que a gente configure

📄 PDF grátis: crawlee para Serviços Pro
Um guia em linguagem simples para o seu primeiro resultado. Enviado ao seu e-mail.
🔔 64 pessoas querem um tutorial em vídeo completo — adicione seu voto
🛠 Não quer configurar você mesmo?
Nós instalamos, hospedamos e configuramos o crawlee para você — e treinamos sua equipe.
Deixe com a gente ↗
Perguntas

FAQ

Posso usar o Crawlee com Python?

A biblioteca principal para Node.js é em JavaScript e TypeScript, mas os mantenedores também fornecem um repositório separado Crawlee for Python.

O Crawlee vem com navegadores pré-instalados?

Não, você precisa instalar bibliotecas de automação de navegador como Playwright ou Puppeteer separadamente para manter os tamanhos de instalação menores.

Como o Crawlee lida com o armazenamento de dados por padrão?

Por padrão, o Crawlee armazena conjuntos de dados raspados, pares de chave-valor e filas de requisições localmente em um diretório `./storage`.

Radar

Últimas notícias de IA

✉️ O kit gratuito semanal
As melhores novas ferramentas grátis & open source para Serviços Pro — um e-mail curto por semana, no seu idioma.
Grátis · 1 e-mail/semana · cancele quando quiser
Ganhe dinheiro treinando IA →

Veja o Zekai primeiro no Google