Biblioteca de web scraping e automação de navegador para Node.js e TypeScript.
Construa crawlers robustos com rotação de proxy integrada e evasão anti-bot.
Crawlee é uma biblioteca de ponta a ponta para web scraping e automação de navegador para JavaScript e TypeScript. Ela ajuda você a extrair dados limpos para IA, LLMs e pipelines de RAG enquanto contorna proteções modernas contra bots. Profissionais que constroem fluxos de trabalho automatizados de coleta de dados a acharão excepcionalmente capaz.
A biblioteca fornece uma interface unificada tanto para crawling HTTP puro quanto para automação completa de navegador sem cabeça usando Playwright ou Puppeteer. Ela possui gerenciamento automático de sessão, rotação de proxy, geração de impressões digitais e filas de requisições persistentes. Você pode facilmente salvar os dados extraídos em disco ou armazenamento em nuvem em formatos tabulares ou de arquivo.
É ideal para desenvolvedores e engenheiros de dados que constroem web scrapers de nível de produção em Node.js que precisam contornar a detecção de bots. Não é adequado para equipes que buscam uma ferramenta de interface gráfica sem código ou que trabalham principalmente fora do ecossistema JavaScript e TypeScript.
Alterne perfeitamente entre requisições HTTP e automação de navegador sem cabeça usando a mesma API.
Gerencie sessões e rotacione proxies nativamente para evitar ser bloqueado por sites de destino.
Gere cabeçalhos semelhantes a navegadores e impressões digitais TLS automaticamente para contornar proteções modernas contra bots.
Armazene dados tabulares raspados e arquivos baixados localmente ou configure backends de armazenamento em nuvem.
O Crawlee é gratuito sob sua licença open source. O único custo é executá-lo por conta própria em sua infraestrutura ou máquina local, além de quaisquer serviços de proxy opcionais que você escolha integrar.
877 vagas remotas abertas de treinamento de IA, atualizadas em 16 de novembro de 2026; a maioria paga $20–$175 por hora. 8 delas pedem falantes de português. O Zekai lista de graça; a candidatura vai para a plataforma do empregador.
A biblioteca principal para Node.js é em JavaScript e TypeScript, mas os mantenedores também fornecem um repositório separado Crawlee for Python.
Não, você precisa instalar bibliotecas de automação de navegador como Playwright ou Puppeteer separadamente para manter os tamanhos de instalação menores.
Por padrão, o Crawlee armazena conjuntos de dados raspados, pares de chave-valor e filas de requisições localmente em um diretório `./storage`.
Veja o Zekai primeiro no Google