Библиотека веб-скрейпинга и автоматизации браузера для Node.js и TypeScript.
Создавайте надежные краулеры со встроенной ротацией прокси и обходом защиты от ботов.
Crawlee — это комплексная библиотека веб-скрейпинга и автоматизации браузера для JavaScript и TypeScript. Она помогает извлекать чистые данные для ИИ, LLM и RAG-пайплайнов, обходя современные средства защиты от ботов. Профессионалы, создающие рабочие процессы автоматизированного сбора данных, найдут ее исключительно функциональной.
Библиотека предоставляет единый интерфейс как для простого HTTP-краулинга, так и для полноценной автоматизации headless-браузера с использованием Playwright или Puppeteer. Она включает автоматическое управление сессиями, ротацию прокси, генерацию фингерпринтов и персистентные очереди запросов. Вы можете легко сохранять извлеченные данные на диск или в облачное хранилище в табличном виде или в виде файлов.
Она подходит разработчикам и инженерам данных, создающим веб-скрейперы производственного уровня на Node.js, которым необходимо обходить обнаружение ботов. Она не подходит командам, ищущим инструмент с графическим интерфейсом без кода, или тем, кто работает преимущественно вне экосистемы JavaScript и TypeScript.
Плавное переключение между HTTP-запросами и автоматизацией headless-браузера с использованием одного и того же API.
Управление сессиями и встроенная ротация прокси для предотвращения блокировок целевыми сайтами.
Автоматическая генерация заголовков браузера и TLS-фингерпринтов для обхода современной защиты от ботов.
Локальное хранение табличных данных и скачанных файлов либо настройка бэкендов облачных хранилищ.
Crawlee бесплатна по лицензии open source. Единственные затраты — это запуск на собственной инфраструктуре или локальном компьютере, а также любые дополнительные прокси-сервисы, которые вы решите подключить.
879 открытых удалённых вакансий по обучению ИИ, обновлено 15 ноября 2026 г.; в большинстве оплата $20–$175 в час. Из них 2 — для носителей русского языка. Zekai публикует их бесплатно; отклик уходит на платформу работодателя.
Основная библиотека для Node.js написана на JavaScript и TypeScript, но мейнтейнеры также предоставляют отдельный репозиторий Crawlee для Python.
Нет, вам нужно отдельно установить библиотеки автоматизации браузера, такие как Playwright или Puppeteer, чтобы уменьшить размер установки.
По умолчанию Crawlee сохраняет датасеты скрейпинга, пары ключ-значение и очереди запросов локально в директории `./storage`.
Zekai первым в Google