Cactus
Гибридный краевой облачный ИИ-движок, обеспечивающий локальные LLM, VLM и транскрипцию для мобильных и носимых устройств.
Запускайте квантованные LLM, модели компьютерного зрения и транскрипцию речи нативно на мобильных и носимых устройствах.
Cactus — это высокопроизводительный движок выводов, адаптированный для мобильных и носимых устройств, поддерживающий текстовые, речевые модели и модели компьютерного зрения. Он подходит мобильным разработчикам и инженерам, желающим развернуть локальные ИИ-пайплайны с опциональной передачей в облако.
Что это
Он предоставляет граф вычислений с нулевым копированием, процессорные и графические ядра для различных архитектур, а также пользовательские методы квантования на основе поворотов в диапазоне от 4-бит до 1-бит. Движок предоставляет API, совместимые с OpenAI, и обрабатывает автоматический RAG наряду с вызовом инструментов на устройстве через свою модель Needle.
Для кого
Он подходит разработчикам, внедряющим локальный интеллект в iOS, Android, macOS или встроенные приложения. Он не подходит командам, которым требуется исключительно размещенный в облаке вывод без учета ограничений локального оборудования.
Ключевые возможности
Квантование на основе поворотов
Пользовательские методы квантования масштабируют модели от 4-бит до 1-бит точности весов.
Граф вычислений с нулевым копированием
Оптимизированный Cactus Graph локально обрабатывает операции с тензорами, матричное умножение и внимание.
API, совместимые с OpenAI
Cactus Engine предоставляет стандартные интерфейсы чата, потоковой передачи, работы с изображениями и вызова инструментов.
Гибридный облачный перенос
Автоматически направляет сложные запросы в облако на основе порогов уверенности локальной модели.
Готово за 3 шага
Наш честный вердикт
Плюсы
- Нативное выполнение на оборудовании Apple, Samsung и Pixel с помощью оптимизированных SIMD-ядер
- Поддержка мультимодальных рабочих процессов, включая модели зрения и транскрипцию аудио
- Предоставляет привязки для Swift, Kotlin, Flutter, React Native, Rust и Python
- Включает возможности авто-RAG прямо внутри конвейера инициализации модели
Минусы
- Требуется компиляция зависимостей C++ и настройка локальных цепочек инструментов сборки
- Конвертация моделей из HuggingFace может быть экспериментальной в зависимости от архитектуры
- Запуск тяжелых мультимодальных моделей локально потребляет значительный объем оперативной памяти устройства
Цены и лицензия
Программное обеспечение является open source без указанной лицензионной платы в метаданных репозитория. Единственные затраты — это запуск на собственном локальном оборудовании или плата за использование API облачного перенаправления.
Вакансии для носителей русского языка
876 открытых удалённых вакансий по обучению ИИ, обновлено 15 ноября 2026 г.; в большинстве оплата $20–$170 в час. Из них 2 — для носителей русского языка. Zekai публикует их бесплатно; отклик уходит на платформу работодателя.
Альтернативы
Используйте сами или мы всё настроим
Вопросы
Какие архитектуры моделей поддерживаются?
Явно протестированы семейства моделей Liquid, Gemma, Whisper, Parakeet и Qwen, а также любые модели HuggingFace путем конвертации.
Поддерживает ли Cactus облачный резервный вариант?
Да, он включает гибридный режим, который перенаправляет сложные запросы в облако, когда уверенность локальной модели падает ниже заданного порога.
