Generiert und decodiert Soundeffekte aus Text-Prompts oder Videosequenzen mithilfe von Open-Foundation-Modellen.
Die Open-Foundation-Modelle von Sony AI für Audio-Encoding, textgesteuerte Soundeffekte und videosynchronisiertes Audio.
Woosh ist ein von Sony AI entwickeltes Soundeffekt-Foundation-Toolkit für die Text-zu-Audio- und Video-zu-Audio-Synthese. Es bietet Latent-Diffusion-Modelle neben einem Audio-Encoder und -Decoder für Sounddesigner und Spieleentwickler. Sie können Inferenzskripte ausführen, lokale Browserschnittstellen starten oder die Generierung über einen API-Server in eigene Pipelines integrieren.
Das Repository stellt eine Reihe von Modellen bereit, darunter Woosh-AE für latentes Audio-Encoding, Woosh-CLAP für Text-Conditioning sowie Latent-Diffusion-Modelle wie Woosh-Flow und Woosh-VFlow. Es synthetisiert Audio direkt aus deskriptiven Text-Prompts oder gleicht generiertes Audio mit Eingabe-Videodateien ab. Sie verwalten und ausführen die Tools über Python-Skripte unter Verwendung des uv-Umgebungsmanagers.
Es eignet sich für Spieleentwickler, technische Sounddesigner und KI-Audio-Forscher, die originale Audio-Assets lokal generieren möchten. Es ist weniger geeignet für nicht-technische Kreative, die ein fertiges Digital-Audio-Workstation-Plugin oder sofortige kommerzielle Rechte benötigen.
Synthesiziert benutzerdefinierte Soundeffekte direkt aus Textbeschreibungen unter Verwendung von Standard- und destillierten Diffusionsmodellen.
Erstellt Audiospuren, die mithilfe multimodaler latenter Diffusion an Eingabe-Videosequenzen ausgerichtet sind.
Komprimiert Roh-Audio in neuronale Latenten und rekonstruiert hochwertige Wellenformen mit Woosh-AE.
Bietet webbasierte Benutzeroberflächen zum Testen der Text-zu-Sound-Generierung in Ihrem lokalen Browser.
Der Quellcode ist unter MIT- und Apache-2.0-Lizenzen frei und offen. Die vortrainierten Modellgewichte verwenden jedoch eine nicht-kommerzielle CC-BY-NC-Lizenz. Das Ausführen des Projekts erfordert eigene lokale GPU-Rechenhardware.
896 offene Remote-Stellen im KI-Training, aktualisiert am 16. November 2026; die meisten zahlen $20–$175 pro Stunde. 12 davon suchen Deutschsprachige. Zekai listet sie kostenlos; die Bewerbung läuft über die Plattform des Arbeitgebers.
Diese bewerteten KI-Tools erledigen die Aufgabe sofort — aus unserem bewerteten Verzeichnis.
Der Repository-Quellcode verwendet Apache-2.0- und MIT-Lizenzen, aber die auf GitHub Releases bereitgestellten offenen Modellgewichte sind unter CC-BY-NC lizenziert, was die kommerzielle Nutzung ohne separate Vereinbarungen einschränkt.
Nein. Sobald Sie die Abhängigkeiten installieren und die Modell-Checkpoints lokal herunterladen, läuft die gesamte Audiogenerierung offline.
Zekai zuerst in Google sehen