Runpod — KI für Softwareentwicklung

Runpod ist eher Infrastruktur als eine KI-App: Sie mieten GPUs, um Modelle zu trainieren, zu fine-tunen oder bereitzustellen. Die Homepage beschreibt drei Produkte über ein Konto. Pods sind On-Demand-GPU-Instanzen in 31 Regionen mit über 30 GPU-Typen von der RTX 4090 bis zur B200. Serverless führt eine API-basierte Inferenz aus, bei der Worker von Null an skalieren. Laut Website kostet ein inaktiver Endpunkt nichts und Kaltstarts erfolgen dank FlashBoot in unter 200 ms. Cluster starten Multi-Node-GPU-Cluster mit bis zu 64 GPUs. Die Preisseite führt Pod-Preise pro Stunde auf, zum Beispiel RTX A5000 für $0.27 pro Stunde, RTX 4090 für $0.89, H100 SXM für $4.39 und B200 für $7.99. Serverless wird pro Worker-Stunde nach GPU-Klasse berechnet. Speicher beginnt bei $0.05 pro GB und Monat, und die Homepage erwähnt keine Datenausgangsgebühren (Egress Fees) für Netzwerkspeicher. Public Endpoints bieten vorab bereitgestellte Modelle per API mit einheitsbasierter Preisgestaltung. Reservierte Cluster erfordern ein Gespräch mit dem Vertrieb. Die Website gibt an, zertifiziert zu sein. Der Kompromiss besteht darin, dass Sie Container, Templates und Speicher selbst verwalten und es auf der Preisseite keinen kostenlosen Tarif gibt, sodass die Kosten in dem Moment beginnen, in dem ein Pod läuft. Wenn Sie günstigere GPUs als bei den großen Clouds benötigen und mit Docker vertraut sind, passt es. Wenn Sie einen gehosteten Chatbot suchen, tut es das nicht.