Thema:
Re:Was ist Dein Setup? flat
Autor: JPS
Datum:31.07.23 18:07
Antwort auf:Was ist Dein Setup? von publicmaw

>Welche Hardware nutzt Du, und welches OS?
>Und wie lange rechnet das dann z.B. an so einem SDXL-Bild in 1024^2?
>Danke :)


i9-9900k mit entsprechend altem Mainboard und RAM (das bremst also meine GPU ein wenig aus).

RTX 4090 - vor allem wegen der 24GB VRAM, was mehr Spielraum gibt, so dass ich auf diverse Speicheroptimierungen verzichten oder mehr Bilder gleichzeitig berechnen kann. Schnell ist die Karte natürlich auch.

Eine gebrauchte RTX 3090 wäre mein Budget-Tipp, da ebenfalls 24GB VRAM, alternativ eine RTX 4080 mit 16GB VRAM (ist für SD-XL noch ohne größere Abstriche ausreichend).

AMD geht in vielen Fällen inzwischen auch ist aber immer komplizierter und wird nachrangig unterstützt.

Mit 10-12GB VRAM (bevorzugt nVidia) kann man arbeiten, muss dann aber schon mehr optimieren. Unter 8GB VRAM ist es dann schon sehr unangenehm.

Optimieren heißt im Idealfall, dass man etwas Speed verliert, da die Modelle (SD-XL nutzt zwei Modelle) nicht durchgehend im VRAM bleiben können, in extremeren Fällen muss man aber auch leichte Einbußen bei der Bildqualität, Auflösung, etc. in Kauf nehmen. Vor allem die Nachbearbeitung von bereits vergrößerten Bildern oder das Skalieren auf Full-HD oder 4K wird dann problematisch.

96GB RAM - wobei für den Zweck auch 16GB, besser 32GB reichen würden, damit er dann zumindest in den RAM auslagern kann und nicht gleich ins Pagefile der Festplatte. Wobei in dem Moment wo etwas nicht mehr ins VRAM passt, aber aktuell aktiv benötigt wird, alles extrem viel langsamer wird. Da dauern Vorgänge dann schnell 10x länger, selbst wenn nur ein kleiner Teil ausgelagert werden muss.

Software: SD.Next und ComfyUI - aktuell hauptsächlich ComfyUI, da die durch die Nähe zum SD-XL-Entwickler etwas weiter sind, was die saubere und optimale Umsetzung angeht - für reines TXT2IMG ist das schon ok, für weitere Bearbeitungsschritte finde ich SD.Next praktischer.

1024x1024 geht relativ schnell. Hängt dann auch noch von der Anzahl der Steps ab - viele verwenden hier nur 30-50 Steps, ich verwende eher 70-100 Steps. Das dauert dann mit meinem System ca. 20-30 Sekunden pro Bild mit SD-XL. Höhere Auflösungen können auch mal 40-60 Sekunden dauern. Mit weniger Steps kann man auch auf <= 10 Sekunden pro Bild kommen.

Gerade bei TXT2IMG willst Du durch die geringen Einflussmöglichkeiten aber recht viele Bilder berechnen um dann die besten auswählen zu können. Da bin ich schon froh, dass es halbwegs flott geht. Bei aufwendigeren Inpaint/ControlNet-Workflows ist die Berechnungszeit nicht mehr ganz so kritisch, da man eher gezielt Bilder berechnen lässt.

Für Art AI (SD.Next, ComfyUI, A1111) kann man eigentlich alles mit Windows, Linux oder WSL machen, ohne dass sich die Geschwindigkeit großartig unterscheidet. Es kommt dort eher selten auf ganz bestimmte Versionsstände der Hauptkomponenten an, bzw. regeln dass die Tools dann selbst über VENV & Co.

Für Chatbots ist Linux oder WSL oft besser, da die Anforderungen spezifischer sind und man dann mit Linux flexibler ist, für die einzelnen Komponenten unterschiedliche Versionsstände zur Verfügung zu stellen. Auch sind die VRAM-Anforderungen bei Chatbots für die größeren und besseren Modelle recht hoch - da sind selbst 24GB noch ein limitierender Faktor.

Von daher habe ich sowohl Windows als auch WSL (das Standard Ubuntu-Paket aus dem MS-Store) im Einsatz. Windows hauptsächlich, weil das Management der Speicherorte angenehmer ist, als mit WSL und da es für ComfyUI und SD.Next keinen wirklichen Vorteil hat WSL zu nutzen. Mit weniger RAM (z.B. 16GB) kommt noch hinzu, dass das virtuelle Linux-System sich den RAM nicht mit Windows teilen muss und man daher nicht darauf achten muss, dass das WSL-System bei Nichtnutzung den RAM freigibt.


< antworten >