# Strata Flash mit minimalem Expertencache

Stand 27. Oktober 2026. Direkter Vergleich auf der RTX 3090 mit Ryzen 5900X und 64 GiB RAM. Whisper und pyannote bleiben mit ihren ursprünglichen CUDA-Objekten geladen.

Flash ist mit dem kleinsten unterstützten Expertencache lauffähig. Die mediane Antwortzeit steigt von 3,296 auf 6,175 Sekunden, also auf das 1,87-Fache. Die vollständig übernommenen Prüfpunkte liegen bei 584 beziehungsweise 602 von 720. Die Prüfung zeigt einzelne inhaltliche Unterschiede. Eine Verkleinerung des Modells oder eine andere Quantisierung findet dabei nicht statt.

## Geschwindigkeit und Speicher

Mediane der jeweils 60 Hauptantworten. Speicherwerte sind die höchsten beobachteten Werte der Textinferenz. Cacheänderungen sind aus der Inferenzzeit ausgeschlossen und separat ausgewiesen.

| Messgröße | Großer Cache | Minimaler Cache |
|---|---:|---:|
| Eingabetoken | 875,5 | 875,5 |
| Ausgabetoken | 266,5 | 285,0 |
| Zeit bis zum ersten Token in s | 0,925 | 2,143 |
| Vollständige Antwort in s | 3,296 | 6,175 |
| Promptverarbeitung in ms | 906,8 | 2.121,5 |
| Prompttoken pro Sekunde | 949,8 | 406,9 |
| Generierung in Token pro Sekunde laut Backend | 111,2 | 68,7 |
| Generierung in Token pro Sekunde aus HTTP Messung | 111,4 | 68,8 |
| CPU Auslastung des gesamten Hosts in Prozent | 49,7 | 50,5 |
| Strata Prozess VRAM in GiB | 11,60 | 6,04 |
| Gesamter GPU Speicher bei Textinferenz in GiB | 18,59 | 13,04 |
| Strata Prozess RSS in GiB | 34,66 | 34,66 |
| Belegter Host RAM in GiB | 42,01 | 42,01 |

Generierung mit minimalem Cache: 61,8 Prozent der Rate mit großem Cache. Die mediane, fallweise gepaarte Zeitrelation beträgt 1,89. Antwortzeitspanne: groß 2,667–6,143 Sekunden; minimal 5,289–14,624 Sekunden.

Ausgabetoken insgesamt: groß 17120, minimal 18252. Eingabetoken insgesamt je Profil: 58840. Die Tokenraten erlauben den Vergleich auch bei unterschiedlich langen Antworten.

Verkleinern: median 0,105 Sekunden. Vergrößern: median 0,248 Sekunden. Die Engine bleibt dabei unverändert. Der kleine Expertencache umfasst 512 MiB und 366 Slots; der große Cache umfasst 6196 MiB und 4508 Slots. Das Größenminimum gilt für das getestete Profil mit 32k Kontext, einem Slot, int8 KV und MTP.

Der [elastische Cache laut Strata Dokumentation](https://github.com/Niko1221/Strata/blob/main/docs/VRAM_ELASTIC.md) gibt GPU Speicher für Experten frei. Diese Experten werden anschließend auf der CPU berechnet. Dichte Gewichte, KV, MTP und CUDA-Kontext bleiben geladen. Das erklärt den zusätzlichen CPU-Aufwand; ein verkleinertes Sprachmodell entsteht dadurch nicht.

In den zusammenhängenden Wiederholungsblöcken mit jeweils zwölf Fällen bleiben die Zeiten vergleichbar: groß median 3,317 Sekunden, minimal 6,171 Sekunden. Der Geschwindigkeitsverlust besteht somit auch bei durchgehend klein gehaltenem Cache.

## Qualität der Zusammenfassungen

Zwölf vorab festgelegte Kriterien je Quelle, insgesamt 720 je Cachegröße. V bedeutet vollständig richtig, T teilweise richtig mit fehlenden Bestandteilen, A ausgelassen und F sachlich falsch. Zusätzliche unbelegte Aussagen werden separat gezählt.

| Bewertung | Großer Cache | Minimaler Cache |
|---|---:|---:|
| Vollständig richtig | 584 | 602 |
| Teilweise richtig | 106 | 98 |
| Ausgelassen | 24 | 15 |
| Falsch | 6 | 5 |
| Davon falsch in vorab markierten Prioritätspunkten | 3 | 2 |
| Zusätzliche unbelegte Aussagen | 3 | 6 |

Der minimale Cache enthält in 21 Fällen mehr vollständige Prüfpunkte, der große in 9; in 30 Fällen ist deren Anzahl gleich. 649/720 Einzelurteile stimmen überein. Bytegleiche Antworten: 0/60; nach JSON Parsing gleiche Antworten: 0/60.

Wiederholungen bei derselben Cachegröße sind ebenfalls veränderlich: groß 0/12 und minimal 0/12 bytegleiche Antworten gegenüber dem jeweiligen Hauptlauf. Seed und Samplingparameter bleiben gleich. Die Größe des Caches allein garantiert daher keine identischen Formulierungen. Adaptive interne Zustände und CPU/GPU-Rechenpfade werden nicht vollständig fixiert.

Dieser direkte Vergleich trägt eine Beurteilung der beobachteten Detailtreue. Die 60 Varianten gehören zu 30 verwandten Gesprächspaaren; sie bilden keine 60 unabhängigen klinischen Fälle. Derselbe KI-Agent bewertet alle Antworten unter fallweise maskierten A/B-Labels. Die 1440 Urteile wurden vor Aufdeckung der Zuordnung festgeschrieben. Das ist keine unabhängige klinische Validierung und kein Nachweis einer garantierten Qualitätsgleichheit.

In dieser Messreihe enthält der minimale Cache mehr vollständige Details und weniger falsche Kriterien, aber mehr zusätzliche unbelegte Aussagen. Daraus folgt kein verlässlicher allgemeiner Qualitätsvorteil einer Cachegröße. Ein systematischer Qualitätsabfall durch den minimalen Cache zeigt sich hier ebenfalls nicht.

Konkrete Unterschiede und gemeinsame Fehler:

- [Antikoagulation nach später Korrektur](cases/G60_14B.md): Großer Cache behält fälschlich 2,5 mg Apixaban zweimal täglich samt Rezept; minimaler Cache übernimmt die abschließend bestätigten 5 mg.
- [Schnittwunde mit unklarem Impfstatus](cases/G60_18B.md): Minimaler Cache ergänzt unbelegt, eine Tetanusimpfung sei nachzuholen. Vereinbart war zunächst das Nachbringen des Impfpasses.
- [Schlafanamnese](cases/G60_11B.md): Beide Größen behalten fälschlich ein Jahr Alkoholabstinenz statt der abschließend korrigierten zwei Jahre.
- [Längere Diabeteskontrolle](cases/G60_29A.md): Minimaler Cache verneint Kribbeln, obwohl gelegentliches Kribbeln berichtet wird. Der große Cache erhält diese Angabe.

## Audiolast und Einordnung für 16 GiB

Bei drei echten 48-Sekunden-Audioketten mit minimalem Strata-Cache beträgt die höchste beobachtete gesamte GPU-Belegung 14,27 GiB. Rechnerisch bleiben auf 16 GiB 1,73 GiB Reserve. ASR dauert median 1,252 Sekunden, Diarisierung 0,518 Sekunden.

Das unterstützt die sequenzielle Nutzung mit allen drei geladenen Modellen. Für eine 16-GiB-Karte muss der Cache auf das dort verfügbare Budget begrenzt bleiben. Die GPU-Rechenleistung einer echten 16-GiB-Karte, längere Audioblöcke und gleichzeitige Inferenz sind durch diese Messung nicht bestimmt. Der Strata-Prozess behält weiterhin seinen großen Hauptspeicherbedarf.

## Versuchsaufbau und Wiederherstellung

Strata 0.2.6, Control 0.1.51 und Engine 0.1.50; Qwen3.8-Flash-Next GSQ-RCO IQ2_XS, unveränderter Dokumentationsprompt. Temperatur 0,1, Seed 42, maximal 2400 Ausgabetoken, Thinking aus, Promptcache aus. Dieselbe Engine bearbeitet 60 Quellen in beiden Größen; die Reihenfolge groß/klein wird fallweise ausgeglichen. Sechs Aufwärmantworten sind aus den Hauptstatistiken ausgeschlossen. Zusätzlich 24 Wiederholungen und drei Audioketten. Whisper und pyannote wurden vor Strata real aufgewärmt und blieben durchgehend als ursprüngliche CUDA-Objekte geladen.

Telemetrie: 5630 Messpunkte, median 150,0 ms Abstand; kurze Spitzen zwischen Messpunkten können fehlen. Alle Hauptantworten erfüllen das JSON Schema und enden regulär. Jeder Hauptaufruf meldet null wiederverwendete Prompttoken.

Die ursprünglichen 15 Dienstzustände, 57 Produktionsdateien und sechs Strata-Konfigurationsdateien wurden geprüft. Der installierte Client wurde mit Textextraktion und der vollständigen WAV-Kette einschließlich 27B und Rückkehr zum 9B-Q6-Standard verifiziert. Testserver und Sicherungstimer sind beendet, Testports geschlossen.

## Nachprüfbare Ergebnisse

- [Alle 60 Quellen und 120 Hauptantworten mit Einzelurteilen](Einzelfaelle.md)
- [Alle 144 Einzelmessungen mit Tokenzahlen](summary/measurements.csv)
- [Gepaarte Fälle](summary/paired_cases.csv)
- [Alle 1440 Kriterienurteile](summary/fact_reviews.csv)
- [Wiederholungen](summary/repeats.csv)
- [Maschinell lesbare Zusammenfassung](summary/results.json)
- [Festgeschriebene Qualitätsurteile](review_commitment.json)
- [Abschließender Zustandscheck](final-state-check.json)