Von 100 Mio. zu 600 Mio. deutschen Token

Das öffentliche Experiment untersucht, ob Continued Pretraining mit 500 Millionen zusätzlichen deutschen Token die Konsistenz sprachlicher Muster verbessern kann, während die Architektur mit 49.295.872 Parametern, der Kontext von 512 Token und der eingefrorene quantum-1-Tokenizer unverändert bleiben.

Diese Notiz bewertet ausschließlich, was die verlinkten öffentlichen Artefakte belegen. Sie rekonstruiert weder den privaten Trainingslauf noch leitet sie fehlende Messwerte ab.

Die öffentliche Konfiguration beschreibt eine Initialisierung nur der Gewichte aus der früheren Quantum-Basisphase, einen neuen Optimierer, Scheduler und Schrittzähler sowie fortgesetztes Training mit deutschem FineWeb2-HQ-Material.

Das konfigurierte Ziel liegt bei ungefähr 30.518 Optimiererschritten mit effektiv 16.384 Token pro Schritt. Kein abschließendes öffentliches Run-Manifest bestätigt die tatsächlich abgeschlossene Schrittzahl, die aufgelöste Umgebung oder jedes konfigurierte Detail.

Die Hugging-Face-Karte zu quantum-1.6-pilot berichtet einen Validierungsverlust von 3,348852 und eine Perplexität von 28,4700 und veröffentlicht ein F16-GGUF-Artefakt mit Manifest und SHA-256-Prüfsumme.

Diese Next-Token-Metriken messen weder faktische Genauigkeit noch Instruction Following, Downstream-Aufgabenleistung oder Produktreife.

Die öffentliche Diagnose und die Modellkarten beschreiben weiterhin faktische Unzuverlässigkeit, Wiederholungen, unvollständigen Text und inkohärente Fortsetzungen. Die verfügbare Evidenz zeigt daher nicht, dass das berichtete zusätzliche Training eine zuverlässige Generierung hergestellt hat.

Dies ist ein Ergebnis zu diesem kleinen experimentellen Aufbau. Es ist keine allgemeine Schlussfolgerung, dass Continued Pretraining unwirksam sei oder kompakte Modelle nicht nützlich sein könnten.

Es sind keine versionierten Rohdaten der Generierung, kein standardisierter Downstream-Benchmark, kein vollständiges Trainingsprotokoll, kein abschließendes Datenmanifest und kein unabhängig reproduzierbarer Metrikbericht öffentlich.

Die stärkste belegte Schlussfolgerung ist, dass der dokumentierte Ablauf ein öffentliches Continued-Pretraining-Artefakt mit berichteten Hold-out-Metriken erzeugte, während wesentliche Einschränkungen der Generierung bestehen blieben.