DATEN & TRAINING
Konfigurierte Methoden sind keine abgeschlossenen Läufe.
Diese Dokumentation unterscheidet innerhalb der Quantum-Modelllinie zwischen Datensatzherkunft, konfigurierten Zielwerten, Smoke-Test-Evidenz und fehlenden Produktions- oder Trainingsartefakten.
PRIMÄRER DATENSATZ
epfml/FineWeb2-HQ
deu_Latn
Eine deutschsprachige Teilmenge, die aus öffentlichem Webmaterial abgeleitet und über FineWeb2-HQ bereitgestellt wird.
Die Datensatzkarte nennt ODC-By 1.0 und die Bedingungen von Common Crawl. Diese Bedingungen klären nicht automatisch die Rechte an jedem Quelldokument und lizenzieren weder Modellgewichte noch Code, Tokenizer oder visuelle Assets.
Datensatzkarte prüfenquantum-1-pilot
- Quellrevision
- Als veränderliches `main` konfiguriert
- Konfigurierter Zielwert
- 100 Mio. Trainings-, 1 Mio. Validierungs- und 1 Mio. Test-Token bei einem Kontext von 512 Token.
- Öffentliche Beobachtung
- Die Modellkarte berichtet ungefähr 100 Mio. Trainings-Token; ein abschließendes Datenmanifest ist nicht öffentlich.
quantum-1.6-pilot
- Quellrevision
- Als veränderliches `main` konfiguriert
- Konfigurierter Zielwert
- 500 Mio. neue Trainings-, 2 Mio. Validierungs- und 2 Mio. Test-Token bei einem Kontext von 512 Token.
- Öffentliche Beobachtung
- Die Veröffentlichungskarte berichtet 500 Mio. zusätzliche Token; endgültige Dokumentzahlen, Split-Hashes und Überschneidungsstatistiken sind nicht öffentlich.
quantum-1-echelon
- Quellrevision
- c0c06e94fd3a44ae9e802b2b0fc533817601eb5e
- Konfigurierter Zielwert
- 8 Mrd. Trainings-, 10 Mio. Validierungs- und 10 Mio. Test-Token bei einem Kontext von 2.048 Token.
- Öffentliche Beobachtung
- Ein Smoke-Lauf sah 5.001 Dokumente, akzeptierte 1.559 und erzeugte 1.380.886 gepackte Token. Der Produktionslauf war nicht gestartet.
PIPELINE-KONTROLLEN
Dokumentierte Kontrollen.
- Filterung nach Sprache, Schriftsystem, Länge, Qualität, URL, Ziffern und Symbolen
- Deterministische Split-Zuweisung und konfigurierte Seeds
- Kontrollen auf exakte Dokumentgleichheit und Nutzung der vorgelagerten MinHash-Deduplizierung in der Echelon-Pipeline
- Gepackte Token-Speicherung mit Checkpoint- und Fortsetzungslogik
BEKANNTE EINSCHRÄNKUNGEN
Weiterhin fehlende Evidenz.
- Exakte Fingerabdrücke entfernen nicht jedes Beinahe-Duplikat oder semantisch überlappende Dokument.
- Öffentliche Webdaten können personenbezogenes, schädliches, urheberrechtlich geschütztes oder anderweitig sensibles Material enthalten.
- Die Pilotkonfigurationen lösen ihre veränderliche Datensatzrevision nicht in einem abschließenden Manifest auf.
- Kein öffentlicher Nachweis verknüpft die endgültig akzeptierten Dokumente und Split-Hashes mit einem der Pilot-GGUFs.
- Es ist weder ein Echelon-Produktionsdatensatz noch ein abgeschlossener Echelon-Trainingslauf öffentlich.
Fragen zu Herkunft, Datenschutz, Rechten oder Entfernung sollten mit der betroffenen Quelle und ausreichenden Identifikationsangaben an die öffentliche Projekt-E-Mail gesendet werden. Kontakt: cikemgil@rappidai-research.com
DOKUMENTATIONSÜBERSICHT
Weitere Evidenz prüfen.
Jeder Bereich trennt öffentliche Evidenz, konfigurierte Zielwerte und fehlende Informationen sichtbar voneinander.