Einleitung
Bei der computergestützten Modellierung und Simulation, insbesondere im Bereich der Strömungsdynamik und Windlastanalyse, ist es unerlässlich, die Genauigkeit numerischer Ergebnisse anhand von Referenzdaten quantitativ zu bewerten. Trefferquotenmethoden bieten zwar eine binäre Auswertung auf der Grundlage vordefinierter Toleranzschwellen, können jedoch die Gesamtverteilung und das Ausmaß der Abweichungen übersehen. Um diesem Problem zu begegnen, bietet der normalisierte mittlere quadratische Fehler e2 einen ergänzenden Ansatz, indem er eine kontinuierliche, maßstabsunabhängige Messgröße für die Modellleistung liefert, wie in Abschnitt 5.3.2 des WTG-Merkblatt M3 erwähnt. Dieser Beitrag untersucht die Definition, Vorteile und Grenzen der Verwendung von e2 als Validierungskriterium.
Definition des normalisierten mittleren quadratischen Fehlers
Im Zusammenhang mit der Validierung simulierter Daten anhand von Referenzmessungen besteht eine Alternative zur Trefferquotenanalyse in der Berechnung des normalisierten mittleren quadratischen Fehlers, bezeichnet als e2. Dieser Ansatz bietet eine kontinuierlichere und quantitativere Messung der Abweichung zwischen den vorhergesagten Werten Pi und den beobachteten Werten Oi. Die Formel lautet:
Dieser verhältnisbasierte Ausdruck bewertet die quadrierten Abweichungen, normiert durch die Größe der beobachteten Werte. Er liefert eine dimensionslose Fehlermetrik, die eine bessere Vergleichbarkeit zwischen Datensätzen mit unterschiedlichen Skalen ermöglicht.
Vorteile von e2 bei der Modellbewertung
- Modellkalibrierung: Der normalisierte mittlere quadratische Fehler kann direkt mit dem Modellfaktor in Beziehung gesetzt werden, was ihn für Kalibrierungsaufgaben nützlich macht.
- Anwendbarkeit auf kleine Datensätze: Im Gegensatz zu Trefferquotenmethoden, die statistisch große Datensätze erfordern, kann e2 auch bei kleineren Stichproben sinnvoll angewendet werden.
- Quantitative Präzision: Ein Wert von e2≤0,01 gilt als guter Maßstab für eine genaue Simulationsleistung und bedeutet, dass nur 1 % der Gesamtenergie im beobachteten Signal nicht vom Modell erfasst wird.
Einschränkungen
Ein Nachteil der e2-Methode ist ihre Empfindlichkeit gegenüber Ausreißern. Signifikante individuelle Abweichungen können den Fehler unverhältnismäßig erhöhen, selbst wenn die Mehrheit der Werte gut vorhergesagt wird. Daher ist es bei kritischen Anwendungen ratsam, diese Metrik durch schwellenwertbasierte Trefferquotenkriterien zu ergänzen, um eine robustere Validierung zu gewährleisten.
Beispiel: Auswertung des normalisierten mittleren quadratischen Fehlers (𝑒2) für 12 Messpunkte auf einer Fläche
Betrachten wir 12 Messpunkte mit Referenzwerten Oi und entsprechenden Simulationswerten Pi:
Tabelle 1: 12 Messpunkt-Informationen
| Punkt (i) | Referenzwert (Oi) | Simulationswert (Pi) |
|---|---|---|
| 1 | 0,72 | 0,75 |
| 2 | 0,68 | 0,70 |
| 3 | 0,81 | 0,85 |
| 4 | 0,77 | 0,73 |
| 5 | 0,66 | 0,69 |
| 6 | 0,74 | 0,71 |
| 7 | 0,85 | 0,80 |
| 8 | 0,70 | 0,66 |
| 9 | 0,81 | 0,88 |
| 10 | 0,76 | 0,69 |
| 11 | 0,82 | 0,75 |
| 12 | 0,69 | 0,80 |
Wir können also e2 mit der folgenden Formel berechnen:
Normalisierter mittlerer quadratischer Fehler: 𝑒2=0,0055
Er erfüllt die Mindestanforderung (e2≤0,01) für die Validierung von Mittelwerten.
Fazit
Die 𝑒2-Metrik ist ein leistungsstarkes Werkzeug zur Bewertung der Gesamtgenauigkeit von Simulationsmodellen, insbesondere bei der Bewertung von Druck- oder Kraftbeiwerten in CFD-Validierungsstudien. Bei sachgemäßer Anwendung bietet sie eine zuverlässige quantitative Grundlage für die Überprüfung der Modellleistung und kann kategoriale Kriterien wie die Trefferquotenanalyse für eine umfassendere Qualitätsbewertung ergänzen.