引言
使用标准化均方误差 e2 评估模型准确性
在验证模拟数据与参考测量数据的背景下,标准化均方误差(e2)的计算是命中率分析的替代方法。这种方法提供了一种更连续和定量的预测值 Pi 和观测值 Oi 之间偏差的度量。公式定义如下:
这种基于比率的表达式评估的是通过观测值大小标准化的平方偏差。它提供了一种无量纲的错误指标,可以更好地用于不同尺度数据集的比较。
e2 在模型评估中的优点
模型校准:标准化均方误差可以直接与模型因子相关联,因此在校准任务中非常有用。
适用于小数据集:与需要统计上大数据集的命中率方法不同,e2 即使在较小样本中也能有意义地应用。
定量精度:e2≤0.01 的数值被视为准确模拟性能的良好基准,表明模型未捕获的观测信号总能量仅占 1%。
在数值风模拟和模型验证的背景下,通过与参考数据的系统比较,必须证明计算结果的可靠性。WTG-Merkblatt 的第 5.3.2 节引入了一种使用命中率方法的量化方法。该方法通过检查模拟结果与参考值之间的偏差是否在定义的绝对或相对公差范围内,为每个数据点提供二元评估。然后,命中率 q 被计算为成功验证的点数与考虑点总数的比率。这种方法允许对模拟质量进行客观且可重复的评估,特别是对于空间分布的量,如表面压力或力系数。
命中率的定义
基于 WTG 第 5.3 节,在可靠性理论领域,失效概率通常使用仅识别值 0 和 1 的置信函数来确定。类似地,在 VDI 3783-9 中,为预测模型定义了命中率 q,基于与下图定义的在统计上显著的参考值 Oi 进行比较的 "正确"计算结果值 Pi 的数量:
表 1(如 WTG-Merkblatt M3 中的表 5.1)定义了验证 CFD 模拟中压力系数结果的基准标准。它设置了允许的最大偏差(10%-20%),并要求平均值、RMS 和极值的命中率达到 90% 以上。这些阈值有助于确保模拟数据与参考值紧密匹配,并支持一致的质量评估。
表 1:力和压力系数的示例评估标准
| 考虑的值 | 最大绝对偏差 (W) | 命中率 (q) |
|---|---|---|
| 压力系数的平均值 | 10% | >90% |
| 压力系数的 RMS 值 | 20% | >90% |
| 不稳定压力系数的极值 | 20% | >90% |
示例:评估表面上的 12 个测量点
我们来看看 12 个测量的参考值 Oi 和相应的模拟值 Pi。我们采用了相对偏差公差 W=10% 用于平均值的计算。
表 1:12 个测量点的命中率评估
| 点 (i) | 参考值 (Oi) | 模拟值 (Pi) | 相对偏差 Wrel % | 命中率 (1 = 是, 0 = 否) |
|---|---|---|---|---|
| 1 | 0.72 | 0.75 | 4.17 | 1 |
| 2 | 0.68 | 0.70 | 2.94 | 1 |
| 3 | 0.81 | 0.85 | 4.94 | 1 |
| 4 | 0.77 | 0.73 | 5.19 | 1 |
| 5 | 0.66 | 0.69 | 4.55 | 1 |
| 6 | 0.74 | 0.71 | 4.05 | 1 |
| 7 | 0.85 | 0.80 | 5.88 | 1 |
| 8 | 0.70 | 0.66 | 5.71 | 1 |
| 9 | 0.81 | 0.88 | 8.64 | 1 |
| 10 | 0.76 | 0.69 | 9.21 | 1 |
| 11 | 0.82 | 0.75 | 8.54 | 1 |
| 12 | 0.69 | 0.80 | 15.94 | 0 |
命中率:q=11/12≈91.7%
满足验证平均值的最低要求 ( >90% )。只有第 12 点超出了公差 (10%)。
结论
命中率方法通过量化有多少值在可接受的偏差范围内,提供了一种简单且透明的方式来评估模拟结果的质量。它尤其适用于风模拟或空气动力学研究中的压力和力系数验证。然而,选择适当的阈值和数据分段(例如按区域或主要流向分段)在有意义的评估中起着至关重要的作用。