模型稳定性测试

同一个 prompt 连续生成 5 次,量化多次输出的一致性,看模型在生产里稳不稳

过去靠人工
凭印象觉得「模型有时答得不一样」,说不清到底多稳
现在用 AI
自动连跑 5 次 + 计算一致性分 + 长度方差,给可量化结论
价值提升
稳定性可测可对比
多次采样一致性·固定 temperature 并行连调 5 次,后端用 bigram 相似度与长度方差量化稳定性

输入要反复测试的 prompt