Progress Report 2018.04.15

这周我对配置性能bug进行调研，调研前，先思考了下面四个问题。我认为想要针对合法的配置相关的性能bug进行性能测试，必须要回答下面这4个问题：

1. 配置产生功能是软件的什么阶段？startup/running/shutdown
2. 什么workload及配置取值可以导致性能低下？所有的/特定的
3. 如果是特定的workload及配置取值，如何设计测试以暴露问题？大规模workload+配置值抽样?
   • to make test cases produce very different results
   • to make test cases as shorter as possible
4. (most challenge)如何判定是一个性能故障（test oracle）？对比的方法/预设thershold...

调查并搜索mysql配置相关的性能bug，通过理解对话、理解bug原因，目前筛选到了9个mysql的bug比较符合要求（配置性能相关、表达清晰、确实是一个bug并被采纳和解决了），我发现可能配置性能bug有很多并不太需要很奇怪的workload，这使得后期生成测试样例减轻了负担。此外，用户检测到性能问题基本是通过对比的方法，正如yuanding在她的一篇文章得出的结论一样。大多数的bug也是在运行阶段出现的，少量是在startup或者shutdown阶段。不过毕竟样本还很少，这些结论只是估计，还可能会变化。

results