Progress Report 2018.05.20

1.log补全实验

实验软件：squid，结果

2.配置性能测试工作

1. mysql测了两个配置的性能，一个带bug，一个不带bug。两个曲面没有特别大的差异，正常的类似于公式z=x+y确定的平面, bug的类似于公式z=x+5+0.1y所确定的平面。光从‘性能曲面’上来看，1）没有异常点，2）正常配置测出来的曲面不一定很像，而且带bug配置测出来的曲面也不一定就和正常的差很多。因此，我认为不能仅用数学的方法进行类似于拟合的操作，而应该提取带有bug的配置测出来的曲面具有什么样的特征，而不能仅用‘像’定义。比如一个bug特征就可以是“当0工作负载下，性能随着配置增大变差”。
2. 我认为不能只测一个版本，要动态看不同版本。对于数值类型的配置只测一个版本可能还可以，因为多数无bug的数值型的配置的性能曲面和带bug的应该能找到特征加以区分。但是对于枚举、布尔类型，每个配置项的性能曲面可能会很特殊，比如use_feature1=true时，运行时间为10s，为false时运行15s，这个是无bug的。但是对于use_feature2，在两个取值下得到同样的性能，但是就是有bug的。这就使得在一个固定版本中，难以总结出有bug的布尔、枚举配置的性能曲面的特征。
3. 负载连续调整问题。也就是如何定义负载增大这个过程。如果负载有多个参数都可以调大，那么就会带来需要测试很多次，才能拟合出一个曲面。所以要把测试的软件锁定在输入维度不多的一类软件，比如数据库软件。