From 5292e461eb58b177ba0d2fd2675e1d0bb7ced710 Mon Sep 17 00:00:00 2001 From: yuqiw4 Date: Tue, 23 Jul 2024 23:18:09 +0000 Subject: [PATCH] Benchmarking results for @yuqiw4 --- README.md | 5 +- RESULTS.md | 5 +- configs.svg | 88 +- longitudinal.svg | 60 +- memory_configs.svg | 88 +- memory_long.svg | 90 +- .../README.md | 8 + ...thon-main-3.14.0a0-4606eff-vs-base-mem.svg | 3869 ++++++++++++++++ ...64-python-main-3.14.0a0-4606eff-vs-base.md | 131 + ...4-python-main-3.14.0a0-4606eff-vs-base.svg | 4032 +++++++++++++++++ .../README.md | 17 + 11 files changed, 8226 insertions(+), 167 deletions(-) create mode 100644 results/bm-20240723-3.14.0a0-4606eff-NOGIL/bm-20240723-linux-x86_64-python-main-3.14.0a0-4606eff-vs-base-mem.svg create mode 100644 results/bm-20240723-3.14.0a0-4606eff-NOGIL/bm-20240723-linux-x86_64-python-main-3.14.0a0-4606eff-vs-base.md create mode 100644 results/bm-20240723-3.14.0a0-4606eff-NOGIL/bm-20240723-linux-x86_64-python-main-3.14.0a0-4606eff-vs-base.svg create mode 100644 results/bm-20240723-3.14.0a0-a15fede-NOGIL/README.md diff --git a/README.md b/README.md index 2e080ad6..3b70f908 100644 --- a/README.md +++ b/README.md @@ -10,9 +10,10 @@ Here are some recent and important revisions. 👉 [Complete list of results](RE ## linux x86_64 (linux) | date | fork/ref | hash/flags | vs. 3.11.0: | vs. base: | | --- | --- | --- | ---: | ---: | -| [2024-07-23](results/bm-20240723-3.14.0a0-4606eff-NOGIL) | python/main | 4606eff (NOGIL) | | | -| [2024-07-23](results/bm-20240723-3.14.0a0-a9bb3c7-NOGIL) | python/main | a9bb3c7 (NOGIL) | | 1.02x ↑
[📄](results/bm-20240723-3.14.0a0-a9bb3c7-NOGIL/bm-20240723-linux-x86_64-python-main-3.14.0a0-a9bb3c7-vs-base.md)[📈](results/bm-20240723-3.14.0a0-a9bb3c7-NOGIL/bm-20240723-linux-x86_64-python-main-3.14.0a0-a9bb3c7-vs-base.svg)[🧠](results/bm-20240723-3.14.0a0-a9bb3c7-NOGIL/bm-20240723-linux-x86_64-python-main-3.14.0a0-a9bb3c7-vs-base-mem.svg) | +| [2024-07-23](results/bm-20240723-3.14.0a0-4606eff-NOGIL) | python/main | 4606eff (NOGIL) | | 1.01x ↑
[📄](results/bm-20240723-3.14.0a0-4606eff-NOGIL/bm-20240723-linux-x86_64-python-main-3.14.0a0-4606eff-vs-base.md)[📈](results/bm-20240723-3.14.0a0-4606eff-NOGIL/bm-20240723-linux-x86_64-python-main-3.14.0a0-4606eff-vs-base.svg)[🧠](results/bm-20240723-3.14.0a0-4606eff-NOGIL/bm-20240723-linux-x86_64-python-main-3.14.0a0-4606eff-vs-base-mem.svg) | +| [2024-07-23](results/bm-20240723-3.14.0a0-a15fede-NOGIL) | python/a15feded71dd47202db1 | a15fede (NOGIL) | | | | [2024-07-23](results/bm-20240723-3.14.0a0-a9bb3c7) | python/main | a9bb3c7 | | | +| [2024-07-23](results/bm-20240723-3.14.0a0-a9bb3c7-NOGIL) | python/main | a9bb3c7 (NOGIL) | | 1.02x ↑
[📄](results/bm-20240723-3.14.0a0-a9bb3c7-NOGIL/bm-20240723-linux-x86_64-python-main-3.14.0a0-a9bb3c7-vs-base.md)[📈](results/bm-20240723-3.14.0a0-a9bb3c7-NOGIL/bm-20240723-linux-x86_64-python-main-3.14.0a0-a9bb3c7-vs-base.svg)[🧠](results/bm-20240723-3.14.0a0-a9bb3c7-NOGIL/bm-20240723-linux-x86_64-python-main-3.14.0a0-a9bb3c7-vs-base-mem.svg) | | [2024-07-22](results/bm-20240722-3.14.0a0-2762c6c-NOGIL) | python/2762c6cc5e4c1c0d6305 | 2762c6c (NOGIL) | | | diff --git a/RESULTS.md b/RESULTS.md index c9f102e9..c4b638a7 100644 --- a/RESULTS.md +++ b/RESULTS.md @@ -4,9 +4,10 @@ ## linux x86_64 (linux) | date | fork/ref | hash/flags | vs. 3.11.0: | vs. base: | | --- | --- | --- | ---: | ---: | -| [2024-07-23](results/bm-20240723-3.14.0a0-4606eff-NOGIL) | python/main | 4606eff (NOGIL) | | | -| [2024-07-23](results/bm-20240723-3.14.0a0-a9bb3c7-NOGIL) | python/main | a9bb3c7 (NOGIL) | | 1.02x ↑
[📄](results/bm-20240723-3.14.0a0-a9bb3c7-NOGIL/bm-20240723-linux-x86_64-python-main-3.14.0a0-a9bb3c7-vs-base.md)[📈](results/bm-20240723-3.14.0a0-a9bb3c7-NOGIL/bm-20240723-linux-x86_64-python-main-3.14.0a0-a9bb3c7-vs-base.svg)[🧠](results/bm-20240723-3.14.0a0-a9bb3c7-NOGIL/bm-20240723-linux-x86_64-python-main-3.14.0a0-a9bb3c7-vs-base-mem.svg) | +| [2024-07-23](results/bm-20240723-3.14.0a0-4606eff-NOGIL) | python/main | 4606eff (NOGIL) | | 1.01x ↑
[📄](results/bm-20240723-3.14.0a0-4606eff-NOGIL/bm-20240723-linux-x86_64-python-main-3.14.0a0-4606eff-vs-base.md)[📈](results/bm-20240723-3.14.0a0-4606eff-NOGIL/bm-20240723-linux-x86_64-python-main-3.14.0a0-4606eff-vs-base.svg)[🧠](results/bm-20240723-3.14.0a0-4606eff-NOGIL/bm-20240723-linux-x86_64-python-main-3.14.0a0-4606eff-vs-base-mem.svg) | +| [2024-07-23](results/bm-20240723-3.14.0a0-a15fede-NOGIL) | python/a15feded71dd47202db1 | a15fede (NOGIL) | | | | [2024-07-23](results/bm-20240723-3.14.0a0-a9bb3c7) | python/main | a9bb3c7 | | | +| [2024-07-23](results/bm-20240723-3.14.0a0-a9bb3c7-NOGIL) | python/main | a9bb3c7 (NOGIL) | | 1.02x ↑
[📄](results/bm-20240723-3.14.0a0-a9bb3c7-NOGIL/bm-20240723-linux-x86_64-python-main-3.14.0a0-a9bb3c7-vs-base.md)[📈](results/bm-20240723-3.14.0a0-a9bb3c7-NOGIL/bm-20240723-linux-x86_64-python-main-3.14.0a0-a9bb3c7-vs-base.svg)[🧠](results/bm-20240723-3.14.0a0-a9bb3c7-NOGIL/bm-20240723-linux-x86_64-python-main-3.14.0a0-a9bb3c7-vs-base-mem.svg) | | [2024-07-22](results/bm-20240722-3.14.0a0-2762c6c-NOGIL) | python/2762c6cc5e4c1c0d6305 | 2762c6c (NOGIL) | | | diff --git a/configs.svg b/configs.svg index a20ab6f0..1cf26ee1 100644 --- a/configs.svg +++ b/configs.svg @@ -8,9 +8,9 @@ - + - + @@ -29,7 +29,7 @@ - + @@ -45,7 +45,7 @@ - + @@ -61,7 +61,7 @@ - + @@ -77,7 +77,7 @@ - + @@ -90,7 +90,7 @@ - + @@ -103,7 +103,7 @@ - + @@ -119,7 +119,7 @@ - + @@ -135,7 +135,7 @@ - + @@ -149,9 +149,9 @@ - + - + @@ -165,7 +165,7 @@ - + @@ -178,7 +178,7 @@ - + @@ -188,7 +188,7 @@ - + @@ -198,7 +198,7 @@ - + @@ -208,7 +208,7 @@ - + @@ -221,7 +221,7 @@ - + @@ -231,7 +231,7 @@ - + @@ -241,7 +241,7 @@ - + @@ -381,7 +381,7 @@ - + @@ -389,7 +389,7 @@ - + @@ -397,7 +397,7 @@ - + @@ -405,7 +405,7 @@ - + @@ -413,7 +413,7 @@ - + @@ -421,7 +421,7 @@ - + @@ -429,7 +429,7 @@ - + @@ -439,7 +439,7 @@ - + @@ -449,7 +449,7 @@ - + @@ -459,7 +459,7 @@ - + @@ -469,7 +469,7 @@ - + @@ -479,7 +479,7 @@ - + @@ -566,7 +566,7 @@ - + @@ -574,7 +574,7 @@ - + @@ -582,7 +582,7 @@ - + @@ -590,7 +590,7 @@ - + @@ -598,7 +598,7 @@ - + @@ -606,7 +606,7 @@ - + @@ -614,7 +614,7 @@ - + @@ -624,7 +624,7 @@ - + @@ -634,7 +634,7 @@ - + @@ -644,7 +644,7 @@ - + @@ -654,7 +654,7 @@ - + @@ -664,7 +664,7 @@ - + diff --git a/longitudinal.svg b/longitudinal.svg index 2f1e5946..4580cf8e 100644 --- a/longitudinal.svg +++ b/longitudinal.svg @@ -225,7 +225,7 @@ - + @@ -233,7 +233,7 @@ - + @@ -241,7 +241,7 @@ - + @@ -249,7 +249,7 @@ - + @@ -257,7 +257,7 @@ - + @@ -265,7 +265,7 @@ - + @@ -273,7 +273,7 @@ - + @@ -283,7 +283,7 @@ - + @@ -293,7 +293,7 @@ - + @@ -303,7 +303,7 @@ - + @@ -313,7 +313,7 @@ - + @@ -323,7 +323,7 @@ - + @@ -337,7 +337,7 @@ - + @@ -350,7 +350,7 @@ - + @@ -559,7 +559,7 @@ - + @@ -567,7 +567,7 @@ - + @@ -575,7 +575,7 @@ - + @@ -583,7 +583,7 @@ - + @@ -591,7 +591,7 @@ - + @@ -599,7 +599,7 @@ - + @@ -607,7 +607,7 @@ - + @@ -617,7 +617,7 @@ - + @@ -627,7 +627,7 @@ - + @@ -637,7 +637,7 @@ - + @@ -647,7 +647,7 @@ - + @@ -657,7 +657,7 @@ - + @@ -671,7 +671,7 @@ - + @@ -684,7 +684,7 @@ - + @@ -799,13 +799,13 @@ - + - + diff --git a/memory_configs.svg b/memory_configs.svg index 7c701228..ba19bc94 100644 --- a/memory_configs.svg +++ b/memory_configs.svg @@ -8,9 +8,9 @@ - + - + @@ -29,7 +29,7 @@ - + @@ -45,7 +45,7 @@ - + @@ -61,7 +61,7 @@ - + @@ -77,7 +77,7 @@ - + @@ -90,7 +90,7 @@ - + @@ -103,7 +103,7 @@ - + @@ -119,7 +119,7 @@ - + @@ -135,7 +135,7 @@ - + @@ -149,9 +149,9 @@ - + - + @@ -165,7 +165,7 @@ - + @@ -175,7 +175,7 @@ - + @@ -185,7 +185,7 @@ - + @@ -195,7 +195,7 @@ - + @@ -205,7 +205,7 @@ - + @@ -215,7 +215,7 @@ - + @@ -225,7 +225,7 @@ - + @@ -235,7 +235,7 @@ - + @@ -370,7 +370,7 @@ - + @@ -378,7 +378,7 @@ - + @@ -386,7 +386,7 @@ - + @@ -397,7 +397,7 @@ - + @@ -405,7 +405,7 @@ - + @@ -413,7 +413,7 @@ - + @@ -421,7 +421,7 @@ - + @@ -431,7 +431,7 @@ - + @@ -441,7 +441,7 @@ - + @@ -451,7 +451,7 @@ - + @@ -461,7 +461,7 @@ - + @@ -471,7 +471,7 @@ - + @@ -554,7 +554,7 @@ - + @@ -562,7 +562,7 @@ - + @@ -570,7 +570,7 @@ - + @@ -578,7 +578,7 @@ - + @@ -586,7 +586,7 @@ - + @@ -594,7 +594,7 @@ - + @@ -602,7 +602,7 @@ - + @@ -612,7 +612,7 @@ - + @@ -622,7 +622,7 @@ - + @@ -632,7 +632,7 @@ - + @@ -642,7 +642,7 @@ - + @@ -652,7 +652,7 @@ - + diff --git a/memory_long.svg b/memory_long.svg index c88f28cc..39953235 100644 --- a/memory_long.svg +++ b/memory_long.svg @@ -6,7 +6,7 @@ - + @@ -21,7 +21,7 @@ - + @@ -32,7 +32,7 @@ - + @@ -43,7 +43,7 @@ - + @@ -54,7 +54,7 @@ - + @@ -65,7 +65,7 @@ - + @@ -76,7 +76,7 @@ - + @@ -92,7 +92,7 @@ - + @@ -102,7 +102,7 @@ - + @@ -112,7 +112,7 @@ - + @@ -122,7 +122,7 @@ - + @@ -132,7 +132,7 @@ - + @@ -146,7 +146,7 @@ - + @@ -164,7 +164,7 @@ - + @@ -382,7 +382,7 @@ - + @@ -390,7 +390,7 @@ - + @@ -398,7 +398,7 @@ - + @@ -406,7 +406,7 @@ - + @@ -414,7 +414,7 @@ - + @@ -422,7 +422,7 @@ - + @@ -430,7 +430,7 @@ - + @@ -440,7 +440,7 @@ - + @@ -450,7 +450,7 @@ - + @@ -460,7 +460,7 @@ - + @@ -470,7 +470,7 @@ - + @@ -480,7 +480,7 @@ - + @@ -494,7 +494,7 @@ - + @@ -505,7 +505,7 @@ - + @@ -545,7 +545,7 @@ - + @@ -553,7 +553,7 @@ - + @@ -561,7 +561,7 @@ - + @@ -569,7 +569,7 @@ - + @@ -577,7 +577,7 @@ - + @@ -585,7 +585,7 @@ - + @@ -593,7 +593,7 @@ - + @@ -603,7 +603,7 @@ - + @@ -613,7 +613,7 @@ - + @@ -623,7 +623,7 @@ - + @@ -633,7 +633,7 @@ - + @@ -643,7 +643,7 @@ - + @@ -657,7 +657,7 @@ - + @@ -668,7 +668,7 @@ - + @@ -776,16 +776,16 @@ - + - + - + diff --git a/results/bm-20240723-3.14.0a0-4606eff-NOGIL/README.md b/results/bm-20240723-3.14.0a0-4606eff-NOGIL/README.md index 0b75f1ca..4ea87716 100644 --- a/results/bm-20240723-3.14.0a0-4606eff-NOGIL/README.md +++ b/results/bm-20240723-3.14.0a0-4606eff-NOGIL/README.md @@ -15,3 +15,11 @@ - platform: Linux-5.15.0-1063-aws-x86_64-with-glibc2.31 - [raw results](bm-20240723-linux-x86_64-python-main-3.14.0a0-4606eff.json) +### vs. base + +- Geometric mean: 1.01x faster (HPT: reliability of 98.18%, 1.00x faster at 99th %ile) +- Memory usage: 1.00x +- [🧠memory plot](bm-20240723-linux-x86_64-python-main-3.14.0a0-4606eff-vs-base-mem.svg) +- [📄table](bm-20240723-linux-x86_64-python-main-3.14.0a0-4606eff-vs-base.md) +- [📈time plot](bm-20240723-linux-x86_64-python-main-3.14.0a0-4606eff-vs-base.svg) + diff --git a/results/bm-20240723-3.14.0a0-4606eff-NOGIL/bm-20240723-linux-x86_64-python-main-3.14.0a0-4606eff-vs-base-mem.svg b/results/bm-20240723-3.14.0a0-4606eff-NOGIL/bm-20240723-linux-x86_64-python-main-3.14.0a0-4606eff-vs-base-mem.svg new file mode 100644 index 00000000..c68da0d9 --- /dev/null +++ b/results/bm-20240723-3.14.0a0-4606eff-NOGIL/bm-20240723-linux-x86_64-python-main-3.14.0a0-4606eff-vs-base-mem.svg @@ -0,0 +1,3869 @@ + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + diff --git a/results/bm-20240723-3.14.0a0-4606eff-NOGIL/bm-20240723-linux-x86_64-python-main-3.14.0a0-4606eff-vs-base.md b/results/bm-20240723-3.14.0a0-4606eff-NOGIL/bm-20240723-linux-x86_64-python-main-3.14.0a0-4606eff-vs-base.md new file mode 100644 index 00000000..7b567d54 --- /dev/null +++ b/results/bm-20240723-3.14.0a0-4606eff-NOGIL/bm-20240723-linux-x86_64-python-main-3.14.0a0-4606eff-vs-base.md @@ -0,0 +1,131 @@ +# Results vs. base + +- fork: python +- ref: main +- machine: linux-x86_64 +- commit hash: 4606eff +- commit date: 2024-07-23 +- overall geometric mean: 1.01x faster +- HPT reliability: 98.18% +- HPT 99th percentile: 1.00x faster +- Memory change: 1.00x + +Benchmarks with tag 'apps': +=========================== + +| Benchmark | bm-20240723-linux-x86_64-python-a15feded71dd47202db1-3.14.0a0-a15fede | bm-20240723-linux-x86_64-python-main-3.14.0a0-4606eff | +|----------------|:---------------------------------------------------------------------:|:-----------------------------------------------------:| +| html5lib | 139 ms | 157 ms: 1.13x slower | +| tornado_http | 349 ms | 320 ms: 1.09x faster | +| Geometric mean | (ref) | 1.01x slower | + +Benchmark hidden because not significant (2): 2to3, docutils + +Benchmarks with tag 'asyncio': +============================== + +| Benchmark | bm-20240723-linux-x86_64-python-a15feded71dd47202db1-3.14.0a0-a15fede | bm-20240723-linux-x86_64-python-main-3.14.0a0-4606eff | +|----------------------------|:---------------------------------------------------------------------:|:-----------------------------------------------------:| +| async_tree_io | 1.30 sec | 1.22 sec: 1.06x faster | +| async_tree_cpu_io_mixed_tg | 817 ms | 859 ms: 1.05x slower | +| Geometric mean | (ref) | 1.00x slower | + +Benchmark hidden because not significant (6): async_tree_memoization_tg, async_tree_cpu_io_mixed, async_tree_io_tg, async_tree_none, async_tree_none_tg, async_tree_memoization + +Benchmarks with tag 'math': +=========================== + +Benchmark hidden because not significant (3): nbody, float, pidigits + +Benchmarks with tag 'regex': +============================ + +| Benchmark | bm-20240723-linux-x86_64-python-a15feded71dd47202db1-3.14.0a0-a15fede | bm-20240723-linux-x86_64-python-main-3.14.0a0-4606eff | +|----------------|:---------------------------------------------------------------------:|:-----------------------------------------------------:| +| regex_v8 | 36.3 ms | 33.7 ms: 1.08x faster | +| regex_effbot | 4.57 ms | 4.80 ms: 1.05x slower | +| Geometric mean | (ref) | 1.00x faster | + +Benchmark hidden because not significant (2): regex_compile, regex_dna + +Benchmarks with tag 'serialize': +================================ + +| Benchmark | bm-20240723-linux-x86_64-python-a15feded71dd47202db1-3.14.0a0-a15fede | bm-20240723-linux-x86_64-python-main-3.14.0a0-4606eff | +|----------------------|:---------------------------------------------------------------------:|:-----------------------------------------------------:| +| unpickle_list | 8.14 us | 7.21 us: 1.13x faster | +| unpickle_pure_python | 609 us | 540 us: 1.13x faster | +| xml_etree_parse | 231 ms | 213 ms: 1.08x faster | +| pickle_pure_python | 805 us | 760 us: 1.06x faster | +| unpickle | 22.3 us | 21.2 us: 1.05x faster | +| tomli_loads | 4.22 sec | 4.14 sec: 1.02x faster | +| json_loads | 42.7 us | 45.2 us: 1.06x slower | +| Geometric mean | (ref) | 1.03x faster | + +Benchmark hidden because not significant (7): xml_etree_iterparse, xml_etree_generate, xml_etree_process, pickle, json_dumps, pickle_dict, pickle_list + +Benchmarks with tag 'startup': +============================== + +Benchmark hidden because not significant (2): python_startup, python_startup_no_site + +Benchmarks with tag 'template': +=============================== + +| Benchmark | bm-20240723-linux-x86_64-python-a15feded71dd47202db1-3.14.0a0-a15fede | bm-20240723-linux-x86_64-python-main-3.14.0a0-4606eff | +|-----------------|:---------------------------------------------------------------------:|:-----------------------------------------------------:| +| mako | 30.4 ms | 31.9 ms: 1.05x slower | +| django_template | 80.4 ms | 84.5 ms: 1.05x slower | +| genshi_xml | 116 ms | 122 ms: 1.05x slower | +| Geometric mean | (ref) | 1.04x slower | + +Benchmark hidden because not significant (1): genshi_text + +All benchmarks: +=============== + +| Benchmark | bm-20240723-linux-x86_64-python-a15feded71dd47202db1-3.14.0a0-a15fede | bm-20240723-linux-x86_64-python-main-3.14.0a0-4606eff | +|----------------------------|:---------------------------------------------------------------------:|:-----------------------------------------------------:| +| unpickle_list | 8.14 us | 7.21 us: 1.13x faster | +| unpickle_pure_python | 609 us | 540 us: 1.13x faster | +| tornado_http | 349 ms | 320 ms: 1.09x faster | +| xml_etree_parse | 231 ms | 213 ms: 1.08x faster | +| regex_v8 | 36.3 ms | 33.7 ms: 1.08x faster | +| sqlglot_transpile | 4.92 ms | 4.58 ms: 1.07x faster | +| pathlib | 34.8 ms | 32.6 ms: 1.07x faster | +| create_gc_cycles | 1.94 ms | 1.82 ms: 1.06x faster | +| async_tree_io | 1.30 sec | 1.22 sec: 1.06x faster | +| scimark_lu | 332 ms | 314 ms: 1.06x faster | +| pickle_pure_python | 805 us | 760 us: 1.06x faster | +| generators | 58.0 ms | 54.9 ms: 1.06x faster | +| unpickle | 22.3 us | 21.2 us: 1.05x faster | +| pycparser | 2.28 sec | 2.16 sec: 1.05x faster | +| scimark_monte_carlo | 171 ms | 163 ms: 1.05x faster | +| deepcopy_memo | 72.8 us | 69.7 us: 1.05x faster | +| logging_format | 17.3 us | 16.6 us: 1.04x faster | +| fannkuch | 808 ms | 783 ms: 1.03x faster | +| asyncio_tcp_ssl | 3.36 sec | 3.27 sec: 1.03x faster | +| bpe_tokeniser | 10.3 sec | 10.1 sec: 1.02x faster | +| tomli_loads | 4.22 sec | 4.14 sec: 1.02x faster | +| mako | 30.4 ms | 31.9 ms: 1.05x slower | +| django_template | 80.4 ms | 84.5 ms: 1.05x slower | +| regex_effbot | 4.57 ms | 4.80 ms: 1.05x slower | +| async_tree_cpu_io_mixed_tg | 817 ms | 859 ms: 1.05x slower | +| genshi_xml | 116 ms | 122 ms: 1.05x slower | +| coroutines | 43.2 ms | 45.6 ms: 1.06x slower | +| json_loads | 42.7 us | 45.2 us: 1.06x slower | +| json | 7.98 ms | 8.61 ms: 1.08x slower | +| html5lib | 139 ms | 157 ms: 1.13x slower | +| Geometric mean | (ref) | 1.01x faster | + +Benchmark hidden because not significant (67): dulwich_log, unpack_sequence, pylint, nqueens, gc_traversal, sqlglot_normalize, xml_etree_iterparse, xml_etree_generate, richards, sqlglot_optimize, sqlite_synth, deepcopy_reduce, async_tree_memoization_tg, scimark_fft, go, richards_super, xml_etree_process, comprehensions, scimark_sparse_mat_mult, deltablue, logging_silent, deepcopy, async_generators, nbody, pickle, pprint_pformat, bench_mp_pool, float, mdp, python_startup, json_dumps, asyncio_websockets, docutils, sympy_sum, scimark_sor, logging_simple, regex_compile, async_tree_cpu_io_mixed, chaos, bench_thread_pool, pidigits, async_tree_io_tg, pyflate, pprint_safe_repr, spectral_norm, raytrace, thrift, typing_runtime_protocols, sqlglot_parse, asyncio_tcp, async_tree_none, pickle_dict, telco, meteor_contest, coverage, sympy_expand, genshi_text, python_startup_no_site, sympy_integrate, async_tree_none_tg, async_tree_memoization, crypto_pyaes, 2to3, regex_dna, pickle_list, sympy_str, hexiom + +# HPT report + +- Reliability score: 98.18% likely to be faster +- 90% likely to have a speedup of 1.00x +- 95% likely to have a speedup of 1.00x +- 99% likely to have a speedup of 1.00x + +# Memory +- memory change: 1.00x \ No newline at end of file diff --git a/results/bm-20240723-3.14.0a0-4606eff-NOGIL/bm-20240723-linux-x86_64-python-main-3.14.0a0-4606eff-vs-base.svg b/results/bm-20240723-3.14.0a0-4606eff-NOGIL/bm-20240723-linux-x86_64-python-main-3.14.0a0-4606eff-vs-base.svg new file mode 100644 index 00000000..c34efda6 --- /dev/null +++ b/results/bm-20240723-3.14.0a0-4606eff-NOGIL/bm-20240723-linux-x86_64-python-main-3.14.0a0-4606eff-vs-base.svg @@ -0,0 +1,4032 @@ + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + diff --git a/results/bm-20240723-3.14.0a0-a15fede-NOGIL/README.md b/results/bm-20240723-3.14.0a0-a15fede-NOGIL/README.md new file mode 100644 index 00000000..4f898e31 --- /dev/null +++ b/results/bm-20240723-3.14.0a0-a15fede-NOGIL/README.md @@ -0,0 +1,17 @@ +# Results + +- fork: python +- version: 3.14.0a0 +- config: NOGIL +- commit hash: [a15fede](https://github.com/python/cpython/commit/a15fede) +- commit date: 2024-07-23T17:06:03+00:00 +- commit merge base: [e6b25e9a09dbe09839b36f97b9174a30b1db2dbf](https://github.com/python/cpython/commit/e6b25e9a09dbe09839b36f97b9174a30b1db2dbf) +- ref: a15feded71dd47202db1 + +## linux x86_64 (linux) + +- [GitHub Action run](https://github.com/facebookexperimental/free-threading-benchmarking/actions/runs/10064564259) +- cpu model: Intel(R) Xeon(R) Platinum 8259CL CPU @ 2.50GHz +- platform: Linux-5.15.0-1063-aws-x86_64-with-glibc2.31 +- [raw results](bm-20240723-linux-x86_64-python-a15feded71dd47202db1-3.14.0a0-a15fede.json) +