-
Notifications
You must be signed in to change notification settings - Fork 302
havenask性能
xuxijie edited this page Apr 3, 2023
·
2 revisions
| 小数据场景 | 大数据场景 | |
|---|---|---|
| 测试场景 | 数据集：公开数据集（esrally官方测试集） 文档数：57万（22G） | 数据集：商品订单数据集 文档数：1亿（395G） |
| 测试方式 | 9万query且无重复词 | 26万query无重复词 |
| 测试环境 | OpenSearch召回引擎版16核64G机器 | OpenSearch召回引擎版16核64G机器 |
| 耗时 | 90 Percentile: 7.33ms 99 Percentile: 32.72ms avg 4.51ms |
90 Percentile: 3.73ms 99 Percentile: 11.71ms avg 3.07ms |
| QPS | 6490 | 8680 |
| 索引存储 | 16G | 96G |
| 索引压缩率 | 72.7% | 24.3% |
| CPU负载 | 75% | 78% |
| 内存占用 | 13.4G | 22G |
| 数据场景 | 小数据 | 中数据 | 大数据 |
|---|---|---|---|
| 数据情况 | sift公开数据集100万数据128维 | deep公开数据集1000万数据96维 | 阿里巴巴内部数据集1亿数据384维 |
| 测试机器规格 | 16 VCPU, 64 GiB 本地盘存储：1788 GiB ecs.i2gne.4xlarge |
16 VCPU, 64 GiB 本地盘存储：1788 GiB ecs.i2gne.4xlarge |
64 vCPU, 512 GiB 本地盘存储： 3576 GiB ecs.i4r.16xlarge |
| 原始数据大小 | 501MB | 3.6GB | 288GB |
| 向量算法 | Qc（int8量化） | HNSW | Qc（int8量化） |
| 索引构建时间 | 14s | 53s | 20.6min |
| CPU负载情况 | 低负载 | 高负载 | 低负载 |
| CPU占用率（％） | 6.3 | 81.9 | 6.4 |
| 内存占用（GB） | 0.647 | 0.647 | 1.08 |
| QPS | 460.37 | 5013.07 | 383.62 |
| 耗时（ms） | 2.17 | 9.61 | 2.6 |
| 召回率（％） | Top 1:99 Top 10:97.1 Top 50:95.82 Top 100:94.94 |
Top 1:100 Top 10:98.8 Top 50:99.1 Top 100:97.9 |
Top 1:100 Top 10:98.09 Top 50:96.99 Top 100:96.86 |