diff --git a/Dockerfile.rocm.ubi b/Dockerfile.rocm.ubi
index df82995323266..bbc70c0462790 100644
--- a/Dockerfile.rocm.ubi
+++ b/Dockerfile.rocm.ubi
@@ -1,5 +1,5 @@
 ## Global Args ##################################################################
-ARG BASE_UBI_IMAGE_TAG=9.4
+ARG BASE_UBI_IMAGE_TAG=9.5
 ARG PYTHON_VERSION=3.12
 # Default ROCm ARCHes to build vLLM for.
 ARG PYTORCH_ROCM_ARCH="gfx908;gfx90a;gfx942;gfx1100"
diff --git a/Dockerfile.ubi b/Dockerfile.ubi
index d1a29ac7ed61c..26d15c0b55346 100644
--- a/Dockerfile.ubi
+++ b/Dockerfile.ubi
@@ -1,5 +1,5 @@
 ## Global Args #################################################################
-ARG BASE_UBI_IMAGE_TAG=9.4
+ARG BASE_UBI_IMAGE_TAG=9.5
 ARG PYTHON_VERSION=3.12
 
 ARG TORCH_CUDA_ARCH_LIST="7.0 7.5 8.0 8.6 8.9 9.0+PTX"