CUDA 12 lässt sich nicht direkt auf den code-de VMs nicht ausrollen. Die verwendete vGPU version scheint ein wenig veraltet zu scheint.
So wies aussieht wird NVIDIA vGPU software 13 [1] verwendet, und damit Treiber R470. Damit scheint normalerweise höchstens CUDA 11.8 zu gehen [2]. Es gibt aber ein compat paket, das hier hilft [3] und CUDA 12.4 ermöglicht.

[1] https://docs.nvidia.com/grid/

[2] https://docs.nvidia.com/cuda/cuda-toolkit-release-notes/index.html

[3] https://docs.nvidia.com/deploy/cuda-compatibility/index.html

CUDA 12.4

Initales Update
sudo apt update
sudo apt dist-upgrade -y
sudo reboot

Standardumgebung installieren und Nvidia Repository einbinden
sudo apt install -y wget bash-completion vim build-essential
wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2204/x86_64/cuda-keyring_1.1-1_all.deb
sudo dpkg -i cuda-keyring_1.1-1_all.deb
sudo apt-get update

CUDA 12-4 installieren
sudo apt install -y cuda-compat-12-4
sudo apt install -y cuda-toolkit-12-4

anpassen der /etc/profile.d/10-cuda-path.sh zu:
export PATH="/usr/local/cuda-12.4/bin:${PATH}"
export LD_LIBRARY_PATH="/usr/local/cuda-12.4/compat${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}"

Danach neu einloggen.

Python und Pytorch (testen)

venv aufsetzen & aktivieren
sudo apt install python3-virtualenv
mkdir .venv
cd .venv
virtualenv -p python3 python3.10
cd ..
. ~/.venv/python3.10/bin/activate

Pytorch installieren
pip install torch torchvision torchaudio

create a torch_verify.py
import torch x = torch.rand(5, 3) print(x) cuda = torch.cuda.is_available() print(f"Cuda available {cuda}")
run it
python torch_verify.py

output sollte wie unefähr wie folgt aussehen:
$ python torch_verify.py tensor([[0.5736, 0.9418, 0.8097], [0.8897, 0.9225, 0.2764], [0.6467, 0.7392, 0.3167], [0.2598, 0.6710, 0.6799], [0.8194, 0.3430, 0.5313]]) Cuda available True