Benchmarking de GPU avec Llama.cpp
Après avoir ajouté un GPU et paramétrer ma configuration, j’ai voulu benchmarker ma carte graphique. J’ai utilisé Llama.cpp et je l’ai compilé pour utiliser un GPU NVIDIA. Je récapitule ici les différentes étapes. Matériel utilisé OS: Ubuntu 24.04 LTS (Official page) GPU: NVIDIA RTX 3060 (affiliate link) CPU: AMD Ryzen 7 5700G (affiliate link) RAM: 52 GB Storage: Samsung SSD 990 EVO 1TB (affiliate link) Installer le NVIDIA CUDA Toolkit Pour compiler llama.cpp, on a besoin d’installer le NVIDIA CUDA Toolkit. Pas de difficulté particulière, il suffit de suivre la documentation (qui est très bien faite). ...