Proxmox/Ollama : llm_benchmark
J’ai trouvé un outil de test de llm : llm_benchmark ( installation via pip ) https://pypi.org/project/llm-benchmark/ https://github.com/aidatatools/ollama-benchmark https://llm.aidatatools.com/ Je suis en dernière position : https://llm.aidatatools.com/results-linux.php , avec « llama3.1:8b »: « 1.12 ». llm_benchmark run -------Linux---------- {'id': '0', 'name': 'Quadro 4000', 'driver': '390.157', 'gpu_memory_total': … Continuer la lecture →
fr-FR