@simondeutschl Kommt etwas auf das system drauf an. Ich habe Ollama mit open web ui letztens auf meinem Laptop ausprobiert und das ging bei 8-12b Modellen mit der rtx 3080 recht fix mit ganz brauchbaren Ergebnissen. Aber ich glaube auch, dass die ganzen Modelle die man frei verwenden kann nicht so richtig FLOSS sind, da man die Trainingsdaten nicht einsehen kann. Ich glaube am transparentesten und offensten ist da Mistral, bin da aber auch nicht so tief drin.