Evaluación comparativa de LLMs ejecutados en entorno local (ollama) para RAG académico: precisión, latencia y tasa de generación

Comparative evaluation of LLMs run in a local environment (Ollama) for academic RAG: accuracy, latency, and generation rate

Abstract Authors Available Metrics References How to Cite

Abstract (es)

Este artículo compara el rendimiento de varios modelos de lenguaje ejecutados localmente con Ollama, dentro de un sistema RAG para asistencia académica. Se evaluaron seis modelos abiertos entre ellos LLaMA, Qwen y un modelo propio DeepSeek-R1 en tareas que iban desde responder preguntas y resolver cálculos, hasta interpretar código y generar texto académico, las métricas clave fueron precisión, latencia (tiempo al primer token) y velocidad de generación. Los hallazgos muestran un juego de equilibrios: los modelos pequeños responden más rápido, pero se equivocan más; los grandes aciertan más, aunque tardan. Qwen destacó con 87.5% de aciertos, sobre todo en consultas de conocimiento, mientras que DeepSeek-R1:8B logró un balance interesante entre rapidez y razonamiento. En conjunto, la investigación demuestra que combinar modelos locales, asignando cada uno a la etapa en la que brilla, puede ofrecer asistentes académicos eficientes, independientes de la nube y accesibles para más personas.

Abstract (en)

This article compares the performance of several language models run locally with Ollama, within a RAG system for academic assistance. Six open models were evaluated, including Ollama, Qwen, and a proprietary DeepSeek-R1 model, on tasks ranging from answering questions and solving calculations to interpreting code and generating academic text. Key metrics were accuracy, latency (time to first token), and generation speed. The findings show a trade-off: smaller models respond faster but make more mistakes; larger ones are more accurate, although they take longer. Qwen excelled with 87.5% accuracy, especially on knowledge queries, while DeepSeek-R1:8B achieved an interesting balance between speed and reasoning. Overall, the research demonstrates that combining local models, assigning each one to the stage at which it excels, can deliver efficient, cloud-independent, and accessible academic assistants.

Abstract (pt)

Este artigo compara o desempenho de diversos modelos de linguagem executados localmente com o LLaMA em um sistema RAG para suporte acadêmico. Seis modelos de código aberto foram avaliados, incluindo LLaMA, Qwen e um modelo proprietário, DeepSeek-R1, em tarefas que variam desde responder perguntas e resolver cálculos até interpretar código e gerar texto acadêmico. As principais métricas incluíram precisão, latência (tempo até o primeiro token) e velocidade de geração. Os resultados revelam uma relação de compromisso: modelos menores respondem mais rápido, mas cometem mais erros; modelos maiores são mais precisos, mas levam mais tempo. O Qwen se destacou com uma taxa de precisão de 87,5%, particularmente em consultas de conhecimento, enquanto o DeepSeek-R1:8B alcançou um equilíbrio interessante entre velocidade e raciocínio. No geral, a pesquisa demonstra que a combinação de modelos locais, atribuindo cada um à etapa em que se destaca, pode fornecer assistentes acadêmicos eficientes e independentes da nuvem, acessíveis a um público mais amplo.