Herramientas de usuario

Herramientas del sitio


informatica:software:ollama

Diferencias

Muestra las diferencias entre dos versiones de la página.

Enlace a la vista de comparación

Próxima revisión
Revisión previa
informatica:software:ollama [2025/01/25 16:59] – creado tempwininformatica:software:ollama [2025/01/25 17:47] (actual) – [Docker] tempwin
Línea 1: Línea 1:
 ====== Ollama ====== ====== Ollama ======
  
 +Herramienta para ejecutar grandes modelos de lenguaje (LLM) directamente en tu ordenador, sin necesidad de depender de servicios en la nube. Esto significa que puedes tener tu propio asistente virtual o chatbot personal sin enviar tus datos a servidores externos.
  
 +  * [[https://ollama.com/|Sitio web]]
 +  * [[https://github.com/ollama/ollama|Repositorio de código]]
 +===== Docker =====
 +
 +<code yaml>
 +services:
 +  chatbot:
 +    image: ghcr.io/ivanfioravanti/chatbot-ollama:main
 +    ports:
 +      - 3000:3000
 +    environment:
 +      - DEFAULT_MODEL=llama2
 +      - OLLAMA_HOST=http://ollama:11434
 +  ollama:
 +    image: ollama/ollama
 +    volumes:
 +      - ./app:/root/.ollama
 +      - ./models:/ollama/models
 +    environment:
 +      - OLLAMA_MODELS=/ollama/models
 +    restart: unless-stopped
 +    ports:
 +      - 11434:11434
 +</code>
 +
 +Tras arrancar los contenedores, descargaremos un modelo para que luego lo use el chatbot, por ejemplo el ''llama2'':
 +
 +<code>
 +docker exec -it <CONTENEDOR> ollama pull llama2
 +</code>
 +
 +Ya podremos acceder a ''http://localhost:3000'' y comenzar a interactuar.
 +
 +<WRAP center round important 60%>
 +Hay que tener como mínimo 8 GB de RAM y es recomendable tener una tarjeta gráfica dedicada para acelerar el cómputo.
 +</WRAP>
 +
 +===== Uso =====
 +
 +==== Descargar modelos ====
 +
 +<code bash>
 +ollama pull <NOMBRE_DEL_MODELO>
 +</code>
 +
 +Podemos elegir cualquier de los de [[https://ollama.com/library|su biblioteca]].
 +
 +==== Ejecutar un modelo ====
 +
 +<code bash>
 +ollama run <NOMBRE_DEL_MODELO>
 +</code>
 +===== Recursos =====
 +
 +  * [[https://ollama.com/library|Biblioteca de modelos para Ollama]]
informatica/software/ollama.1737820744.txt.gz · Última modificación: por tempwin