Herramienta para ejecutar grandes modelos de lenguaje (LLM) directamente en tu ordenador, sin necesidad de depender de servicios en la nube. Esto significa que puedes tener tu propio asistente virtual o chatbot personal sin enviar tus datos a servidores externos.

• Sitio web
• Repositorio de código

La diferencia más importante es esta:

• ChatGPT / Gemini → IA en la nube
• Ollama → IA en tu propio ordenador

Ventajas de Ollama:

• Privacidad total (datos no salen de tu máquina)
• Gratis (una vez tienes el hardware)
• Personalizable (puedes cambiar modelos fácilmente)

Desventajas:

• Puede ser más lento
• Necesitas buen hardware (RAM, GPU)
• Más técnico

services:
  chatbot:
    image: ghcr.io/ivanfioravanti/chatbot-ollama:main
    ports:
      - 3000:3000
    environment:
      - DEFAULT_MODEL=llama2
      - OLLAMA_HOST=http://ollama:11434
  ollama:
    image: ollama/ollama
    volumes:
      - ./app:/root/.ollama
      - ./models:/ollama/models
    environment:
      - OLLAMA_MODELS=/ollama/models
    restart: unless-stopped
    ports:
      - 11434:11434

Tras arrancar los contenedores, descargaremos un modelo para que luego lo use el chatbot, por ejemplo el llama2:

docker exec -it <CONTENEDOR> ollama pull llama2

Ya podremos acceder a http://localhost:3000 y comenzar a interactuar.

ollama pull <NOMBRE_DEL_MODELO>

Podemos elegir cualquier de los de su biblioteca.

ollama run <NOMBRE_DEL_MODELO>

ollama list

Open WebUI

• Biblioteca de modelos para Ollama