Open WebUI

Open WebUI es una interfaz web de código abierto diseñada para interactuar con modelos de lenguaje grandes (LLMs).

Open WebUI es como un “ChatGPT autoalojado” que puedes conectar a distintos modelos de lenguaje, ya sean locales o en la nube.

• Sitio web
• Documentación

Ollama debe estar funcionando y escuchando en el puerto 11434 a todas las interfaces de la red. Si no es así, y usamos SystemD tenemos que editar el servicio:

sudo systemctl edit ollama

Y añadimos:

[Service]
Environment="OLLAMA_HOST=0.0.0.0:11434"

Reiniciamos:

sudo systemctl daemon-reexec
sudo systemctl restart ollama

Verificamos:

ss -tulnp | grep 11434

Si aparece algo como:

0.0.0.0:11434

También sería válido:

*:11434

Significa que Ollama ya está escuchando en todas las interfaces.

Ejecutaremos Open WebUI como contenedor Docker:

services:
  app:
    image: ghcr.io/open-webui/open-webui
    ports:
      - 3000:8080
    environment:
      - OLLAMA_BASE_URL=http://172.17.0.1:11434
      - WEBUI_AUTH=False

En el ejemplo anterior, 172.17.0.1 es la IP de del host. Podemos averiguar la nuestra con:

ip addr show docker0

Prueba de conexión con Ollama:

docker run --rm curlimages/curl curl http://172.17.0.1:11434

Si se establece la conexión, veremos el mensaje:

Ollama is running

Para pruebas no se necesitan modelos grandes. Prioriza:

• Rapidez
• Bajo consumo

Los modelos de 3B–7B parámetros son ideales para esto.

Por ejemplo, el modelo llama3.2 o mistral:7b si tenemos más de 8 GB de RAM.