====== Open WebUI ======

Open WebUI es una interfaz web de código abierto diseñada para interactuar con modelos de lenguaje grandes ([[..:inteligencia_artificial:llm|LLMs]]). 

Open WebUI es como un "ChatGPT autoalojado" que puedes conectar a distintos modelos de lenguaje, ya sean locales o en la nube.

  * [[https://openwebui.com/|Sitio web]]
  * [[https://docs.openwebui.com/|Documentación]]

===== Integración de Ollama =====

[[ollama|Ollama]] debe estar funcionando y escuchando en el puerto 11434 a todas las interfaces de la red. Si no es así, y usamos SystemD tenemos que editar el servicio:

<code>
sudo systemctl edit ollama
</code>

Y añadimos:

<code>
[Service]
Environment="OLLAMA_HOST=0.0.0.0:11434"
</code>

Reiniciamos:

<code>
sudo systemctl daemon-reexec
sudo systemctl restart ollama
</code>

Verificamos:

<code>
ss -tulnp | grep 11434
</code>

Si aparece algo como:

<code>
0.0.0.0:11434
</code>

También sería válido:

<code>
*:11434
</code>

Significa que Ollama ya está escuchando en todas las interfaces.

Ejecutaremos Open WebUI como contenedor Docker:

<code yaml>
services:
  app:
    image: ghcr.io/open-webui/open-webui
    ports:
      - 3000:8080
    environment:
      - OLLAMA_BASE_URL=http://172.17.0.1:11434
      - WEBUI_AUTH=False
</code>

En el ejemplo anterior, ''172.17.0.1'' es la IP de del host. Podemos averiguar la nuestra con:

<code>
ip addr show docker0
</code>

Prueba de conexión con Ollama:

<code>
docker run --rm curlimages/curl curl http://172.17.0.1:11434
</code>

Si se establece la conexión, veremos el mensaje:

<code>
Ollama is running
</code>

===== Pruebas con modelos LLM =====

Para pruebas no se necesitan modelos grandes. Prioriza:

  * Rapidez
  * Bajo consumo

Los modelos de 3B–7B parámetros son ideales para esto.

Por ejemplo, el modelo ''llama3.2'' o ''mistral:7b'' si tenemos más de 8 GB de RAM.