Ejecuta Modelos de Lenguaje (LLM) en Raspberry Pi: Guía Completa

¿Qué es lo que haremos?

Ollama es una herramienta de código abierto diseñada para ejecutar modelos de lenguaje grandes (LLM) en tu propia Raspberry Pi, en lugar de hacerlo a través de internet.

Siguiendo estos pasos, transformarás tu Raspberry Pi en un potente asistente de IA utilizando Ollama. Instalarás Ollama junto con su interfaz WebUI, descargarás un modelo de IA adecuado e interactuarás con él para realizar diversas tareas, como responder preguntas, ayudarte a escribir una historia o brindar soporte.

Esta configuración te permitirá explorar y utilizar capacidades avanzadas de IA generativa directamente desde tu Raspberry Pi.

Necesitarás:

• Una Raspberry Pi 4 o 5 con una tarjeta micro SD de al menos 32 GB de almacenamiento.

• Una conexión a internet para la Raspberry Pi.

Instalando Ollama en tu Raspberry

Abre una ventana de terminal en tu Raspberry Pi

Para comenzar, necesitas acceder a la terminal. Puedes hacerlo haciendo clic en el icono de la terminal o presionando Ctrl + Alt + T.

Instala Ollama

Utiliza el siguiente script de shell para instalar Ollama y la interfaz WebUI:

curl -fsSL https://ollama.com/install.sh | sh

Este proceso de instalación puede tardar un poco. Sabrás que ha finalizado cuando vuelva a aparecer la línea de comandos (el prompt) en la terminal.

Descarga (Pull) y ejecuta un modelo en tu Ollama

En términos sencillos, “hacer pull a un modelo” significa descargar un modelo de IA específico que Ollama utilizará para realizar tareas.

Hay varios modelos disponibles en ollama.com/library. Te recomendamos comenzar con gemma:2b, phi o tinyllama. Ten cuidado con los modelos de más de 5.000 millones de parámetros, ya que podrían ser demasiado exigentes para una Raspberry Pi estándar.

Ejecuta el siguiente comando, reemplazando [model name here] por el nombre del modelo que quieras utilizar:

ollama run [nombre del modelo]

Verás cómo se llenan algunas barras de progreso y, a continuación, se te pedirá que introduzcas una instrucción (prompt) para el modelo.

Interactúa con el modelo haciéndole preguntas, pidiéndole que escriba un poema o una historia, o utilizándolo como ayuda para estudiar:

>>> escribe un poema corto y gracioso sobre skibidi

Oh Skibidi, eres un espectáculo digno de ver, Una vela hecha de nubes, tan ligera y audaz. 
Tu risa resuena en el aire, Mientras bailas por la feria estrellada. 
Con una sonrisa tan amplia, llenas el cielo, Un brillo que hace suspirar a todos.
Skibidi, una alegría que no podemos negar, Un skibidi, un suspiro juguetón.

Presiona Ctrl + D para salir del proceso de interacción con el LLM cuando hayas terminado.

Uso de la WebUI

La WebUI funciona como cualquier otra interfaz de chatbot. Puedes escribir tus instrucciones (prompts) y ver las respuestas generadas por el modelo.

Instala Docker y la WebUI

Instala Docker introduciendo el siguiente comando en la terminal:

sudo apt install docker.io

Espera a que Docker se instale. Sabrás que la instalación ha finalizado cuando vuelva a aparecer la línea de comandos (el prompt).

Instala la WebUI copiando y pegando el siguiente comando en la terminal:

sudo docker run -d -p 3000:8080 -v ollama:/root/.ollama -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:ollama

Espera a que se instale la WebUI. Al igual que antes, sabrás que ha terminado cuando vuelva a aparecer la línea de comandos.

Accede a la interfaz WebUI yendo a http://localhost:3000/ en tu navegador web.