Portafolio Rafael M.Pérez | Sysadmin Junior

Instalación de IA Local con Ollama

Desafío:

Este ejercicio técnico aborda la necesidad de ejecutar modelos de lenguaje de forma local, sin depender de servicios en la nube ni requerir GPU. En entornos donde la privacidad, la autonomía y el bajo consumo de recursos son prioritarios, contar con una IA que funcione desde la terminal representa una solución eficiente y accesible. La instalación de Ollama en Linux permite preparar el entorno para ejecutar modelos como Mistral directamente desde la línea de comandos.

El objetivo principal es validar el funcionamiento del modelo Mistral en condiciones locales, comprobando su capacidad para generar documentación técnica automatizada. Esta implementación demuestra que es posible integrar inteligencia artificial en flujos de trabajo sin conexión, manteniendo el control total sobre los datos y el entorno operativo.

Tecnologías utilizadas:

• Linux (Ubuntu 24.04 LTS) Sistema operativo utilizado para ejecutar la IA local.
• Ollama Plataforma que permite la ejecución de modelos de lenguaje directamente desde la terminal.
• Mistral Modelo de lenguaje instalado localmente para generar documentación técnica automatizada.
• Bash Shell utilizada para instalar, configurar y ejecutar comandos relacionados con Ollama y Mistral.

Pasos realizados:

1. Instalación de curl:

   Se instaló la herramienta curl mediante el comando sudo apt install curl. Esta utilidad es necesaria para descargar el script oficial de instalación de Ollama desde su sitio web.

2. Instalación de Ollama:

   

   Se ejecutó el script de instalación de Ollama con el siguiente comando: curl -fsSL https://ollama.com/install.sh | sh. Este paso configura el entorno para ejecutar modelos de lenguaje localmente desde la terminal.

3. Descarga del modelo Mistral:

   Una vez instalado Ollama, se descargó el modelo Mistral utilizando el comando ollama pull mistral. Este modelo permite generar documentación técnica automatizada sin conexión a la nube.

4. Ejecución del modelo Mistral:

   

   Finalmente, se ejecutó el modelo con ollama run mistral, iniciando una sesión interactiva en la terminal para realizar pruebas de generación de contenido técnico.

5. Diseño de interfaz CLI interactiva:

   Se creó un script llamado asistente.sh que permite seleccionar entre tres funciones: generar informes de escaneo, documentar scripts defensivos y responder preguntas técnicas sobre configuración de firewall. El menú se implementó con fzf para facilitar la navegación desde terminal.

6. Integración con Ollama desde CLI:

   Cada opción del menú ejecuta una llamada al modelo Mistral mediante ollama run mistral, utilizando prompts personalizados que permiten generar contenido técnico útil y contextualizado. El sistema puede leer archivos locales, interpretar scripts y responder preguntas defensivas en tiempo real.

7. Validación funcional del asistente:

   Se realizaron pruebas con escaneos reales (Nikto, testssl.sh), scripts defensivos (geo-block.sh) y preguntas técnicas sobre iptables. El asistente respondió con contenido estructurado, útil y coherente, demostrando su utilidad como herramienta de documentación y apoyo técnico local.

Resultado y recomendaciones Finales:



La instalación de Ollama en Ubuntu 24.04 LTS, junto con la ejecución del modelo Mistral desde la terminal, demuestra que es posible integrar inteligencia artificial local sin necesidad de GPU ni conexión a la nube. Este enfoque garantiza privacidad, control total del entorno y eficiencia operativa en sistemas ligeros.

• Validación visual: Se realizaron pruebas fotográficas que documentan la interacción con el modelo Mistral, incluyendo prompts técnicos y respuestas generadas en tiempo real desde la terminal.
• Generación eficiente: El modelo respondió con contenido estructurado, útil y coherente en temas como bastionado de sistemas, documentación de APIs y respuesta a incidentes.

• Entorno autónomo: Todo el proceso se ejecutó sin conexión externa, lo que refuerza la viabilidad de soluciones IA locales en contextos donde la soberanía de datos es prioritaria.
• Aplicaciones futuras: Este entorno puede escalarse para generar documentación técnica automatizada, asistir en tareas de redacción especializada o integrarse en flujos de trabajo DevSecOps.

La combinación de Ollama y Mistral en un entorno Linux moderno representa una solución práctica y sostenible para profesionales que buscan incorporar inteligencia artificial sin depender de servicios externos. Las pruebas realizadas confirman que este enfoque es funcional, seguro y adaptable a múltiples escenarios técnicos.

📌Nota de privacidad y control: A diferencia de muchas soluciones de IA propietarias que operan en la nube y responden a intereses comerciales, el enfoque local con Ollama y Mistral garantiza un entorno controlado, privado y autónomo. Las IA no son inherentemente seguras; su seguridad depende de cómo y dónde se ejecutan. Por ello, es fundamental evaluar cada herramienta antes de compartir información sensible, especialmente cuando se trata de modelos gestionados por terceros.

Siguiente práctica técnica →