¿Modelo local o en la nube para IA?

22 Tem 06:42

Yo empecé usando IA en la nube sin pensarlo mucho, como casi todo el mundo en mis primeros proyectos de desarrollo. Era práctico: solo abría una terminal, pedía el código necesario y listo. Pero hace unos meses tuve que trabajar en un hackathon donde la conexión a internet era intermitente y, de repente, el modelo local se volvió imprescindible. Busqué alternativas como LM Studio o Ollama y probé un modelo pequeño pero eficiente para generar y autocompletar código en Python. Para mi sorpresa, la respuesta era lo suficientemente buena para prototipar y hasta para depurar, aunque a veces tenía que ajustar mis consultas por su tamaño reducido. Desde entonces lo uso a diario en el portátil, especialmente cuando viajo. Sí, a veces echo en falta la potencia de los modelos grandes como GPT-4 para explicaciones complejas, pero la privacidad y la independencia de la red compensan. Eso sí, para documentarme o investigar algo que no requiere ejecución inmediata, sigo yendo a la nube. Depende del contexto, pero tener ambas opciones me ha dado mucha libertad.

22 Tem 07:22

¿Y si pruebas a poner a prueba ese modelo local con algo *medio* complejo, como generar resúmenes automáticos de código Python que tengas por ahí? Si no te convence los resultados, ahí verás si el poder de la nube te salva el día.