PrismML lanza Bonsai 27B, el primer modelo de 27 mil millones de parámetros que corre directamente en un iPhone

Mi opinión: Bonsai 27B le cambia el argumento central a los modelos locales en el móvil: hasta ahora el estándar eran 7B u 8B parámetros para correr sin conexión en un teléfono. Con 27B parámetros comprimidos a solo 3.9GB mediante cuantización de 1 bit, PrismML demuestra que un modelo de tamaño serio puede funcionar a 11 tokens por segundo en un iPhone 17 Pro, reteniendo el 90% de la calidad del modelo de precisión completa.

La implicación práctica es directa: el modelo corre sin conexión a internet, sin enviar datos a servidores externos, con todo el procesamiento en el dispositivo. Para profesionales en sectores regulados, o para quienes trabajan en contextos donde la privacidad importa, esa diferencia puede ser decisiva. Que los pesos se distribuyan bajo licencia Apache 2.0 lo hace accesible para cualquier equipo técnico desde hoy.

Antes de dar los benchmarks por definitivos, vale señalar que los números vienen de PrismML misma, que tiene interés directo en posicionar su lanzamiento. Conviene esperar evaluaciones independientes antes de depender de esas cifras.

¿Tu flujo de trabajo podría beneficiarse de procesar datos con un modelo de IA localmente, sin que tu información salga del dispositivo?