A startup PrismML acaba de lançar um modelo de linguagem que desafia a lógica dominante na indústria de IA: você realmente precisa de um servidor no data center para rodar inteligência artificial sofisticada? A resposta deles é não.
A empresa anunciou o Bonsai 2 27B, um modelo que consegue caber em um PC comum ou até em um smartphone topo de linha. Como? Comprimindo o Qwen 3.8 27B (um modelo open source da Alibaba muito usado) de tamanho original para apenas 5,9 GB — uma redução de 9 a 10 vezes no espaço em disco, mantendo 98% da performance original.
A mágica da compressão
Normalmente, cada "peso" (a informação que o modelo aprendeu durante o treinamento) requer 16 bits para ser armazenado. A solução da PrismML, chamada de "pesos ternários", simplifica isso para apenas três valores possíveis: +1, −1 ou 0. Menos números para guardar = modelo muito menor.
O resultado? O Bonsai 2 não perde quase nada em inteligência. A primeira versão (lançada em março) já tinha conquistado 11 milhões de downloads e mantinha 95% da performance. Agora chegou em 98%, mostrando que a tecnologia está melhorando.
Por que isso muda o jogo
- Privacidade: você roda a IA localmente, sem enviar seus dados para a nuvem
- Velocidade: sem latência de requisição para servidores remotos
- Custo: roda no computador que você já tem, sem assinatura mensal
- Offline: funciona sem internet
Ion Stoica, co-fundador da Databricks e diretor do Sky Computing Lab de Berkeley (que já gerou startups como Letta), está animado com as possibilidades: "você terá inteligência ao alcance das mãos, de graça porque roda no dispositivo que você já comprou, e privada porque não vai enviar para a nuvem".
Os nomes por trás do projeto
PrismML foi fundada por pesquisadores de Caltech e liderada por Babak Hassibi, professor de lá e especialista em compressão de modelos. A empresa já levantou $22,25 milhões em seed round com investidores como Khosla Ventures, Cerberus Capital e o próprio Caltech. Tem rumores de conversas com a Apple, mas o CEO não confirmou.
O que vem por aí
Hashibi quer ir além: "nos próximos meses, vamos lançar modelos na faixa de centenas de bilhões de parâmetros, e espero que seja mais fácil manter a inteligência ali". Quanto maior o modelo, mais "gordura" há para remover sem prejudicar o desempenho.
A compressão perfeita talvez nunca aconteça (um pouco sempre se perde), mas para a vida real isso não importa muito. Uma queda de 2% em benchmarks não muda como o modelo se comporta na prática — especialmente considerando que os benchmarks já não capturam tudo da realidade de uso.
