A PrismML — laboratório de IA fundado por pesquisadores do Caltech e orientado por Ion Stoica, da UC Berkeley — criou uma versão de seus pequenos modelos de linguagem para óculos inteligentes rodando nos chips Snapdragon da Qualcomm.
Na quarta-feira, na Snapdragon Summit da Qualcomm, a fabricante de chips apresentou o LLM Bonsai de 1-bit da PrismML, que pode rodar localmente em óculos de IA construídos na Snapdragon AR1 Gen 1 Platform.
Como TechCrunch já havia reportado, a fama da PrismML vem do fato de ela encolher modelos maiores substancialmente (neste caso, em 4x), mantendo quase toda a sua performance em benchmarks padrão. A versão para óculos inteligentes é um modelo de 2 bilhões de parâmetros otimizado para visão e linguagem, permitindo que o usuário pergunte em tempo real o que está vendo.
O objetivo maior da Prism é IA de pesos abertos que roda nos dispositivos e aproveita melhor o poder de computação que eles já têm. A startup apresenta isso como uma alternativa para não depender das promessas de privacidade de laboratórios de IA proprietários e sua necessidade insaciável por mais processamento.
Lançar um modelo para o chip da Qualcomm é um passo em direção a essa visão. Mas nenhum óculos inteligente rodando PrismML foi anunciado ainda.
