Google liberou ML Drift, um motor de compute GPU cross-platform e open-source sob licença Apache 2.0, projetado para acelerar inferência de inteligência artificial e machine learning em dispositivos edge. A ferramenta funciona como núcleo de aceleração GPU que alimenta LiteRT, abstração que simplifica a complexidade de diferentes arquiteturas de hardware GPU e APIs de baixo nível.
ML Drift suporta OpenGL ES, OpenCL, Metal e WebGPU, oferecendo uma camada unificada que resolve um desafio central no desenvolvimento de aplicações edge: developers enfrentam grande variedade de arquiteturas GPU, versões de driver e APIs específicas de plataforma, frequentemente sem conhecer antecipadamente qual hardware executará a aplicação.
Entre as melhorias técnicas implementadas, ML Drift introduz suporte a tensors 5D sem layout hacks, beneficiando modelos espaciais e arquiteturas transformer em GPUs edge. O motor unifica shaders através de virtualização de tensor, oferece operações customizáveis e implementa otimizações hardware-específicas para GPUs de Arm, Intel e Qualcomm para maximizar utilização de hardware em GPUs modernas.
No suporte a desktop, Google estende a inferência para Windows e Linux através de Dawn, implementação WebGPU do Chromium, enquanto mantém suporte nativo Metal backend no macOS. Dawn oferece modelo de API unificada que evita interface direta com APIs gráficas específicas de plataforma como DirectX e Vulkan.
Benchmarks conduzidos com modelos Gemma em hardware de workstation demonstram 12% menor overhead de memória comparado a estruturas como llama.cpp e MLX LM. A plataforma já executa em milhões de dispositivos através de aplicações Chrome, YouTube Shorts, Photos e Meet.
As melhorias de desempenho documentadas incluem redução de até 40% em latência média de frame para efeitos de segmentação no YouTube Shorts em Android e iOS. Google Photos alcança speedup de até dois segundos em pipelines de computational photography e segmentação. Adobe Lightroom e Photoshop registram melhorias de até 30% em features de edição com IA, como Select Subject, Select Sky e Adaptive Portrait. Snapchat experimentou redução de 30% em latência de modelo para efeitos de geração de face e style em Android.
Engenheiro de IA e ML Pavithra Agraharam observou que o suporte nativo 5D tensor sem layout hacks representa vantagem significativa para executar modelos espaciais e transformer em GPUs edge, enquanto desacoplamento de alocação lógica de tensors da memória física deve reduzir fragmentação de memória durante inferência ao vivo.
Matthew Charles Vladislav Busel, desenvolvedor e founder de Tensorust, questionou como ML Drift se compara ao Core ML em iPhones recentes para latência e memória, métrica que maioria de developers utiliza como referência, embora Google não tenha fornecido figuras comparativas.
Com o lançamento de ML Drift, Google descontinuará atualizações do legacy TensorFlow Lite GPU delegate. Para compatibilidade retroativa com modelos existentes, a empresa recomenda migração para LiteRT ML Drift GPU accelerator. Developers de aplicação podem utilizar LiteRT ML Drift accelerator, enquanto engenheiros GPU e sistema acessam C++ API de baixo nível para construir custom GpuModel compute graphs e escrever custom shaders.
