Docker integrou Harbor, seu framework open-source de avaliação de agentes de inteligência artificial, ao Docker Sandboxes. A mudança permite que cada tarefa de avaliação execute em microVM própria isolada, substituindo o compartilhamento de containers e proporcionando melhor segurança e desempenho. Docker testou a solução com 64 tarefas concorrentes em Docker Cloud Sandboxes.
Execução e Isolamento
A avaliação de agentes de coding exige instalação de pacotes, edição de arquivos e execução de comandos, processos repetidos milhares de vezes em benchmarks. Executar código não confiável escrito por IA em larga escala apresenta riscos que Docker Sandboxes mitiga através de microVMs com kernel isolado, impedindo que atividade de agentes acesse o host, outras tarefas ou o ambiente externo.
Harbor orquestra a execução, coleta scores e registra logs. O framework aborda o problema de "reward hacking", situação onde um agente manipula testes ou sobrescreve arquivos de score em vez de resolver a tarefa proposta.
Reprodutibilidade e Rede
Em Docker Cloud Sandboxes, políticas de rede configuráveis permitem que tarefas baixem dependências durante setup e depois restrinjam acesso à internet durante a execução do agente. Essa uniformidade nas condições de rede elimina uma fonte comum de resultados não-reproduzíveis.
Docker Compose é suportado, permitindo tarefas multi-container dentro de um único cloud sandbox com serviços e sidecars na mesma microVM.
A fonte não fornece dados sobre startup overhead, custo por tarefa ou variância de scores de avaliação. Limites superiores de concorrência estão disponíveis mediante solicitação ao Docker.
Instalação e Autenticação
A integração chega à nightly release de Docker Sandboxes imediatamente, com previsão de chegada à release estável em 23 de outubro. Harbor instala-se com o extra sbx, fixado em versão 0.24.1.dev202610150414.
Executar localmente é gratuito; scaling em cloud requer conta Docker com Cloud access ativado e personal access token com permissão Cloud Sandboxes. Harbor lê credenciais das variáveis SBX_DOCKER_USERNAME e SBX_DOCKER_PAT. A flag -e sbx seleciona o ambiente: harbor run -t hello-world/hello-world -a oracle -e sbx.
Executões locais suportam apenas modos public e no-network, limitados à política sandbox da máquina. Controle fino de políticas de rede restringe-se exclusivamente a Cloud Sandboxes; equipes que necessitem desse controle devem usar a rota em cloud.
Ecossistema de Sandbox Providers
Harbor suporta múltiplos backends: Daytona, Modal, E2B, Runloop, Tensorlake, LangSmith, Blaxel, Novita Sandbox, EC2 e Beam. A integração com LangSmith precede a de Docker; instalando o extra , evals executam em LangSmith production sandboxes.
