Thunder ComputeTecnologia de computação em nuvem para virtualizar GPUs sobre TCP.

O Thunder Compute criou uma tecnologia de GPU virtual sobre TCP (que chamamos de PCI-v) que permite um novo tipo de instância na nuvem. Podemos conectar ou desconectar instantaneamente qualquer número de GPUs com um único comando, alternar entre tarefas de forma eficiente e compartilhar uma única GPU. Isso cria uma instância de nuvem que se adapta a qualquer fluxo de trabalho de desenvolvimento. Para explicar, esse ambiente flexível pode começar como uma máquina de desenvolvimento de CPU somente barata e escalar instantaneamente para se tornar um cluster massivo. Os desenvolvedores podem acessar diretamente os recursos de que precisam para eliminar o tempo gasto em processos de aprovação burocráticos e configuração. Além disso, essa tecnologia reduz o custo para as organizações de várias maneiras: 1) Podemos colocar várias cargas de trabalho em uma GPU ao mesmo tempo com o compartilhamento dinâmico de memória. Isso permite um sistema semelhante aos vCPUs que você vê na AWS hoje, onde cada usuário tem acesso total a toda a GPU, enquanto nos permite usar qualquer capacidade de sobra na GPU física para outros usuários. 2) Os desenvolvedores podem interagir com instâncias de CPU somente que compartilham recursos de GPU agrupados. Isso elimina o conceito de reservas e cria um sistema em que uma GPU nunca está vinculada a uma única máquina. Algo interessante a notar é que essa parece ser a tecnologia mais eficiente que existe para computação de GPU sem servidor. Conseguimos inicializações a frio efetivamente instantâneas ao desacoplar o ambiente de GPU da GPU física, permitindo que qualquer GPU alterne instantaneamente entre qualquer tarefa sem ter que \"inicializar a frio\" carregando um novo ambiente.