Thunder ComputeTecnología de computación en la nube para virtualizar GPUs sobre TCP.

Thunder Compute ha creado una tecnología de GPU virtual sobre TCP (la llamamos PCI-v) que permite un nuevo tipo de instancia en la nube. Podemos conectar o desconectar instantáneamente cualquier cantidad de GPU con un solo comando, cambiar de tarea de manera eficiente y compartir una sola GPU. Esto crea una instancia de nube que se adapta a cualquier flujo de trabajo de desarrollo. Para explicar, este entorno flexible puede comenzar como una máquina de desarrollo de CPU solo barata y escalar instantáneamente para convertirse en un clúster masivo. Los desarrolladores pueden acceder directamente a los recursos que necesitan para eliminar el tiempo dedicado a los procesos de aprobación burocráticos y la configuración. Además, esta tecnología reduce el costo para las organizaciones de varias maneras: 1) Podemos colocar múltiples cargas de trabajo en una GPU al mismo tiempo con el uso compartido dinámico de memoria. Esto permite un sistema similar a los vCPU que ves en AWS hoy, donde cada usuario tiene acceso completo a toda la GPU, al tiempo que nos permite utilizar cualquier capacidad de sobra en la GPU física para otros usuarios. 2) Los desarrolladores pueden interactuar con instancias de CPU solo que comparten recursos de GPU agrupados. Esto elimina el concepto de reservas y crea un sistema en el que una GPU nunca está ligada a una sola máquina. Algo interesante a tener en cuenta es que esta parece ser la tecnología más eficiente que existe para la computación de GPU sin servidor. Hemos llegado a arranques en frío efectivamente instantáneos al desacoplar el entorno de la GPU de la GPU física, lo que permite que cualquier GPU cambie instantáneamente entre cualquier tarea sin tener que \"arrancar en frío\" cargando un nuevo entorno.