Thunder Compute云计算技术，通过 TCP 将 GPU 虚拟化

Thunder Compute 创建了虚拟 GPU-over-TCP 技术（我们称之为 PCI-v），它支持一种新型的云实例。我们可以用一条命令立即连接或断开任意数量的 GPU，高效地在任务之间切换，并共享单个 GPU。 这将创建一个能够适应任何开发工作流的云实例。 详细说明，这种灵活的环境可以从廉价的仅 CPU 开发机器开始，并立即扩展到成为一个大型集群。开发人员可以直接访问他们需要的资源，以消除在官僚审批流程和配置上花费的时间。 此外，这项技术可以通过几种方式为组织降低成本： 1) 我们可以使用动态内存共享，将多个工作负载同时放在一个 GPU 上。这使得能够实现类似于今天在 AWS 上看到的 vCPU 的系统，其中每个用户都能完全访问整个 GPU，同时允许我们使用物理 GPU 上的任何空闲容量来为其他用户提供服务。 2) 开发人员可以与共享池化 GPU 资源的仅 CPU 实例交互。这消除了预留的概念，并创建了一个系统，在这个系统中，GPU 永远不会绑定到单台机器。 有趣的是，这似乎是为无服务器 GPU 计算提供的最有效的技术。我们通过将 GPU 环境与物理 GPU 分离，实现了实际上是瞬时的冷启动，从而允许任何 GPU 立即在任何任务之间切换，而无需通过加载新环境来执行 \"冷启动\"。