Thunder ComputeGPU'ları TCP üzerinden sanallaştırmak için Bulut Bilişim Teknolojisi.

Thunder Compute, bulut tabanlı GPU'lar için yeni bir tür bulut örneği sağlayan sanal GPU-over-TCP teknolojisi (biz buna PCI-v diyoruz) geliştirdi. Tek bir komutla isteğe bağlı sayıda GPU'yu anında bağlayabilir veya bağlantısını kesebilir, görevler arasında verimli bir şekilde geçiş yapabilir ve tek bir GPU'yu paylaşabiliriz. Bu, herhangi bir geliştirme iş akışına uyum sağlayan tek bir bulut örneği oluşturur. Açıklamak gerekirse, bu tek esnek ortam, ucuz bir CPU tabanlı geliştirme makinesi olarak başlayabilir ve anında büyük bir kümeye ölçeklenebilir. Geliştiriciler, bürokratik onay süreçleri ve yapılandırma için harcanan zamanı ortadan kaldırmak için ihtiyaç duydukları kaynaklara doğrudan erişebilirler. Ayrıca, bu teknoloji, kuruluşlar için maliyeti birkaç şekilde azaltır: 1) Dinamik bellek paylaşımıyla aynı anda bir GPU'ya birden fazla iş yükü yerleştirebiliriz. Bu, bugün AWS'de gördüğünüz vCPU'lara benzer bir sistem sağlar; burada her kullanıcı tüm GPU'ya tam erişime sahip olurken, fiziksel GPU'daki boş kapasiteyi diğer kullanıcılar için kullanmamıza olanak tanır. 2) Geliştiriciler, havuzlanmış GPU kaynaklarını paylaşan yalnızca CPU tabanlı örneklerle etkileşim kurabilir. Bu, rezervasyon kavramını ortadan kaldırır ve GPU'nun asla tek bir makineye bağlı olmadığı bir sistem oluşturur. İlginç bir şekilde, bu, sunucusuz GPU hesaplama için mevcut olan en verimli teknoloji gibi görünüyor. Fiziksel GPU'dan GPU ortamını ayırarak, gerçekte anında soğuk başlatmalara ulaştık; bu, herhangi bir GPU'nun yeni bir ortamı yüklemek için \"soğuk başlatma\" yapmadan herhangi bir görev arasında anında geçiş yapmasını sağlıyor.