NVLM 1.0Görsel-dil görevleri için en gelişmiş çoklu modlu LLM'ler.

NVLM 1.0

NVLM 1.0, görsel-dil görevlerinde en son teknolojiyi yakalayan ve lider özel mülk modellerini (örneğin GPT-4o) ve açık erişimli modelleri (örneğin Llama 3-V 405B ve InternVL 2) geride bırakan, öncü sınıf çoklu modlu büyük dil modelleri (LLM) ailesidir. Çarpıcı bir şekilde, çoklu modlu eğitimden sonra NVLM 1.0, LLM omurgasından daha fazla yalnızca metin görevlerinde iyileştirilmiş doğruluk göstermektedir. Topluluk için Megatron-Core'da model ağırlıklarını ve eğitim kodunu açık kaynak olarak yayınlıyoruz.

Product Highlights

• Özellik 1: Görsel-dil görevlerinde en son teknolojiyi yakalar.
• Özellik 2: Yalnızca metin görevlerinde iyileştirilmiş doğruluk.
• Özellik 3: Açık kaynaklı.

Use Cases

• Kullanım durumu 1: NVLM 1.0, görseller ve metinle ilgili soruları yanıtlamak için kullanılır.
• Kullanım durumu 2: NVLM 1.0, görseller için açıklayıcı metin oluşturmak için kullanılır.
• Kullanım durumu 3: NVLM 1.0, metin ve görselleri analiz etmek ve mantıksal çıkarımlar yapmak için kullanılır.

Target Audience

NVLM 1.0, çoklu modlu uygulamalar oluşturmakla ilgilenen araştırmacılar ve geliştiriciler tarafından kullanılır.