Ollama v0.19
Mengoptimalkan kinerja untuk tugas-tugas intensif pada perangkat Apple, dengan peningkatan kecepatan dan efisiensi.
Ollama kini didukung MLX di Apple Silicon, memberikan akselerasi kinerja signifikan. Nikmati kecepatan lebih tinggi untuk asisten pribadi dan agen coding.
Lebih banyak tentang Ollama v0.19
Ollama v0.19
Ollama adalah cara tercepat untuk menjalankan model bahasa besar (LLM) di Apple silicon. Ini memberikan kinerja yang lebih cepat untuk mempercepat pekerjaan Anda yang paling menuntut di macOS. Anda dapat menggunakannya untuk asisten pribadi atau agen pengkodean.
- •Performa tercepat di Apple silicon:Dibangun di atas kerangka pembelajaran mesin Apple, MLX, untuk memanfaatkan arsitektur memori terpadu. Hal ini menghasilkan peningkatan kecepatan yang besar pada semua perangkat Apple Silicon. Ollama memanfaatkan Akselerator Neural GPU baru untuk mempercepat waktu ke token pertama (TTFT) dan kecepatan generasi (token per detik).
- •Dukungan NVFP4: respons berkualitas tinggi:Memanfaatkan format NVFP4 NVIDIA untuk menjaga akurasi model sambil mengurangi bandwidth memori dan persyaratan penyimpanan untuk beban kerja inferensi. Hal ini memungkinkan pengguna untuk berbagi hasil yang sama seperti di lingkungan produksi.
- •Peningkatan caching untuk responsif:Cache ditingkatkan untuk membuat tugas pengkodean dan agen lebih efisien. Pemanfaatan memori lebih rendah, lebih banyak hit cache saat bercabang, dan penyimpanan snapshot cache di lokasi yang cerdas dalam prompt, menghasilkan lebih sedikit pemrosesan prompt dan respons yang lebih cepat.
Dengan memilih Ollama, Anda akan mengalami peningkatan kinerja yang signifikan saat menjalankan LLM di perangkat Apple silicon Anda. Nikmati respons yang lebih cepat dan efisien, serta kemampuan untuk memanfaatkan model yang dioptimalkan. Ini akan meningkatkan alur kerja Anda dan meningkatkan pengalaman Anda secara keseluruhan.
