Transformers v5
通过简化模型定义、增强互操作性，加速人工智能创新和应用。
Transformers v5 发布：简化模型定义、改进训练和推理，提升生产效率，实现与vLLM、SGLang等生态系统的互操作性，助力AI发展。
更多关于 Transformers v5 的信息
Transformers v5
Transformers是一款用于AI模型定义的库。它提供各种模型架构，帮助用户构建和部署AI模型。通过其强大的功能，用户可以在不同场景下高效地进行模型训练和推理。
- •模型定义标准化:提供超过400种模型架构，成为模型定义的“真理来源”。简化模型贡献流程，降低维护负担，实现更广泛的标准化和支持。
- •大规模预训练:支持大规模预训练，改进模型初始化，确保模型在不同并行范式下运行。扩展与torchtitan、megatron等预训练工具的兼容性。
- •高效推理:引入专用内核、更清晰的默认设置和新的API，支持优化推理引擎。提供连续批处理和分页注意力机制，提高推理效率。
- •模块化设计:采用模块化设计，简化模型添加流程，提升维护效率，促进社区协作。降低贡献代码量，提升代码可读性。
- •模型转换工具:构建工具，帮助识别新模型架构，并自动化转换流程。减少手动工作，确保模型集成的一致性。
- •代码简化:简化建模和分词文件，专注于tokenizers后端，移除“Fast”和“Slow”分词器概念。支持PyTorch作为主要后端。
- •Fine-tuning & Post-training:与Unsloth、Axolotl等工具紧密合作，提供模型定义。进一步支持Agentic用例。
- •量化支持:将量化作为核心支持，确保与所有主要功能完全兼容，提供可靠的训练和推理框架。改变模型加载权重的方式，使量化成为核心功能。
- •生产与本地部署:与vLLM、SGLang等推理引擎合作，使用transformers作为后端。支持GGUF文件加载和转换，实现与llama.cpp和MLX的互操作性。
在当今的AI领域，互操作性至关重要。Transformers v5版本通过改进、性能提升和标准化，实现了与不断发展的生态系统的无缝协作。选择它，可以简化工具包，并专注于核心功能。期待您的反馈，共同推动AI技术的发展。
