大模型之家讯 谷歌昨晚发布了全新开源大模型系列Gemma 2,包括Gemma 2 9B和Gemma 2 27B两款型号,旨在满足研究和开发人员的广泛需求。Gemma 2系列凭借其参数小但性能卓越的特点,受到了业界的广泛关注。特别是27B模型,可在单张谷歌云TPU、英伟达A100 80GB GPU或英伟达H100 GPU上,以全精度高效运行推理,大幅降低了成本。
Gemma 2在设计上进行了多项创新,包括局部滑动窗口和全局注意力、Logit软上限、RMSNorm归一化以及分组查询注意力等技术,使得模型在保持高性能的同时,也能在各种硬件上快速推理。此外,Gemma 2还采用了知识蒸馏技术,通过向大模型学习,实现了用较少训练数据达到更好效果的目标。
Gemma 2的实用性也得到了充分体现。它轻量级且开源,兼容多种主流人工智能框架,包括Keras 3.0、vLLM、Gemma.cpp等。此外,Gemma 2还提供了广泛的示例和教程,方便用户探索新功能并构建自己的应用程序。从下个月开始,Google Cloud客户还将在Vertex AI上轻松部署和管理Gemma 2。
在安全性方面,谷歌为Gemma 2提供了「负责任的生成式AI工具包」,确保用户在使用模型时能够遵循最佳实践,降低潜在风险。
原创文章,作者:志斌,如若转载,请注明出处:http://www.damoai.com.cn/archives/6113