大模型之家讯 近日，Mistral AI发布了首个开源MoE模型Mixtral 8x7B，并宣布在魔搭社区上线。
Mixtral-8x7B是一款混合专家模型（Mixtrue of Experts），由8个拥有70亿参数的专家网络组成，在能力上，Mixtral-8x7B支持32k token上下文长度，支持英语、法语、意大利语、德语和西班牙语，拥有优秀的代码生成能力，可微调为指令跟随模型。该模型在MT-Bench评测上达到了8.3分，与GPT3.5相当。
大模型之家讯 近日，Mistral AI发布了首个开源MoE模型Mixtral 8x7B，并宣布在魔搭社区上线。
Mixtral-8x7B是一款混合专家模型（Mixtrue of Experts），由8个拥有70亿参数的专家网络组成，在能力上，Mixtral-8x7B支持32k token上下文长度，支持英语、法语、意大利语、德语和西班牙语，拥有优秀的代码生成能力，可微调为指令跟随模型。该模型在MT-Bench评测上达到了8.3分，与GPT3.5相当。