AQUA实测智谱AI千亿基座模型ChatGLM-Pro:云端协同部署释放大模型潜力

AQUA实测智谱AI千亿基座模型ChatGLM-Pro:云端协同部署释放大模型潜力

图片来源:智谱AI官网

成立仅不到五年,获得美团、中科曙光以及多家知名投资机构的青睐,并且旗下大模型产品成为首批通过《生成式人工智能服务管理暂行办法》的企业,智谱AI到底有着怎样的“魔力”?

智谱AI于2019年成立,由清华大学计算机系知识工程实验室的技术成果转化而来。拥有自主研发的超大规模预训练模型、高精度通用知识图谱和数据与知识双轮驱动的认知引擎。360创始人、董事长兼CEO周鸿祎曾表示:智谱AI是国内顶级人工智能科技公司,被评价为国内“最具OpenAI气质和水准”的AI公司。

AQUA实测智谱AI千亿基座模型ChatGLM-Pro:云端协同部署释放大模型潜力

图片来源:智谱AI官网

同时,智谱AI还提出了全新的Model as a Service(MaaS)的市场理念,打造了认知大模型平台以及数字人和科技情报产品,为各行各业提供智能化解决方案。其核心产品包括GLM大模型、ChatGLM、CodeGeeX、CogView和AMiner等,分别涵盖了语言、对话、代码等多个领域。

图片来源:大模型之家对此,大模型之家将对智谱AI大模型产品ChatGLM-Pro版本依靠《人工智能大模型产业创新价值研究报告》提出的“AQUA”评价体系,从模型能力、任务处理能力、应用生态等六个维度展开多角度全方位的评估。探寻智谱AI的大模型发展理念。

模型能力

据了解ChatGLM参考了ChatGPT的设计思路,在千亿基座模型GLM-130B中注入了代码预训练,通过有监督微调(Supervised Fine-Tuning)等技术实现人类意图对齐。不同于BERT、GPT-3以及T5的架构,ChatGLM-Pro是一个包含多目标函数的自回归预训练模型。

千亿规模的模型通常意味着更好的性能和更高的语言理解能力,使ChatGLM-Pro捕捉更广泛和复杂的语言模式。代码预训练技术,在自然语言处理任务中具有更好的代码理解和生成能力,对于与编程相关的任务或生成特定领域的文本将起到极大帮助。

AQUA实测智谱AI千亿基座模型ChatGLM-Pro:云端协同部署释放大模型潜力

图片来源:github官网

同时,采用多目标函数的自回归预训练模型架构,可以帮助ChatGLM-Pro大模型运转更加灵活,能够同时处理多种不同类型的自然语言处理任务,包括生成、分类、翻译等。并且通过有监督微调,ChatGLM-Pro在生成文本时可以更准确地满足用户的需求,提供更具针对性的回应。

AQUA实测智谱AI千亿基座模型ChatGLM-Pro:云端协同部署释放大模型潜力

图片来源:github官网

除此之外,ChatGLM-Pro的千亿基座GLM-130B可以在高性能服务器上进行推理,包括A100(40G*8)或V100(32G*8)服务器。GLM-130B还支持INT4(四位整数)量化,且几乎没有性能损失。这也意味着GLM-130B还可以在相对较低内存的硬件上有效地进行推理,例如4*RTX 3090(24G)或8*RTX 2080 Ti(11G)GPU。

任务处理能力

在任务处理能力方面,ChatGLM-Pro的回答在多个任务和问题的回答准确性很高。在多个领域和任务中都有潜力得到良好的结果。但大模型之家发现,ChatGLM-Pro在回答问题时普遍过于简单和直接。特别是在面对考察推理能力的问题时,没有显示出完整的推理步骤,在某些应用场景中可能会限制其可解释性和适用性。

在通过转换提问模式后,强制要求ChatGLM-Pro给出问题的相应推理过程后,大模型之家发现ChatGLM-Pro虽然正确的解答了问题,但在逻辑展示上还出现了一些漏洞。

图片来源:智谱AI官网

任务处理能力其限制主要体现在推理和解释方面。强制要求展示推理步骤后所提供的错误回答也代表,ChatGLM-Pro的推理能力还有待增强。此外,无法提供正确的解释,可能影响ChatGLM-Pro在需要深入理解和合理解释的应用中的适用性。

AQUA实测智谱AI千亿基座模型ChatGLM-Pro:云端协同部署释放大模型潜力

图片来源:智谱AI官网

不过,在同为基于GLM-130B 模型开发的智谱清言(QAGLM)的AI作图功能测试中。AQUA选择分别对ChatGLM-130B的文生图和图生文能力进行了测试。

图片来源:智谱AI官网

可以看到ChatGLM-130B具备自然语言理解和生成能力,能够根据用户输入的文本提示生成质量卓越、语法通顺的文本内容。不过QAGLM目前还不支持对生图格式进行修改,在面对该部分指令时会选择忽略。

图片来源:智谱AI官网

ChatGLM-130B能够从图像输入中提取关键信息,生成与图像内容相关的文本描述,该功能为各种应用场景提供了无限可能性。并且在描述时QAGLM会尽可能细致的阐述图片的内容。从自动图像标注到视觉辅助,该功能使得ChatGLM-130B在处理视觉数据时能够以高效、精确的方式产生有意义的文本输出。

泛化能力

在多语言能力方面,ChatGLM-Pro支持中文和英文双语,在跨语言任务上可以展示强大的泛化能力。能够轻松处理中文和英文等多种语言的文本任务,这不仅包括了简单的翻译功能,更重要的是它能够理解和生成多种语言的文本,保持自然流畅。这也反映了ChatGLM-Pro将不受语言边界的限制,更适用于国际化应用。

在多模态支持领域,ChatGLM-Pro不仅支持文本生成,还具备图文互动生成的功能。随着社交媒体和多媒体内容的普及,多模态任务处理能力变得愈来愈关键。ChatGLM-Pro将图像和文本数据有机结合在社交媒体分析、图像标注、视觉搜索等领域发挥重要作用。

同时,根据图像内容生成相关的文本描述,从而提高用户生成内容的质量。反之,ChatGLM-Pro还可以将文本转化为图像,满足特定场景下的需求。这种多模态支持使ChatGLM-Pro在处理多媒体和视觉任务时具备了出色的泛化能力。

据了解,智谱AI先已与国内多家知名企业、机构联合开发大模型产品。自2023年4月起,美团私有化部署ChatGLM-130B,联合研发“美团GLM”,值得买部署 ChatGLM-130B 私有化实例用于电商平台产品,360基于 ChatGLM-130B 联合研发千亿级大模型“360GLM”、中国民航信息网络公司基于接入 ChatGLM-130B API 开发航旅智能产品、清华研究生会基于 ChatGLM-130B 开发“水木ChatGLM”。

图片来源:网络

大模型之家发现,无论是在商业、航空、电子商务还是其他技术领域,ChatGLM-130B都有成功的应用案例。ChatGLM-130B 都能够适应不同场景的需求,为企业和用户提供高效的自然语言处理解决方案。

开放性指标

值得注意的是,目前ChatGLM-130B现已支持云端和本地私有化部署,用户可以将ChatGLM-130B部署在自己的本地服务器或数据中心上,并根据自身需求进行定制。并且可以根据自己的数据和应用场景对模型进行训练和微调,以确保模型更好地适应特定任务或领域的要求。这种本地私有化定制能够提供更高的数据隐私和安全性,因为数据不必离开用户的本地环境。

图片来源:智谱AI官网

与本地私有化不同,通过云端私有化定制,用户可以在云端环境中使用ChatGLM-130B,并对其进行个性化定制。利用云服务提供商的基础设施和资源,用户可以轻松地进行模型的训练、微调和部署。这种方法可以节省硬件和维护成本,并使用户能够更灵活地扩展其计算资源以适应不断变化的需求。

图片来源:大模型之家

综合来看,智谱AI基于GLM-130B 模型开发的ChatGLM-Pro展现出了强大的大模型性能和广泛的应用前景。模型能力、任务处理能力、泛化能力以及开放性指标等都为不同领域的企业和用户提供了高效的自然语言处理解决方案。

同时,其支持云端和本地私有化部署的灵活性,为用户提供了更多选择,满足了不同用户的数据隐私和安全性需求。但推理和解释方面的局限性还有待增强,在面对复杂和多变的任务时还需要更多的数据支持。

原创文章,作者:王昊达,如若转载,请注明出处:http://www.damoai.com.cn/archives/1007

(0)
上一篇 2023年9月25日 上午10:34
下一篇 2023年9月25日 下午2:41

相关推荐

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注