Meta今年压轴大模型来了:Llama 3.3性能比肩最大Llama模型,成本更低
- 体育
- 2024-12-07 11:00:07
- 625
70亿参数的Llama 3.3在行业基准测试中表现优于谷歌的Gemini 1.5 Pro、OpenAI的 GPT-4o 和亚马逊本周稍早发布的 Nova Pro。扎克伯格称这是今年最后一次AI大模型更新,下一步就是明年Llama 4亮相。
本文作者:李丹
来源:硬AI
Meta今年的压轴人工智能(AI)大模型来了。
美东时间12月6日周五,Meta宣布推出一款新的Llama系列生成式AI模型:70亿参数的Llama 3.3、又称Llama 3.3 70B。CEO扎克伯格在旗下社交媒体Instagram称,这是今年最后一次AI大模型更新,下一步就是明年Llama 4亮相。
Meta 生成式 AI 副总裁 Ahmad Al-Dahle在社交媒体X发帖表示,纯文本的 Llama 3.3能实现和Meta最大Llama 模型——4050亿参数的 Llama 3.1同样的性能,成本还比Llama 3.1更低。“通过利用包括在线偏好优化在内的最新后训练后技术进展,该模型显著降低成本且提高了核心性能,让它更容易被整个开源社区所接受。”
Al-Dahle在发帖的同时附上了一张图表,显示包括针对大模型语言理解能力的测试MMLU在内, Llama 3.3在一系列行业基准测试中表现优于谷歌的Gemini 1.5 Pro、OpenAI 的 GPT-4o 和亚马逊本周稍早发布的 Nova Pro。Meta发言人通过电邮表示,该模型应该在数学、常识、指令遵循和应用程序App使用等领域有所提升。
Llama 3.3目前已经可以在Llama官网和AI开发平台Hugging Face等网上来源下载。评论称,Meta试图以可供大范围商业应用的开源模型主导AI模型市场,新模型是Meta为此目标的最新努力。
今年7月下旬,Meta发布了迄今为止最大的Llama开源模型Llama 3.1,对标OpenAI和谷歌的大模型。这一4050亿参数的模型使用1.6块英伟达H100 GPU进行训练,受益于新的训练和开发技术,Meta称,Llama 3.1 在一定程度上可以与OpenAI的GPT-4o和Anthropic的Claude 3.5 Sonnet竞争。
扎克伯格称Llama 3.1为“艺术的起点”,表示该模型拥有大范围新的能力,包括改善推理以帮助处理复杂的数学问题、或即时合成一整本书。
Meta限制了某些开发者使用 Llama 模型的方式,其规定,月度用户超过 7 亿的平台必须申请特殊许可。但对很多人来说,Llama 模型是否严格意义上的“开源”并不重要。Meta 的数据显示,Llama 的下载量已超过 6.5 亿次。
Meta 在内部在也运用 Llama。扎克伯格称,Meta的AI助手 Meta AI 完全由 Llama 模型提供支持,目前每月拥有将近6 亿活跃用户。他还称,Meta AI 有望成为世界上使用率最高的AI助手。
不过,Llama的开源对Meta来说福祸相依。去年11月,在有报道称Llama模型被海外用于开发军用AI工具后,Meta当月回应称,得到确认,将要向美国政府机构和国家安全领域私营企业承包商提供Llama。
Meta 还对其遵守欧盟《人工智能法案》的能力表示担忧,称该法律的实施对Meta开源发布战略来说“太难以预测”。欧盟《通用数据保护条例》 (GDPR) 中有关AI训练的规定也给Meta带来问题。Meta 使用未选择不接受的 Instagram 和 Facebook 用户的公开数据来训练AI模型,而在欧洲,这些数据受到GDPR的保护。
发表评论