一360一提示您:看后求收藏(牛文小说网www.acotonline.org),接着再看更方便。

在AI领域,开源已成为推动技术进步和创新的重要力量。近日,科技巨头特斯拉的创始人埃隆·马斯克再次展现了他在AI领域的雄心壮志,宣布开源其旗下AI创企xAI开发的大语言模型Grok-1。这一举动不仅使得Grok-1成为当前参数量最大的开源大语言模型,更在业界引发了广泛关注。

马斯克一直对OpenAI的开放性持怀疑态度,此次开源Grok-1可谓是对OpenAI的一次有力回应。在社交平台上,马斯克含沙射影地表示:“我们想了解更多OpenAI的开放部分。”这番言论无疑加剧了业界对于AI开源与闭源之争的关注度。

Grok-1的开源不仅意味着其模型权重和架构将遵循Apache 2.0协议向公众开放,更重要的是,它允许用户自由地使用、修改和分发软件,无论是个人还是商业用途。这种开放性不仅有助于推动AI技术的普及和应用,更能激发更广泛的研究和创新活力。

值得注意的是,Grok-1作为一个拥有3140亿参数的混合专家(Mixture-of-Experts,MOE)大模型,其规模之大令人咋舌。相比之下,OpenAI的GPT-3.5模型仅有1750亿参数。如此庞大的参数量使得Grok-1在语言理解和生成能力上具备了强大的优势。这也意味着,要使用和测试Grok-1,用户需要拥有足够GPU内存的机器。据网友表示,这可能需要一台拥有628 GB GPU内存的机器,这无疑提高了使用该模型的门槛,但也从侧面反映了其技术含量的高度。

在Grok-1的开发过程中,xAI团队展现出了极高的技术实力和创新精神。他们首先训练了一个330亿参数的原型语言模型Grok-0,并在标准语言模型测试基准上取得了接近LLaMA2(70B)的能力。随后,他们对模型的推理和编码能力进行了重大改进,最终开发出了功能更为强大的Grok-1。在HumanEval编码任务和MMLU中,Grok-1均取得了优异的成绩,超过了包括ChatGPT-3.5在内的其他计算类模型。

与其他大模型相比,Grok-1的独特之处在于它是一款从头训练的大模型。xAI团队使用自定义训练堆栈在JAX和Rust上进行训练,没有针对特定任务进行微调。这使得Grok-1在通用性和灵活性方面具备了更高的优势。此外,Grok-1还能通过X平台实时了解世界,这使得它能够回答被大多

更多内容加载中...请稍候...

本站只支持手机浏览器访问,若您看到此段落,代表章节内容加载失败,请关闭浏览器的阅读模式、畅读模式、小说模式,以及关闭广告屏蔽功能,或复制网址到其他浏览器阅读!

本章未完,请点击下一章继续阅读!若浏览器显示没有新章节了,请尝试点击右上角↗️或右下角↘️的菜单,退出阅读模式即可,谢谢!

其他类型推荐阅读 More+
【东卍乙女】前任疯批大佬们找上门要你负责

【东卍乙女】前任疯批大佬们找上门要你负责

云开
你的第一任男友,在床上被你捅了一刀。逃走后认识了第二任男友,和他胡天黑地滚了一通床单后发现:这也是个疯批。赶紧跑以免怎么死的都不知道。悠哉的在这座美丽的南方小岛找到份工作,你过起了自由自在的生活,结果被两位前任找上门来了东京卍复仇者/重生之道 乙女向同人祸害灰谷兰和三途春千夜。?内含黑化、强制、3p、囚禁、疯批、绑缚、调教等多重元素,小伙伴们请注意闪避不喜欢的口味。?爱发电/lofter同名(云开
其他 连载 1万字
含月灵女

含月灵女

归尘.若梦
重生归来,慕纤落本想好好修炼早日回到故乡报仇雪恨,可是这一个又一个重生者挡她面前,她表示很累,该狠就狠。谁都知道剧情就她不知,百忙之中倾听他人故事。
其他 连载 13万字
末世多子多福,从美艳老板娘开始

末世多子多福,从美艳老板娘开始

铁头阿木木
末世来临,丧尸爆发,在服装店上班的林尧碰巧救下美艳老板娘,原本尖酸刻薄总是克扣林尧工资的老板娘,为了一口面包,只能跪求收留! 林尧觉醒多子多福系统,获得各类异能,从此开启了强大之路。 白天,林尧是人类救世主;夜晚,林尧化身尸王,发展丧尸军团......
其他 连载 78万字
我在末世装载异能,强点很合理吧

我在末世装载异能,强点很合理吧

我是年大人
(末世+重生+空间+囤货+杀伐果断) 全球火山同时爆发,有毒火山灰遮天蔽日,又有诡异离子,反射太阳光,导致气温骤降,大雪连下数月,蓝星进入冰河时代。 上一世,林立觉醒异能,艰苦求生八年,却惨遭亲人背叛。 这一世,他带着辆面包车重生,可装载空间,能疯狂升级,先夺全球首富末日堡垒,再抢一座发电站。 当别人冻的瑟瑟发抖,林立却光着膀子碳烤羊腰子。 当别人忙着密封门缝,林立却在泳池里游了三个来回。 这是别
其他 连载 51万字
星际特工,黑衣人

星际特工,黑衣人

极光之南
生命起源绝非偶然。茫茫宇宙,也不止只有人类存在!其实,外星人一直就在你我身边!而一向神秘莫测的涉外局黑衣人,也只是普通人类!但陈风,和她,却非比寻常!
其他 连载 216万字
空降迦勒底随后成为所长这件事

空降迦勒底随后成为所长这件事

坂本更新56
(本书Q群:1040307305) 还未待从特异点F归来的玛修等人歇口气时,不速之客来到了迦勒底。 忽视了时间轴错位与南极的风雪,他来到理论上连所罗门王也无法找到的地方,就这么简单的径直走了进来。 “各位注意,从现在开始,我将合法接管整个迦勒底。也就是说,我将是你们的新任所长——— 你们就叫我阿尼姆斯菲亚好了。” Tag:型月,FGO,Fate
其他 连载 141万字