
Xiuno BBS
Xiuno BBS开源程序交流论坛,致力于为使用Xiuno开源程序的站长提供海量的Xiuno插件,Xiuno模板,Xiuno使用交流,精准地为各位站长朋友免费提供了大量的资源文件。本站为Xiuno程序爱好者,众位站长,粉丝朋友共同建设的公益性交流论坛。
Grok-1 的开放版本 我们正在发布 3140 亿参数的专家混合模型 Grok-1 的权重和架构。
Grok-1是当前世界上参数最大的、开源大语言模型。296GB的大小,3140亿参数,远超OpenAI GPT-3.5的1750亿。基础模型基于大量文本数据进行训练,没有针对任何具体任务进行微调;3140亿参数的MoE模型,在给定token上的激活权重为25%;2023年10月,xAI使用JAX库和Rust语言组成的自定义训练堆栈从头开始训练。
本站商娱网提供的Grok-1都来源于网络,不保证外部链接的准确性和完整性,同时,对于该外部链接的指向,不由商娱网实际控制,在2024-04-30 13:28收录和巡查时,该网页上的内容,都属于合规合法,后期网页的内容如出现违规,可以直接联系网站管理员进行删除,商娱网不承担任何责任。