论文部分内容阅读
<正>近日,Google Brain的研究人员提出了稀疏激活专家模型Switch Transformer。研究人员表示,这个1.6万亿参数模型是迄今为止发布的第一个万亿级人工智能模型,其速度是Google之前开发的最大语言模型(T5-XXL)的4倍,参数规模几乎是1750亿参数的GPT-3的十倍。