更新时间：2024-04-01 08:50
DBRX 是一个基于 Transformer 的大语言模型，采用 MoE（Mixture of Experts）架构，具备 1320 亿个参数，并在 12T Token 的源数据上进行预训练。
2024年3月，Databricks 在推出一款通用大语言模型 DBRX，号称是“目前最强开源 AI”，据称在各种基准测试中都超越了“市面上所有的开源模型”。
DBRX 采用 transformer架构，包含1320亿参数，共16个专家网络组成，每次推理使用其中的4个专家网络，激活360 亿参数。
Databricks 在公司博客文章中介绍，在语言理解、编程、数学和逻辑方面，对比 Meta公司的 Llama 2-70B、法国MixtralAI公司的Mixtral 以及马斯克旗下xAI 开发的 Grok-1 等主流开源模型，DBRX均优势胜出。