多模态Transformer助力催化剂设计

摘要： 洛桑联邦理工学院（EPFL）与上海交通大学（SJTU）的研究团队联合开发了一种名为AdsMT的多模态Transformer框架，该框架能够高效、精准地预测催化剂表面的全局最低吸附能（GMAE），从而加速大规模催化剂的筛选过程。该研究成果发表于《Nature Communications》，为催化剂设计领域带来了新的突破。

正文：

长期以来，催化剂的研发一直依赖于耗时耗力的实验和计算。在大规模催化剂筛选中，快速评估催化剂表面与吸附质之间的全局最低吸附能（Global Minimum Adsorption Energy, GMAE）是至关重要的一步。然而，由于每种表面/吸附质组合都可能存在多种吸附位点和复杂构型，传统的基于密度泛函理论（DFT）的计算方法面临着巨大的时间和资源挑战。

为了解决这一难题，来自洛桑联邦理工学院（EPFL）的 Philippe Schwaller 教授团队与上海交通大学（SJTU）贺玉莲教授团队强强联合，共同研发了一种创新的多模态Transformer框架——AdsMT。该研究的共同第一作者为陈俊武（现 EPFL 博士生）和黄旭（现 UC Berkeley 博士生）。

AdsMT 的核心优势在于，它无需依赖具体的吸附位点信息，即可高效预测GMAE。该方法以催化剂表面的图结构和吸附质的特征向量为输入，通过引入跨模态注意力机制（cross-attention），有效地捕捉吸附质与表面原子之间的复杂交互作用，从而避免了对所有可能吸附构型的穷举计算。

AdsMT 模型架构解析：

AdsMT 框架由三个关键模块构成：

图编码器： 用于编码催化剂表面的图结构，提取表面原子间的结构信息。研究团队专门设计了一种图神经网络 Transformer 编码器——AdsGT，并验证了其高效性。
向量编码器： 用于编码吸附质的特征向量，捕捉吸附质的化学性质。
跨模态编码器： 用于融合表征并预测 GMAE。该模块结合了跨注意力（cross-attention）与自注意力（self-attention）两种机制，精细建模吸附质与表面原子之间的复杂交互。

在跨模态编码器中，吸附质向量表征与表面图结构表征拼接形成查询矩阵（Q），而原子嵌入（atomic embeddings）与原子深度嵌入（depth embeddings）则作为键（K）和值（V）矩阵输入。其中，原子深度向量用于编码原子在表面结构中的相对层级位置（如顶层或底层原子），帮助模型理解吸附位点的空间分布。随后在自注意力层中，吸附质、表面原子及其结构信息被统一堆叠输入，进一步通过自注意力机制（Q=K=V）整合为统一的多模态表征，用于最终的吸附能预测。

GMAE 基准数据集的构建：

为了系统评估模型在不同场景下的泛化能力，研究团队构建了三个具有代表性的用于预测全局最低吸附能（GMAE）的基准数据集，分别为 OCD-GMAE、Alloy-GMAE和 FG-GMAE。每个样本对应一个唯一的催化剂表面与吸附质组合，为 AdsMT 及后续研究提供了稳定、可靠的评测基础。

AdsMT 模型表现及迁移学习：

实验结果表明，AdsMT 融合了定制化图编码器与迁移学习策略，展现出优异的预测性能。在Alloy-GMAE 数据集上，达到了 0.143 eV 的平均绝对误差（MAE）和 66.3% 的成功率（SR，即预测值与 DFT 真值误差小于 0.1 eV 的比例）。在 FG-GMAE 数据集中，取得的最低 MAE 为 0.095 eV，SR 达到 71.9%。

为了进一步提升模型在数据稀缺场景下的表现，研究团队引入了迁移学习策略，先在包含局部最低吸附能（LMAE）的大型数据集上进行预训练。为此，研究团队从 OC20 数据集中清洗构建了一个新数据集 OC20-LMAE，涵盖 36 万余组表面/吸附质组合与其对应的 LMAE 值。在此基础上进行迁移学习后，AdsMT 在 OCD-GMAE 上取得了显著提升，MAE 降至 0.389 eV，SR 提高至 22.0%。

模型可解释性与不确定性量化：

除了预测吸附能外，研究团队还探索了跨注意力层中的注意力分数，用于估计表面上最有可能发生吸附的位置。值得一提的是，AdsMT 在训练时并未接收任何吸附位点或构型信息，但其预测结果与 DFT 基准数据具有较高一致性，展现出出色的可解释性和实际应用潜力。

此外，研究团队还训练了多个相互独立的 AdsMT 模型副本，通过预测结果的方差来估计不确定性。结果表明，AdsMT 的不确定性估计与预测 MAE 高度相关，尤其在低不确定性区间具有极高的预测准确度，有助于科研人员判断预测可信度，从而更高效地分配实验资源。

结论与展望：

AdsMT 框架的成功开发，为催化剂设计领域带来了新的可能性。通过结合多模态Transformer和迁移学习策略，AdsMT 能够高效、精准地预测全局最低吸附能，并提供可靠的不确定性估计，从而加速大规模催化剂的筛选过程。这项研究不仅展示了人工智能在材料科学领域的巨大潜力，也为未来的催化剂设计提供了新的思路和方法。

参考文献：