目次
  1. はじめに
  2. GNNによる予測
  3. GNNの解釈性
  4. GNNによる解釈性の利点
  5. Transformerによる予測
  6. Transformerの解釈性
  7. Transformerモデルの解釈性における限界
  8. 解釈性を拡張するための手法
  9. セミテンプレート予測 
  10. 結論
  11. 参考文献

はじめに

以前の記事「化学反応予測：テンプレートベースとテンプレートフリー手法」では、化学反応生成物の予測における2つの主要なアプローチを紹介しました。本稿はその続編として、テンプレートフリー手法、特にGNN（グラフニューラルネットワーク）およびTransformerベースのモデルを用いた手法に焦点を当て、それらの解釈性と実用性を探ります。あわせて、反応テンプレートとGNNを組み合わせたセミテンプレート手法における解釈性との比較も含めて検討します。

各手法の解釈性を具体的に示すため、USPTOデータセットのサンプル反応（前稿と同じ、図2のSMILES参照）を用いたケーススタディを提示します。本稿の目的は、さまざまなテンプレートフリー手法が化学反応予測においてどのように説明可能性を発揮するのかを包括的に理解することにあります。

GNNによる予測

AIに化学を「教える」うえで、分子をグラフとして表現することは非常に理にかなっています。というのも、分子はあたかもソーシャルネットワークのように捉えることができるからです。原子は「人（ノード）」であり、結合は「関係（エッジ）」です。GNNはこうした構造に自然に適合し、メッセージパッシングと呼ばれる情報伝達機構を用いて、隣接原子間で状態をやりとりします。

従来のように原子リストを単純に入力するのではなく、GNNでは原子の結合関係と文脈から化学的反応性を学習させることが可能です。これは実際の化学挙動に即した視点をAIに与えることになります。

図1は、GNNベースモデルの出力例を示したものです。このモデルは主生成物だけでなく、副生成物や最も反応が起こりやすい部位（反応部位）の予測も行います。出力は、分子構造と反応パターンに関する学習結果に基づいています。この手法は特に、複雑または非典型的な反応において、妥当な生成物や反応部位の提案を可能にします。

GNNモデルは分子構造をグラフとして処理し、マテリアルズ・インフォマティクスの枠組みで反応生成物、副生成物、反応部位を同時に予測。構造情報に基づく反応性推論を可視化できる解釈性の高い手法。

図1. GNNベースモデル（DGL-LifeSci）による反応予測例
上部にUSPTOデータセットからランダムに選んだ反応を示し、下部には学習済みGNNによる生成物・反応部位・副生成物の予測を表示。赤色で強調された原子は反応部位および結合変化を示す。DGL-LifeSciはUSPTOデータセットで学習されており、予測精度が高い理由となっている。
出所：著者にて作成

GNNの解釈性

グラフベースのモデルにおける説明可能性の中心的な要素は、反応部位を局在化する能力です。通常これは、各原子や結合変化が反応に関与する確率を割り当てるように訓練されたランキングモデルによって実現されます。これにより、化学者が予測された生成物の背後にある論理をたどることができ、分子のどの部位が予測において「活性」だったのかが明らかになります。

ただし、解釈性には以下のような課題も存在します。

  • 対称的な原子：化学的に等価な原子（すなわち、同じ結合環境と反応性を持つ原子）が存在する分子では、モデルが1つの反応部位のみを強調する可能性があります。一見するとこれは不一致のように見えますが、正しい生成物には到達しています。このことは、精度ではなく解釈性における限界を示しています。このような場合には、局所的かつ大域的な反応性パターンを両方考慮することで、複数の等価部位があるときの曖昧さを解消する改善が期待できます。
  • 複数の反応性部位を持つ系：複雑な分子で複数の非等価な反応性部位が存在する場合、モデルは主要な反応部位を特定するのに苦戦することがあります。追加の情報（例：溶媒、温度、触媒など）がない場合、モデルは複数の原子に対して中程度の確率を割り当てる傾向があり、予測が拡散的または決め手に欠けるものになります。

GNNによる解釈性の利点

GNNによる反応予測における大きな利点の一つは、順序不変性を本質的に備えている点です。たとえば、A + B → C のような反応では、AとBの入力順序（Aが先かBが先か）は化学的には意味を持ちません。従来型のモデルでは特別な入力形式が必要になる場合がありますが、GNNは分子グラフのすべての順列を同一に扱うよう設計されています。

この対称性を考慮した設計は、化学の本質—すなわち反応性は結合と電子の分布に依存し、入力の順序には依存しない——と非常に良く一致します。したがって、GNNは化学的プロセスに適しており、不要な入力順序の違いに惑わされることなく、より頑健かつ化学的に直感的な予測を可能にします。

Transformerによる予測

GNNが分子グラフから反応性を学習する手法であるのに対し、化学を一種の「言語」として扱う別のアプローチも存在します。この方法では、分子はグラフとしてではなく、SMILESやSMARTSといった文字列として表現されます。

このように分子を文字列ベースで表現することで、特にTransformerと呼ばれる言語モデルを化学に応用する道が開かれました。Transformerは、ある種の反応物が特定の条件下でどのように変換されるかといった配列中のパターンを学習することができます。

これを実現するために、化学文字列内の各トークンは「埋め込みベクトル」（コンテキストに基づいて化学的意味を持つ高次元ベクトル）に変換されます。Transformerは反応全体の配列（たとえば反応SMILES全体）を考慮することで、各トークンの意味を文脈に応じて更新します。これは、局所的なパターンにとどまらず、反応の異なる部位が互いにどう影響し合うかといった複雑な依存関係を学習することを意味します。

図2の例では、このモデルがグリニャール型反応を認識し、C–C結合形成という期待される変換パターンを推論している様子が示されています。これは、Transformerが反応型の認識と生成物の予測を一体で実行できることを示しており、文字列ベースの入力から化学的推論を行うための有力なツールであることを表しています。大規模なデータセットで訓練されると、Transformerモデルは実質的に化学における大規模言語モデル（LLM）となり、反応配列を解釈し、化学的に妥当な出力を生成する能力を備えるようになります。

TransformerはSMILESを入力として、化学反応の文脈を捉えつつC–C結合の形成を予測します。マテリアルズ・インフォマティクスにおいて、テンプレート不要な反応型予測の強力な手段として注目されている。

図2. TransformerベースのLLMによる反応パターンの学習例
パターンマッチングだけではなく、学習された化学的推論の適用が行われている。
出所：著者にて作成

Transformerの解釈性

Transformerベースのモデルがどのように予測を行っているのかを理解するために、内部機構、特にアテンションの重みを解析することが有効です。アテンション重みとは、モデルが予測を行う際に入力のどの部分に着目しているかを数値的に示すものです。化学反応の文脈においては、これらのアテンションスコアを抽出・可視化することで、どの原子やトークンが予測において重要とみなされたかを確認することができます。

この考え方においては、アテンションが高く与えられた領域は、たとえばカルボニル基中の求電子性炭素や、置換反応における脱離基のように、化学的に意味のある特徴と一致する傾向があります。つまり、モデルは妥当な出力を生成するだけでなく、判断の背後にある理由についての洞察も提供し、学習された化学的推論を読み取る「窓口」となるのです。

この考えを具体的に示すために、図3ではSMILES形式で与えられた反応入力と、それに対応する予測生成物が示されています。予測の下には、モデル最終層における全アテンションヘッドからのアテンション重みの平均を示したヒートマップが表示されています。これにより、どの入力部分がどの出力部分の予測に対して重要だったかを追跡することが可能になります。たとえば、デコーダートークン「ccc」は、エンコーダートークン「CCOC」に対して最も高いアテンション（スコア：0.0395、ヒートマップ中緑枠）を示しており、モデルがこの入力部分を生成物中の特定フラグメントと結びつけたことを意味しています。

Transformerによる化学反応予測で、アテンションヒートマップを用いて重要なトークンを視覚化。マテリアルズ・インフォマティクスにおける機械学習モデルの解釈性向上に役立つ。

図3. Transformerモデルによる化学反応のサンプルに対するアテンション重みの可視化
モデルは化学的に意味のあるトークンに高いアテンションを割り当てており、反応機構に関する学習理解が反映されている。視認性向上のため、‘.’や’_’などの特殊文字は表示から除外している。
出所：著者にて作成

Transformerモデルの解釈性における限界

Transformerベースのモデルは化学における予測性能において非常に優れていますが、解釈性に関してはいくつかの課題を抱えています。最大の制約の一つは、SMILES文字列のトークン化が化学的な意味に基づいていないことです。化学的に意味のある部分構造が、文法的な理由で不自然なトークンに分割されることがあり、それが学習された表現の解釈性を損なう可能性があります。

図3の例においては、最終デコーダ層から抽出されたアテンション重みを用いて、モデルが最も注目した入力トークンを特定しました。図4では、それらのトークンのランキングが示されており、どのトークンが予測にどのように貢献したかを確認することができます。トークンをSMILES表記中のドット（.）によって反応物ごとに手動でグループ化することで、それぞれの反応物の構造をおおよそ再構成することが可能になります。

しかしながら、これらの再構成されたフラグメントを用いたとしても、アテンションスコアだけから結合の形成や原子の対応関係といった具体的な化学変換を推測することは困難です。専門的な訓練を受けた化学者であれば、文脈や直感から反応機構を類推できるかもしれませんが、非専門家にとっては、入力と予測の関係はほとんど理解不能なままです。

今回のケースでは、再構成された反応物の一方が、GNNの出力で特定された反応部位に対応しており、もう一方は副生成物であると考えられます。ただし、GNNのような補助的な構造情報や明示的な手がかりがない限り、それらの役割をTransformerの出力からだけで解釈するのは難しく、Transformerの予測には解釈性の限界があることが浮き彫りになります。

また、立体化学（キラリティ）の扱いにも問題があります。図1に示された元の反応に含まれる最大の反応物は、図3において最も高いアテンションを受けている反応物と一致しますが、そのSMILES表現にはキラリティや対称性の情報が含まれていません。同様の問題は、図3の予測生成物と図1の正解生成物の間でも見られます。Transformerが立体的に正確な反応物や生成物を扱うためには、ステレオ化学を明示的に符号化したアイソメリックSMILES（たとえば「@」や「@@」など）による訓練が必要です。標準的なTransformerモデルは、こうした構造的対称性やキラリティを考慮しないため、反応物の順序や対称性が異なる場合に一貫性のない予測や一般化の低下を招くことがあります。

アテンションの高いトークン群を反応物構造として再構成し、求核性・求電子性の予測を通じて反応役割を解釈。Transformerの出力解釈を補助するマテリアルズ・インフォマティクス的手法。

図4. 最も高いアテンションを受けたエンコーダートークンのランキングと構造的解釈
最終デコーダ層の全トークンに対して累積アテンションスコアを算出し、化学的でない記号（‘_’, ‘.’, ‘(’, ‘)’, ‘[’, ‘]’など）を除外。得られたトークンを反応物ごとに手動でグループ化し、入力構造の概算を再構築した。この再構成によってある程度の解釈は可能になりますが、どの結合が形成・解離したかを明示することはできず、非専門家にとっての解釈性は依然として限定的。
出所：著者にて作成

解釈性を拡張するための手法

Transformerベースのモデルによる予測の解釈性をさらに向上させるために、アテンションスコアの可視化に加えた化学的解析を提案します。図4の例に基づいて、椴山研究室が開発したChempropベースのモデルを用い、最も注目されたエンコーダートークンに対応する構造が求核剤（nucleophile）あるいは求電子剤（electrophile）のどちらとして機能するかを推定しました。このツールは、求核性および求電子性という反応性指標を数値的に予測するため、反応においてこれらの役割を果たしうる全ての反応物を考慮する必要があります。再構成された構造体および反応物は表1に示されています。

表1にある3つ目の分子（C1CCOC1）は溶媒であり、他の2つの化合物を溶解させることはできますが、それらと反応はしません。したがって、注目すべきは残りの2分子です。

まず、CC(C[Mg⁺])C と C1(C(N(OC)C)=O)C=NC(O)=CC=1 のNu（求核性）とEl（求電子性）の分散値を比較しました。その差が大きいのはCC(C[Mg⁺])Cであり（分散値：12.040）、さらなる解析に適した対象となります。この分子においてはNuの分散（1.905）がElの分散よりもはるかに小さく、主に求核剤として機能していることが強く示唆されます。一方、C1(C(N(OC)C)=O)C=NC(O)=CC=1 は、NuとElの分散差が約2.3であり、反応相手によっては求核剤としても求電子剤としても振る舞いうる両義的な挙動を示します。ただし、この反応系ではCC(C[Mg⁺])Cが求核剤であるため、もう一方は求電子剤として機能していると解釈するのが妥当です。この解析から、反応部位としてC15およびC6が推定されます。ただし、このような推定作業は非専門家にとっては依然として困難である点に注意が必要です。

要約すると、このような性質駆動型の解析は、アテンションに基づく解釈を補完する有用な手段となり、予測された生成物における主要反応物の役割を確認する助けになります。一方で、Transformerによる予測の解釈には、トークンからの構造再構成、アテンション重みの抽出と反応性分析、さらには有機合成の観点からの反応部位の特定など、広範な後処理と専門的な介入が必要となります。GNNが出力するより機構的に根拠のある結果と比較すると、Transformerの解釈性はより間接的かつ労力を要するものだといえます。

表1. Transformer予測で最も注目された反応物における反応性パラメータ（求核性・求電子性）の予測値
※Cl⁻は電荷中和のための対イオンとして使用されており、反応性には寄与しないため省略

セミテンプレート予測 

より包括的な化学反応予測の枠組みとして、一般化反応テンプレートとGNNを組み合わせたハイブリッドアプローチが存在します。その一例がセミテンプレート手法であり、GNNのように反応部位と反応機構を予測するだけでなく、一般化された反応テンプレートも出力することでさらなる解釈性の層を提供します。本節では、前節で分析したものと同じ反応に対して、LocalTransformを適用しました。図5に示されている通り、この手法によって予測された一般化テンプレートは、GNNが特定した反応部位（図1参照）と良い一致を示しています。LocalTransformは分子グラフに対してDGLライブラリ（DGL-LifeSciと同じ）を使用しているため、生成物と反応部位の両方において高精度な予測が可能となっています。この比較から導かれる重要な示唆は、異なるモデリング手法は、異なるレベルと形式の解釈性を提供するという点です。

興味深いことに、このセミテンプレート手法による反応部位の予測は、椴山グループが開発したツールによる解析結果ともうまく一致しています。したがって、解釈性の観点においては、反応部位の解析と予測は有効な手がかりと見なすことができます。

まとめると、セミテンプレート手法は、GNNの予測能力と一般化テンプレートの機構的明確性を組み合わせることで、精度と解釈性のバランスに優れた手法となっています。今回の事例においては、GNNモデルと一致するかたちで反応部位を正確に特定し、学習データとの一致によって生成物も完全に正しく予測できました。ただし、未学習の化学やデータ不足の反応物に対する精度を確認するためには、さらなる検証が必要です。

GNNは構造と反応部位を直感的に示し、Transformerはトークン解析を通じた文脈的推論、セミテンプレート法は両者の特長を統合。マテリアルズ・インフォマティクスにおける化学反応予測手法の比較図。

図5. 化学生成物予測における3手法（GNN・セミテンプレート・Transformer）の解釈性比較
GNNでは、予測された反応部位が赤く明示され、予測メカニズムの可視化が可能。セミテンプレートでは、一般化テンプレートに基づき反応中心が特定され、GNNによりハイライトされた。Transformerでは、アテンション重みの高いトークンを抽出し、それに基づいて分子構造の一部を再構築することで、間接的に予測時の注目箇所を示している。
出所：著者にて作成

結論

本稿では、化学反応生成物の予測における3つの手法（GNN・Transformer・セミテンプレート）の解釈性を比較・検討しました。GNNは反応中心を明示的に予測することで、活性原子の直接的な可視化と明確な機構理解を可能にし、直感的な解釈性を備えています。Transformerは、反応の全体的文脈や複雑性を捉える力に優れていますが、化学的意味に基づかないトークン化の影響により本質的な解釈性が制限されており、有意な洞察を得るためには追加の手作業が必要です。セミテンプレート手法は、反応部位と変換パターンの両方を予測することにより、解釈性を高めることができますが、既知の反応テンプレートへの依存が強いため、学習データセット外への一般化には限界があります。

これらの知見から、いずれの手法も高精度な予測は可能である一方で、解釈性の水準、洞察の抽出容易性、汎化能力といった観点では特性が異なり、それぞれの手法が反応モデリングの異なる段階やニーズに適していることが明らかになりました。

参考文献

  1. Coley, C. W.; Jin, W.; Rogers, L.; Jamison, T. F.; Jaakkola, T. S.; Green, W. H.; Barzilay, R.; Jensen, K. F. A Graph-Convolutional Neural Network Model for the Prediction of Chemical Reactivity. Chem. Sci. 2018, 10 (2), 370–377. https://doi.org/10.1039/c8sc04228d. 
  2. Li, M.; Zhou, J.; Hu, J.; Fan, W.; Zhang, Y.; Gu, Y.; Karypis, G. DGL-LifeSci: An Open-Source Toolkit for Deep Learning on Graphs in Life Science. ACS Omega 2021, 6 (41), 27233–27238. https://doi.org/10.1021/acsomega.1c04017.
  3. Sagawa, T.; Kojima, R. ReactionT5: A Large-Scale Pre-Trained Model towards Application of Limited Reaction Data. arXiv 2023. https://doi.org/10.48550/arxiv.2311.06708.
  4. Ucak, U. V.; Ashyrmamatov, I.; Lee, J. Improving the Quality of Chemical Language Model Outcomes with Atom-in-SMILES Tokenization. J. Cheminformatics 2023, 15 (1), 55. https://doi.org/10.1186/s13321-023-00725-9.
  5. Chen, S.; Jung, Y. Deep Retrosynthetic Reaction Prediction Using Local Reactivity and Global Attention. JACS Au 2021, 1 (10), 1612–1620. https://doi.org/10.1021/jacsau.1c00246.
  6. Chen, S.; Jung, Y. A Generalized-Template-Based Graph Neural Network for Accurate Organic Reactivity Prediction. Nat. Mach. Intell. 2022, 4 (9), 772–780. https://doi.org/10.1038/s42256-022-00526-z.
  7. Yoshikai, Y.; Mizuno, T.; Nemoto, S.; Kusuhara, H. Difficulty in Chirality Recognition for Transformer Architectures Learning Chemical Structures from String Representations. Nat. Commun. 2024, 15 (1), 1197. https://doi.org/10.1038/s41467-024-45102-8.
  8. Schwaller, P.; Laino, T.; Gaudin, T.; Bolgar, P.; Hunter, C. A.; Bekas, C.; Lee, A. A. Molecular Transformer: A Model for Uncertainty-Calibrated Chemical Reaction Prediction. ACS Cent. Sci. 2019, 5 (9), 1572–1583. https://doi.org/10.1021/acscentsci.9b00576.
  9. Tetko, I. V.; Karpov, P.; Deursen, R. V.; Godin, G. State-of-the-Art Augmented NLP Transformer Models for Direct and Single-Step Retrosynthesis. Nat. Commun. 2020, 11 (1), 5575. https://doi.org/10.1038/s41467-020-19266-y.
  10. Zhang, Y.; Wang, L.; Wang, X.; Zhang, C.; Ge, J.; Tang, J.; Su, A.; Duan, H. Data Augmentation and Transfer Learning Strategies for Reaction Prediction in Low Chemical Data Regimes. Org. Chem. Front. 2021, 8 (7), 1415–1423. https://doi.org/10.1039/d0qo01636e.
  11. Momiyama Lab. Chemical Reactivity Prediction App. 2023. Retrieved June 3, 2025. (Review only)