2021年10月28日
東京大学国際高等研究所カブリ数物連携宇宙研究機構（Kavli IPMU）
1. 発表概要
筑波大学計算科学研究センターの吉川耕司 (よしかわ こうじ) 講師を中心とし、東京大学国際高等研究所カブリ数物連携宇宙研究機構 (Kavli IPMU) の吉田直紀 (よしだ なおき) 主任研究者 (兼 東京大学大学院理学系研究科教授) 、京都大学基礎物理学研究所の田中賢 (たなか さとし) 特定研究員からなる研究グループは、ブラソフシミュレーションと呼ばれる全く新しい手法を世界で初めて採用し、スーパーコンピュータ「富岳」の全システムを用いて宇宙大規模構造におけるニュートリノの運動に関する大規模数値シミュレーションを実行することに成功しました。ブラソフシミュレーションは、従来の計算手法（N体シミュレーション）に比べて、ノイズのない数値シミュレーションを実行することが可能ですが、計算量や必要なメモリ容量がかなり大きくなることが問題でした。本研究では、革新的な計算アルゴリズムと「富岳」に最適化したコーディング手法と並列化手法を用いて、90％を超える並列化効率を達成し、さらに、富岳の全システムを用いた数値シミュレーションによって、計算領域を約400兆個ものメッシュに分割した世界最大のブラソフシミュレーションを実施することに成功し、N体シミュレーションによる過去最大規模のニュートリノの数値シミュレーションと同等規模の数値シミュレーションに要する時間を約10分の１に短縮することができました。
本研究論文は、スーパーコンピュータを用いた科学・技術分野の研究の中で、その年に最も顕著な成果を上げた研究グループに与えられる米国計算機学会のゴードン・ベル賞の最終候補（ファイナリスト）に選出されました。ゴードン・ベル賞の最終発表は米国ミズーリ州セントルイスのアメリカズセンター及びオンラインで開催される国際会議において、現地時間11月18日12時30分より行われます。
2. 発表内容
【研究の背景】
宇宙大規模構造形成におけるニュートリノの運動の数値シミュレーションは、宇宙の銀河分布を手掛かりにしてニュートリノ質量や質量階層などの素粒子物理学にとって重要な物理量を測定する研究に欠かせません。宇宙大規模構造形成の数値シミュレーションでは、物質の空間分布や速度分布を統計的にサンプリングして多数の質点の位置と速度で表現する N 体シミュレーションという手法が採用されてきました。この手法は過去数十年にわたって研究され、改良が加えられてきましたが、物質分布を統計的にサンプリングするために、数値シミュレーションの結果に人工的な数値ノイズ（ショットノイズ）が含まれてしまうという欠点があります。また、ニュートリノが宇宙大規模構造に及ぼす主な力学的影響としては、ニュートリノのうち少数の高速度成分が重要な役割を果たす無衝突減衰 (注3）という物理過程が挙げられますが、統計的なサンプリングでは高速度成分を忠実にサンプリングできず、正確な数値シミュレーションとなっていない可能性が指摘されていました。
本研究グループは、2015年2月から2020年3月まで実施された「ポスト『京』重点課題9『宇宙の基本法則と進化の解明』」という、スーパーコンピュータ「富岳」（図１) で行う数値シミュレーションを推進する研究プロジェクトにおいて、宇宙大規模構造 (注1) におけるニュートリノ (注2) の運動を正確に計算するための新たな数値シミュレーションコードの開発に取り組んできました。この新しい数値シミュレーションでは、ショットノイズの影響を受けない計算手法として、多数の粒子の集団的な振る舞いを記述するブラソフ方程式を直接数値的に解く手法（ブラソフシミュレーション）を採用しています。この手法は、位相空間と呼ばれる空間3次元と速度空間3次元を合わせた合計6次元の仮想的な空間を多数のメッシュに分割して扱い、膨大な記憶容量と計算量が必要となるため、これまで実際に採用された例はありませんでしたが、2019年まで稼働していた理化学研究所のスーパーコンピュータ「京」や筑波大学と東京大学が共同運用するスーパーコンピュータ Oakforest-PACS といった国内有数の大規模スーパーコンピュータを用いて、2020年に本研究グループが世界で初めて実現しました。
【研究内容と成果】
本研究では、2020年から稼働を開始した世界最高の演算性能をもつ理化学研究所計算科学研究センターのスーパーコンピュータ「富岳」を用い、宇宙大規模構造形成におけるニュートリノのブラソフシミュレーションを高い演算性能と並列化効率 (注4) で実行することを目指して、計算プログラムの最適化を行いました。
まず、数値シミュレーションを高速化するために、ブラソフ方程式の数値解法としてこれまでになく高精度で、かつ演算量の少ないアルゴリズムを開発し、また、スーパーコンピュータ「富岳」で使われているプロセッサに合わせてプログラムの実装を全面的に見直すことで、この種類の数値シミュレーションとしては極めて高い、理論ピーク性能の15%という実行性能を達成しました。また、計算ノード間のネットワーク構成に合わせた並列化を行い、最大で96%という非常に高い並列化効率を達成しました。
また、「富岳」の全システム (注5)（158,976ノード）の約93%にあたる147,456 ノードを用いて、最大で約400兆個のメッシュを使ったニュートリノの数値シミュレーションを行うことに成功し、中国のスーパーコンピュータ「天河二号(Tianhe-2)」で実行された、過去最大の数値シミュレーションと同等の数値シミュレーションを、約10倍高速に実行することに成功しました。
本研究論文は、2021年のゴードン・ベル賞 (注6) の最終候補に選ばれました。同賞の受賞者は2021年11月14 -19日に米国ミズーリ州セントルイスで開催される国際会議「The International Conference for High Performance Computing, Networking, Storage and Analysis (SC21)」において発表されます。
【今後の展開】
本研究では、ブラソフシミュレーションの大規模な数値シミュレーションをスーパーコンピュータによって高い並列化効率で実行できることを示しました。このことは、これまで N 体シミュレーションに代表される、粒子シミュレーションの手法で行われてきた数値シミュレーションを行う際の選択肢が増えたことを意味します。
粒子シミュレーションとブラソフシミュレーションは、どちらも物質の集団的な振る舞いを記述するためのシミュレーション手法ですが、長所・短所は互いに相補的で、取り扱う物質の性質によって使い分けるのが理想です。実際に、本研究で行った数値シミュレーションでは、ニュートリノの運動の計算にはブラソフシミュレーションを用いていますが、ダークマターの運動については、N 体シミュレーションの手法を採用しています。このように、両者を組み合わせて使うことも本研究が世界で初めて実現しました。
また、ブラソフシミュレーションはダークマターやニュートリノの重力相互作用の数値シミュレーションだけではなく、磁場が重要な役割を果たす磁気プラズマの数値シミュレーションにも適用可能です。実際に核融合プラズマや宇宙における磁気プラズマの振る舞いを研究する数値シミュレーションでは、本研究のような6次元ではなく計算コストの小さい低次元の位相空間においてではありますが、ブラソフシミュレーションが用いられています。今後はこのような分野においてもブラソフシミュレーションやそれをさらに発展させたシミュレーション技法を利用することが可能になると考えられます。
本研究成果につきましては、筑波大学のプレスリリース記事のページ も併せてご覧ください。
3. 発表雑誌
雑誌名: SC ’21: Proceedings of the International Conference for High Performance Computing, Networking, Storage and Analysis
論文タイトル: A 400 Trillion-Grid Vlasov Simulation on Fugaku Supercomputer: Large-Scale Distribution of Cosmic Relic Neutrinos in a Six-dimensional Phase Space
著者: Kohji Yoshikawa, Satoshi Tanaka, Naoki Yoshida
著者所属:
DOI: https://doi.org/10.1145/3458817.3487401 (2021年11月14日掲載)
論文のアブストラクト (ACM Digital Library のページ)
4. 用語解説
(注1) 宇宙大規模構造
宇宙の銀河の分布が示す非一様な構造。銀河がほとんど存在しない「ボイド」と呼ばれる領域や銀河が多く集まる「フィラメント構造」が存在する。宇宙の質量の大半を占めるダークマターも同様の分布をしており、宇宙初期の非常に小さな密度揺らぎが重力相互作用によって増大して宇宙大規模構造を形成すると考えられている。
(注２) ニュートリノ
電気的に中性な素粒子の一種で素粒子物理学における「弱い相互作用」に関わる。従来は光子と同様に質量を持たないと考えられていたが、日本のスーパーカミオカンデなどによる素粒子実験で僅かながら質量を持つことが明らかとなった。
(注３) 無衝突減衰
速度分散をもつ多数の粒子が重力相互作用をする場合、速度分散の大きさに依存したある空間スケール以下の波長をもつ密度揺らぎが時間とともに減衰する現象。速度分散が大きいほどより波長の大きな密度揺らぎが減衰する。
(注４) 並列化効率
大規模な数値シミュレーションを実行する場合、膨大な演算を複数のネットワークで相互接続された計算機（ノード）に分割して担当させ、必要に応じてノード間でデータをネットワークで転送しつつ高速に計算する。このとき「N台のノードを用いる場合は、1台のノードを用いる場合と比較して計算時間が1/Nになる」、もしくは「計算量がN倍になってもノード台数をN倍にすればかかった計算時間は同じになる」のが理想的だが、実際はネットワークを介したノード間のデータの転送時間などにより計算時間が理想的な場合よりも長くなってしまう。理想的な計算時間を実際にかかった時間で割った比率を並列化効率と呼ぶ。
(注５)「富岳」の全システム
「富岳」の通常運用では、利用者は割り当てられた一部のシステムで研究を実施するが、本研究は文部科学省の『「富岳」全系規模大規模計算実施公募』で採択されたものであり、「富岳」を運用する理化学研究所の全面的な支援を受け、全システム規模の大規模計算を実施することで遂行した。
(注６) ゴードン・ベル賞
ゴードン・ベル賞（ACM Gordon-Bell Prize）は、米国の計算機工学者として著名なゴードン・ベル（Gordon Bell）氏が1987年に並列計算機技術開発を促進するために創設した。毎年11月に開催される高性能計算技術に関する国際会議 SCで、大規模並列シミュレーションの科学・技術分野への応用で最も優れた成果を上げた論文に授与される。
5. 問い合わせ先
（研究内容について）
吉川 耕司（よしかわ こうじ）
筑波大学計算科学研究センター 講師
Email: kohji_at_ccs.tsukuba.ac.jp
TEL: 029-853-6490
URL: https://www2.ccs.tsukuba.ac.jp/Astro/Members/kohji/
*_at_を@に変更してください
（報道に関する連絡先)
筑波大学 計算科学研究センター 広報・戦略室
E-mail: pr_at_ccs.tsukuba.ac.jp
TEL: 029-853-6260
*_at_を@に変更してください
京都⼤学 総務部広報課 国際広報室
E-mail：comms_at_mail2.adm.kyoto-u.ac.jp
TEL：075-753-5729
*_at_を@に変更してください
東京大学国際高等研究所カブリ数物連携宇宙研究機構 広報担当 小森 真里奈
E-mail：press_at_ipmu.jp
TEL: 04-7136-5977
*_at_を@に変更してください
理化学研究所 広報室 報道担当
E-mail：ex-press_at_riken.jp
*_at_を@に変更してください
関連リンク
「富岳」を用いた宇宙ニュートリノの数値シミュレーションに成功〜2021年ゴードン・ベル賞ファイナリストに選出〜 (筑波大学のプレスリリース記事)