「京」を使い世界最大規模の全球大気アンサンブルデータ同化に成功
～天気予報シミュレーションの高精度化に貢献～

ポイント

• １０，２４０個という世界最大規模の全球大気アンサンブルデータ同化を実現。
• 理化学研究所が開発した「ＥｉｇｅｎＥｘａ」を活用し、計算を大幅に高速化。
• 気象観測の影響が瞬時に１万ｋｍ規模に及ぶ可能性を解明。

1．背　景

スーパーコンピュータを使った天気予報を行う方法の１つに「アンサンブル予報」があります。アンサンブル予報は、風や気温などの時間変化を物理学の法則に基づきコンピュータで計算して将来の大気の状態を予測するシミュレーションを、並行して複数実行し、同等に確からしい「パラレルワールド（並行世界）」を作ります。この平均やばらつきから、確率的な天気予報を行います。

「アンサンブルデータ同化」は、気象学の中で目覚ましく発展している研究分野の１つで、アンサンブル予報で作られたパラレルワールドに、実測データを加え、どのパラレルワールドがどの程度確からしいか（現実世界に近いか）を見つけ出します。だんだんと違う方向へ向かうそれぞれのパラレルワールドの軌道を修正し、現実世界に引き戻すことで、パラレルワールドを誤差の範囲内に制御し、アンサンブル天気予報の精度を高めることができます。

これまでのアンサンブルデータ同化は、通常１００個程度以下のアンサンブル（パラレルワールドの数）を用いていますが、アンサンブルの数を増やすことでより高精度な予報が可能になります。その理由は下記の①・②です。

• ① 気象観測データは、時間の経過とともに大気の流れによってその影響が遠方に伝わりますが、データ同化を行うことで、その瞬間における誤差の統計的な関係を使って、観測データの影響を瞬時に遠方に広げることが可能です。この際に必要となる誤差の統計的な関係は、パラレルワールドのばらつき方（不確実性）から推定します。このため、アンサンブルの数が多いほど高精度に不確実性を表現し、遠方に及ぶかもしれない小さなシグナルを捉えることができます。
• ② １００個程度のアンサンブルで表現される誤差の統計的な関係には大きなノイズが含まれるため、観測の影響を２，０００～３，０００ｋｍ以下に限る必要があり、これよりも遠方への影響があるかどうかを知ることができませんでした。アンサンブルを１万個に増やすことができれば、より遠方への影響を知ることができます。

しかし、アンサンブルを１万個まで増やすことはとても難しく、途方もない挑戦だと考えられていました。シミュレーションを１万回実行することに加え、アンサンブルデータ同化の際に行う固有値計算^注４）を効率的に行う必要があるためです。今回、共同研究グループはスーパーコンピュータ「京」を使って世界最大規模となる１万個以上のアンサンブルデータ同化に挑戦しました。

2．研究手法と成果

アンサンブルデータ同化は、並列して複数のシミュレーションを実行するため、「京」のような超並列型計算機が適しています。しかし、１万個を超えるアンサンブルデータ同化は世界初の試みのため、低解像度かつ単純化された全球大気シミュレーションＳＰＥＥＤＹ（スピーディ）モデル^注５）を用いることで、個々のシミュレーションをできるだけ高速なものとしました。

本研究で採用したアンサンブルデータ同化システム「局所アンサンブル変換カルマンフィルタ（ＬＥＴＫＦ）^注６）」は並列計算効率に優れた現実的な手法で、アンサンブルの数を次元とする固有値計算を格子点の数だけ繰り返し行います。固有値計算の計算量は行列の次元の３乗に比例するため、アンサンブルの数を１００倍に増やすと、その３乗である１００万倍という膨大な計算が必要となります。そこで、ＬＥＴＫＦの固有値計算部分に、「京」向けに最適化された高性能固有値計算ソフトウェア「ＥｉｇｅｎＥｘａ（アイゲンエクサ）^注７）」を組み込み、アンサンブルデータ同化の計算を大幅に高速化、１回のＬＥＴＫＦの計算を１２５分から１５分へと８倍以上高速化しました。ＬＥＴＫＦは並列効率が非常に高いアルゴリズムで、「京」を使って高い性能が出ますが、さらにＥｉｇｅｎＥｘａとの相乗効果により、４，６０８ノード（京全体の約２０分の１）を使って、理論ピーク性能比で４４％超にあたる２６３テラＦＬＯＰＳ（１テラＦＬＯＰＳは１秒間に１兆回の浮動小数点演算ができる性能）という極めて高い実効性能を達成しました。これにより、３週間分の１０，２４０個のアンサンブルデータ同化に成功しました。

１０，２４０個のアンサンブルで見えた誤差相関やヒストグラム（統計グラフの一種）などの統計は、これまでの１００個のアンサンブルとは比較にならないほど高精度なものでした。１００個のアンサンブルでは、図１上に示すように図の中心付近の北部太平洋にある黄色い星の場所にある観測データの影響が、北半球全体にランダムに広がります。このほとんどは、物理的に意味のない統計上のノイズによるものだと考えられ、図１中のように、観測の影響を２，０００～３，０００ｋｍ以下に限定して扱う必要がありました。このような局所化を行わないと、データ同化がうまく働きません。一方、１０，２４０個のアンサンブルでは、図１下のように統計ノイズが抑えられ、実際は北部太平洋にある観測データの影響が、遠くロシア西部にまで及ぶことが分かります。

また、１０，２４０個のアンサンブルを使うことで、高次の統計量をはっきりと見ることができるようになりました。図２は、ある地点のある時刻における水蒸気量のヒストグラムですが、１００個のアンサンブルでは全く確認できない２つの山が、１０，２４０個では誤差を表現する解像度が増えて、はっきりと確認できます。図２の実線にはガウス分布（正規分布）関数を示していますが、このような大気状態のばらつきがガウス分布と異なる構造を持つこと（非ガウス性）をこれほど精細に直接確認するのは初めてのことです。

3．今後の期待

本研究によって明らかにされた１万ｋｍ以上も遠くの大気の誤差相関は、これまでは存在しないか、あるいは存在したとしても無視できるものだと考えられてきました。このような１万ｋｍを超える遠方の観測の影響が考慮できるとすれば、日本から１万ｋｍ以上離れた場所の観測データを使って、瞬時に日本の大気状態の推定誤差を減らすことができることを意味します。本成果により、より遠くの観測を有効に活用して大気状態の推定誤差を減らし、天気予報シミュレーションの精度向上が期待できます。また、大気状態のばらつきがガウス分布と異なる構造を持つことを直接確認したことにより、このような非ガウス性を考慮したさらに高度なデータ同化手法の開発が進む可能性があります。

本研究は、理研 計算科学研究機構の学際的な研究環境を生かして、２つの全く異なる基盤技術（データ同化と大規模並列数値計算技術）を組み合わせることで、効果的に進められたものです。このような学際連携は、スーパーコンピュータを使ったさまざまなシミュレーションにおけるデータ同化の研究で、今後重要な役割を果たしていくと予想されます。今回の研究成果はその最初の成功例です。

本研究は、低解像度の単純化されたＳＰＥＥＤＹモデルを用いたシミュレーション研究で、現実大気の実際の観測データを用いたものではありません。このため、本研究の成果がそのまま現実大気に適用できるかどうかは明らかではなく、今後のさらなる研究の発展が待たれます。

なお、本研究の一部は、科学技術振興機構（ＪＳＴ） 戦略的創造研究推進事業（ＣＲＥＳＴ）「科学的発見・社会的課題解決に向けた各分野のビッグデータ利活用推進のための次世代アプリケーション技術の創出・高度化」（研究総括：北海道大学・田中 譲）における研究課題「「ビッグデータ同化」の技術革新の創出によるゲリラ豪雨予測の実証」（研究代表者：三好 建正）、「ビッグデータ統合利活用のための次世代基盤技術の創出・体系化」（研究統括：国立情報学研究所・喜連川 優）における研究課題「ＥＢＤ：次世代の年ヨッタバイト処理に向けたエクストリームビッグデータの基盤技術」（研究代表者：東京工業大学・松岡 聡、共同研究者：三好 建正）および「ポストペタスケール高性能計算に資するシステムソフトウェア技術の創出」（研究総括：理研 計算科学研究機構・米澤 明憲）における研究課題「ポストペタスケールに対応した階層モデルによる超並列固有値解析エンジンの開発」（研究代表者：筑波大学・櫻井 鉄也、共同研究者：今村 俊幸）の一環として行われました。

＜参考図＞

＜用語解説＞

注１） スーパーコンピュータ「京」

文部科学省が推進する「革新的ハイパフォーマンス・コンピューティング・インフラ（ＨＰＣＩ）の構築」プログラムの中核システムとして、理研と富士通が共同で開発を行い、２０１２年９月に共用を開始した計算速度１０ペタＦＬＯＰＳ級のスーパーコンピュータ。

注２） アンサンブル

アンサンブル予報では、誤差の範囲内にある複数のシミュレーションを実行して、同等に確からしい「パラレルワールド」を作り、予報のばらつき（不確実性）を表現する。例えば、１００個のアンサンブル予報では、１００個の独立なシミュレーションを並行して実行する。

注３） アンサンブルデータ同化

データ同化は、シミュレーションと現実世界とを結びつける統計数理に基づいた学際的科学で、スーパーコンピュータを用いた天気予報の精度を左右する根幹的な役割を果たす。アンサンブルデータ同化は、複数のシミュレーションによるアンサンブル予報を用いて、日々変動する誤差を考慮する高度なデータ同化手法。アンサンブルとは、フランス語で「一緒に」「一揃い、全体」という意味。

注４） 固有値計算

正方行列を固有値および固有ベクトルに分解する計算。ＬＥＴＫＦでは、行列の平方根や逆行の計算を効率的に行うために必要となる。

注５） 全球大気シミュレーションＳＰＥＥＤＹ（スピーディ）モデル

２００３年にＭｏｌｔｅｎｉらによって開発された低解像度で単純化された全球大気シミュレーションモデル。全球を東西９６×南北４８×鉛直７の格子に区切って、各格子の気象要素（水平風、気温、水蒸気量、表面気圧、降水量など）をシミュレーションする。水平格子数は、４，６０８個。

注６） 局所アンサンブル変換カルマンフィルタ（ＬＥＴＫＦ）

ＬＥＴＫＦはＬｏｃａｌ　Ｅｎｓｅｍｂｌｅ　Ｔｒａｎｓｆｏｒｍ　Ｋａｌｍａｎ　Ｆｉｌｔｅｒの略。アンサンブルデータ同化手法の一種で、特に並列計算効率に優れた現実的な手法。メリーランド大学との協力により、データ同化研究チームが開発した。

注７） ＥｉｇｅｎＥｘａ（アイゲンエクサ）

ビッグデータにおけるデータ相関関係の解析などに必要な固有値計算が高速に行える高性能ソフトウェア。大規模並列数値計算技術研究チームが開発した。

＜原論文情報＞

T. Miyoshi, K. Kondo, and T. Imamura “The 10240-member ensemble Kalman filtering with an intermediate AGCM”.Geophysical Research Letters, 2014,
doi: 10.1002/2014GL060863

＜お問い合わせ先＞

＜研究に関すること＞

理化学研究所 計算科学研究機構 データ同化研究チーム
チームリーダー　三好 建正（みよし たけまさ）
Tel：078-940-5810　Fax：078-304-4961

＜ＪＳＴ事業に関すること＞

科学技術振興機構 戦略研究推進部 ＩＣＴグループ
松尾 浩司（まつお こうじ）
Tel：03-3512-3526　Fax：03-3222-2064
E-mail：

＜報道担当＞

理化学研究所 計算科学研究機構 広報国際室
担当　岡田 昭彦（おかだ あきひこ）
Tel：078-940-5625　Fax：078-304-4964
E-mail：

理化学研究所 広報室　報道担当
Tel：048-467-9272　Fax：048-462-4715

科学技術振興機構 広報課
Tel：03-5214-8404　Fax：03-5214-8432