JSTトッププレス一覧 > 共同発表

平成27年12月11日

東京大学
科学技術振興機構(JST)

100ギガビットネットワークを高効率利用するTCP通信技術を確立

~日米間100ギガビットネットワークを用い73ギガビット/秒のTCP通信を実現~

ポイント

東京大学 大学院情報理工学系研究科の平木 敬 教授らの研究グループ、WIDEプロジェクト注1)NTTコミュニケーションズ(株)注2)と国内外のネットワーク機関による国際共同チームは、超高速科学技術データ通信・利用研究の一環としてTCP注3)通信を超高速化する研究を実施してきました。今回、100ギガビットネットワーク注4)を通信距離にかかわらず高効率利用するTCP通信技術(LFTCP注5))を確立し、同技術の有効性を2015年11月に利用可能となった日米間100ギガビットネットワークを用い73ギガビット/秒のTCP通信を実現しました。現在広く用いられているTCP通信の限界(本実験ネットワークにおいては29ギガビット/秒)の2倍を超える通信速度を実現したことは世界初です。100ギガビットネットワークの活用、特に最先端の観測・測定機器から生み出される超多量のデータを利活用するための基本技術として使用する予定です。本成果は、内閣府革新的研究開発推進プログラム(ImPACT)「セレンディピティの計画的創出による新価値創造」注6)(合田 圭介 プログラム・マネージャー)に基づく成果です。

本成果は、以下の事業・研究プロジェクトによって得られました。

PM

平木 敬 教授

内閣府「革新的研究開発推進プログラム(ImPACT)」

プログラム・マネージャー 合田 圭介
研究開発プログラム セレンディピティの計画的創出による新価値創造
研究開発課題 FPGAを用いた超高速同定処理装置開発
研究開発責任者 平木 敬(東京大学 情報理工学系研究科 教授)
研究開発期間 平成26年10月~平成29年3月

本研究開発課題では、1マイクロ流路あたり10万細胞/秒で同定可能なセレンディピター用の画像およびセンサーデータ処理を実現するFPGAによるハードウェア処理を中心とした情報処理システムの研究開発に取り組んでいます。

<合田 圭介 プログラム・マネージャーのコメント>

PM

本成果は、内閣府革新的研究開発推進プログラム(ImPACT)「セレンディピティの計画的創出による新価値創造」のプロジェクト4「細胞同定技術開発」に参画する東京大学の研究チームによるものです。本プロジェクトでは、高速流体中の細胞を一つずつ超高速に計測し、その結果に対しビッグデータ処理を行うことで、1細胞の分解能で細胞を弁別する情報処理システムの研究開発を行っています。非常に多数の細胞の超高速計測にあたって、50ギガビット/秒を超える超多量データが連続的に生成されるため、このデータの転送を実現するためにLFTCP技術の確立が不可欠です。今回の成果は本プロジェクトの基礎技術として重要な役割を果たします。

<発表内容>

これまで、多量データの高速通信は、科学技術研究に不可欠な技術として、その重要性は広く認識され、10ギガビットネットワークを用いた通信は天文学、高エネルギー物理学や超高精細度画像通信に広く用いられてきました。本研究チームは10ギガビットネットワークを高効率で利用するためのTCP通信技術を確立し、10ギガビットネットワークが広く用いられる技術的基礎を築きました。しかしながら、新たに登場した100ギガビットネットワークでは、その超高性能のため現在使われているTCP通信技術を用いては性能をフルに活用できず、活用にはUDPプロトコルを用いる、多数のTCP通信を並列に使うなど、通信方式の変更が必要でした。

今回、TCPソフトウェアを改良し、100ギガビットネットワークを遅延時間の大小に関わらず高速なTCP通信で活用するLFTCP(Long Fat pipe TCP)ソフトウェアを開発しました。LFTCPは従来のTCP通信速度限界をプロトコルおよびTCPソフトウェアを拡張することにより、TCPプロトコルとしての性質を変えずに100ギガビットネットワークに対応できます。LFTCPを、精密ソフトウェアペーシング方式と組み合わせることにより、単一のTCP通信で従来のTCP通信の限界を大きく超えることが可能になりました。LFTCPはTCPプロトコルであるため、複数のTCPストリーム注7)でネットワークを共用する場合にも、公平な帯域注8)の分割利用が可能であるとともに、パケットロスがあるネットワークにおいても信頼性を持ってデータを転送することが可能です。なお、このLFTCPはオープンソース・ソフトウェアとして公開し、他の研究機関等で利用することが可能です。

今回行った実証実験は、2015年11月に利用が開始された、日米間で最初の100ギガビットネットワークであるTransPAC/Pacific Waveネットワーク注9)を用い、米国テキサス州オースチン市で開催されたSC15(スーパーコンピューティング2015)国際会議の展示場に設置された東京大学のPC2台の間のデータ通信により実施されました。

ネットワークの経路は、(1)SC15のネットワークであるSCinet、(2)米国内はCenturyLink、(3)太平洋横断はTransPAC/Pacific Wave、(4)日本ではWIDEプロジェクト/Pacific Waveのルータにより折り返し、逆経路でSC15展示場に設置され、もう一台のPCでデータ受信しました。この経路は全て100ギガビットネットワークです。実験で用いたネットワークの往復遅延時間は296ミリ秒で、米国テキサス州オースチン市と東京の往復距離は21,153kmです(図1図2)。なお、本実証実験は、このTransPAC/Pacific Wave回線での最初の成果でもあります。

データ送信・受信に用いたPCは、安価なデスクトップPCで、プロセッサにはインテルのCorei7 6770K(Skylake世代)、ネットワークインタフェースにはメラノックス社のConnectX®-4ネットワークアダプタを用い、PCのOSにはCentOS Linux 7.1(1503)を用い、データ通信ソフトウェアとしてiperf3を使用しました。実験は2015年11月16日から17日にかけて実施しました(図3)。

実験の結果、通常のTCPを用いると29ギガビット/秒のデータ通信速度(理論値の97.7%)しか得られなかったことに対し、LFTCPを用いると73ギガビット/秒の通信速度を達成しました。これは、単一のTCP通信によるインターネット上の通信速度として従来の記録を破る世界最高値です(図4)。

本成果は、「内閣府革新的研究開発推進プログラム(ImPACT) セレンディピティの計画的創出による新価値創造」の東京大学研究チームの研究実施によるものです。本プロジェクトでは、高速流体中の細胞を一つずつ超高速に計測し、その結果に対しビッグデータ処理を行うことで、非常に希少な細胞を弁別する情報処理システムの研究開発を行っています。このビッグデータ処理を実現するためには、非常に多数の細胞の超高速計測が必須であり、50ギガビット/秒を超える超多量データが連続的に生成されます。このデータの転送を実現するためには、LFTCP技術は不可欠であり、本ビッグデータ処理を実現するための基礎技術として重要な役割を果たします。

この成果に関して特筆すべきことは、以下の通りであり、日本の高速インターネット技術が世界の最高レベルであることを、具体的な形として示しています。

  1. (1) これまでのTCPの理論限界の2倍を超えるデータ転送速度を実現し、100ギガビットネットワークおよび更に高速な将来の超高速インターネット利用に道を開きました。
  2. (2) 使用したシステムは通常のPCであり、そのオペレーティングシステムに、Linuxオペレーティングシステム、両端に設置したサーバのネットワークインタフェースカードにはメラノックス社製ConnectX®-4を用いました。これらのシステムは特殊なものではなく、一般的に入手可能なものです。また、LFTCPは送信側PCに用い、受信側PCでは従来のTCPで受信します。従って、今回実現した技術は広く、容易に利用可能です(図5)。
  3. (3) 本技術により、科学技術データのビッグデータ処理に必要な連続的に生成される超多量測定データの通信に道が拓かれました。東京大学の研究チームが取り組んでいる、IPネットワークで統一するビッグデータ処理システムの基盤技術となります。

本発表の研究チームメンバーは、東京大学 情報理工学系研究科(平木 敬、稲葉 真理、浅井 大史、小泉 賢一)、東京大学 理学系研究科(玉造 潤史、本城 剛毅、下見 淳一郎)、WIDEプロジェクト(村井 純、加藤 朗、山本 成一、関谷 勇司)、NTTコミュニケーションズ(長谷部 克幸)、Pacific Northwest Gigapop(Jonah Keough、Schlyler Batey)で構成されています。

なお、下記URLからもアクセスできます。
http://data-reservoir.adm.s.u-tokyo.ac.jp/press20151117/

<参考図>

図1 実験で使用したネットワーク経路

図2 実験機器および経路

図3 実験用PCと実験用ルータ

図4 ネットワーク上のデータ転送バンド幅

図5 ハードウェア・ソフトウェアの構成

図6 ネットワーク上のデータ転送バンド幅

<用語解説>

注1) WIDEプロジェクト
インターネットに関連する各種技術の実践的な研究開発を行う研究プロジェクトであり、1988年から活動を行っています。多くの産学関連組織と連携して、インターネットの様々な発展に寄与してきました。Root DNSサーバの一台であるM.ROOT-SERVERS.NETの運用を1997年から行っており、また今回の実証実験で用いた100ギガビットネットワークの日本側ホストとして、Tokyo Research Exchangeの構築を進めており、内外の研究ネットワークの相互接続を促進する予定です。WIDEプロジェクト ファウンダーは慶應義塾大学 環境情報学部 教授 村井 純。 詳細は、http://www.wide.ad.jp/を参照ください。 連絡先は、E-mail:、Tel:0466-49-1100、Fax:0466-49-1101。
注2) NTTコミュニケーションズ株式会社
NTT Comは、「Global Cloud Vision」に基づき、お客さまのICT環境のクラウド化・データセンターへの移行を契機に、ネットワーク・音声などのアプリケーション・セキュリティまで含めたグローバル共通品質のサービスを最適に組み合わせ一括運用する、通信事業者ならではの「シームレスICTソリューション」を通じ、お客さまの経営改革に貢献します。 詳細は、http://www.ntt.com/を参照ください。
注3) TCP(Transmission Control Protocol)
ネットワーク上では、エラーの発生、複数の通信の衝突による利用可能バンド幅の減少と不安定性が問題です。これを解決するため、TCP通信では、受信側が送信側に正常に受理した確認(アクノレッジ)を返すことにより、送信側は正常に通信が行われたことを確認するとともに、次に送る流量を決定します。正常なアクノレッジが返らなかった場合には、データの再送により、信頼ある通信を実現します。ウェブページのアクセス、メール通信、ファイルアクセス、データベースシステムなど私たちが日常的に使う通信の大部分はTCPを用いています。
注4) 100ギガビットネットワーク
1秒間に100ギガビット、すなわち125億バイトのデータを送る能力のあるネットワーク。従来高速ネットワークとして用いられてきた10ギガビットネットワークより10倍高速なデータ転送能力を持ちます。具体的には、2枚のDVDを1秒弱で転送する速度です。
日本では、2014年10月からJGN-Xネットワークの一部として東京・大阪・小松間で運用が開始されました。海外との接続では、2015年11月からTransPAC/Pacific Waveネットワークの一部として東京・米国シアトル市間で運用が開始されました。
注5) LFTCP(Long Fat pipe TCP)
東京大学が研究開発した100ギガビット/秒以上のネットワークのための超高速TCP。従来のTCPは内部変数として32ビット値を用いるというプロトコルの規定、パケット形式の規定と実装上の制限から性能の上限があり、100ギガビットネットワークを埋めるだけデータ送信ができず高効率利用が不可能でした(図6)は、送信バッファ領域と転送中領域や受信バッファ領域のそれぞれを確保する必要があるため、一度に送ることのできるデータ量が1ギガバイトに制限される状況をしめしています)。東京大学の研究チームは、TCPの基本性質、輻輳制御アルゴリズムを変えることなくこれらの制限を超え、100ギガビット/秒以上のネットワークを高効率に利用可能なTCPソフトウェアを開発しました。LFTCPでは、送信側バッファに関連する変数を64ビット値に拡張すること、パケットフォーマットに工夫をすることで、ユーザが十分に大きなバッファサイズを指定することを可能とし、またパケット送出のタイミングを制御する関数を変更することで、従来のTCPを大バンド幅ネットワークに適合する実装に変更しました。
それ以外のアルゴリズム、特に輻輳制御アルゴリズムは従来のTCP CUBICと同じものを使用しているため、TCP通信の重要な性質である公平性は保証されています。この点が、UDTなどのUDPを用いた、信頼性がありTCP親和性を目指しているプロトコルと大きく異なります。また、TCPそのものを用いているため、最近のネットワークアダプタに備わっているTCP加速機構を有効に使用することが可能であり、通常のPCを用いても73ギガビット/秒の高バンド幅通信を実現できます。
注6) 内閣府革新的研究開発推進プログラム(ImPACT) 「セレンディピティの計画的創出による新価値創造」
内閣府革新的研究開発推進プログラム(ImPACT) 「セレンディピティの計画的創出による新価値創造」(合田 圭介 プログラム・マネージャー)ではライフサイエンスにおける「砂浜から一粒の砂金」を高速・正確に発見・解析し、セレンディピティ(偶然で幸運な発見)を計画的に創出する革新的基盤技術を開発します。従来、計測の正確性と速度にはトレードオフの関係があるため、発見確率の低い事象を探索しようとすると試行錯誤的な処理に陥ってしまい、セレンディピティに至るまで長時間を必要としていました。このトレードオフを打破し、有限時間内に希少な事象を計測可能にすることにより、膨大な数(1兆個以上)の細胞集団から、稀少だが大きなインパクトを持つ細胞を迅速・正確・低コスト・低侵襲に発見し網羅的に解析する、夢のセレンディピター(計画的にセレンディピティを行う細胞検索エンジン)の実現を目指します。 詳細は、https://www.jst.go.jp/impact/serendipity/を参照ください。
注7) 単一ストリームTCPと複数ストリームTCP
上記のように、TCP通信では、受信側からの正常に通信が行われたことを通知するアクノレッジを待ちながらデータ通信を行います。従って、遅延時間の長いネットワークでは、ともすると低いバンド幅でしかデータ通信が行えず、一個だけのTCPコネクションだけで高いバンド幅を実現することは困難と考えられてきました。複数ストリームTCPは、この問題を回避する目的で、一対のサーバ間で多数のTCPコネクションをはる通信方式です。しかしながら、複数本のTCPストリームで同一目的の通信を実現すると、他のTCPストリームから見ると複数本倍ネットワークバンド幅に対する占有率が増えるため、大きくTCP公平性を損ないます。今回の成果のLFTCPでは、超高バンド幅通信におけるTCPの根本問題を解決し、単一ストリームで困難なく高い性能を得ることができたため、複数ストリームを用い、公平性を犠牲にして性能を上げる必要性はなくなりました。
注8) TCP公平性
TCP公平性は、データを確実に転送する高信頼性、同一ネットワークに多数のTCP通信が殺到した場合の輻輳回避とならびTCP通信の基本的特徴です。すなわち、往復通信遅延時間(RTT)が同じ複数のTCP通信が同一ネットワークのバンド幅を取り合う場合、等しいデータ通信バンド幅が割り当てられる性質のことです。ある通信方式がTCP公平性を持つとは、同一ネットワークにおいてバンド幅を取り合う場合に、他のTCP通信と公平にバンド幅が割り当てられることです。
ただし、TCPプロトコルで今までに用いられてきたものは多種あり、各々公平性に関する振る舞いが異なっています。例えば、古典的なTCP newRenoはTCP Vegasより強い一方で、TCP CUBICより弱いことが一般的に知られています。また、RTTが異なるTCP通信間での公平性をどのように定義するかについては、決定的な定義は未だ確立していません。
注9) Pacific Wave
米国シアトル市 にあるワシントン大学が運営する学術相互接続地点を含むPacific Northwest GigapopとCalifornia州の学術ネットワークであるCENICの共同運営のプロジェクトで、太平洋地域の各国の学術ネットワークとの高速な相互接続を実現しています。 詳細は、http://pacificwave.net/を参照ください。

<お問い合わせ先>

<研究に関すること>

東京大学 大学院情報理工学系研究科
教授 平木 敬
E-mail:

<ImPACTプログラムに関すること>

科学技術振興機構 革新的研究開発推進室
Tel:03-6380-9012
E-mail:

<ImPACT事業に関すること>

内閣府 革新的研究開発推進プログラム担当室
Tel:03-6257-1339

<報道担当>

東京大学 大学院情報理工学系研究科 広報室
Tel:03-5841-8981

科学技術振興機構 広報課
Tel:03-5214-8404
E-mail: