超ビッグデータ処理エンジン・プロジェクト Ultra Big Data processing engine

TOP > プログラム概要 > 超ビッグデータ処理エンジン・プロジェクト

数百億のビッグデータを高速解析。超ビッグデータ処理エンジンの開発(BDE)。非連続的高速化による超ビッグデータの超高速解析処理。

非順序型データベースエンジン
  • 非順序型データベースをクラウドスケールで拡張
  • 1000万回/秒のストレージアクセス
  • 数百億件のビッグデータを数分~数10分程度で処理
  • 10ms間隔で到来する1台あたり、数百万データ/日の高速制御データにも対応
  • 超ビッグデータ創出ドライバとのインターフェース
解決すべき課題:ビッグデータ解析
<従来技術> 順序型 図解
  • 現状は順序型の処理のため、100 回/ 秒のアクセス
    100 億単位の解析だけで1000 日以上必要(不十分なデータ解析基盤)
  • ストレージとサーバの両方のクラウド化が必要(Server+StorageCentric)
  • 研究レベル非順序型処理により10 万回/ 秒のアクセスが可能に
    100 億単位の解析が数日でできるようになったが、さらに高速の処理を目指す
成功へのシナリオ
<研究開発レベル> 非順序型 図解
データアクセス1000 万回/ 秒 、日々数億件のビッグデータに対して、
数分~ 10 分以内での解析処理を目指す。

超ビッグデータ処理エンジンP(BDE)
超広域無線通信ネットワーク技術と超高速ビッグデータ処理技術を
シームレスインターフェースで融合させ、超ビッグデータプラットフォームの基盤を構築。
超ビッグデータプラットフォームが実現した時のインパクト→年間総数百億以上のビッグデータを数分~数十分程度で処理可能にする。
年間総数百億以上のビッグデータを数分~数十分程度で処理可能にする。
超ビッグデータプラットフォーム(超ビッグデータ処理エンジン・超ビッグデータ創出ドライバ)が、数km ~数10km のエリア、1000 ~数万のモニタ・センサーで数百万~数億/ 日で生成されるビッグデータを数分以内ですべて処理
数km~数10kmのエリア、1000~数万のモニタ・センサーで
数百万~数億/日で生成されるビッグデータを数分以内ですべて処理