未成年者のネットリスク軽減に向けた技術や教材の開発

2022年1月7日

ニーズ
情報化社会の課題に立ち向かう
領域・プログラム
「安全な暮らしをつくる新しい公／私空間の構築」研究開発領域

研究開発プロジェクト名
「未成年者のネットリスクを軽減する社会システムの構築」
研究代表者
鳥海不二夫　東京大学大学院工学系研究科教授（2021年11月）
研究開発期間
2017年10月～2021年6月
Webサイト
「安全な暮らしをつくる新しい公／私空間の構築」研究開発領域Webサイト　鳥海PJページ
プロフィール　（2021年11月）
2004年東京工業大学大学院理工学研究科機械制御システム工学専攻博士課程修了(博士(工学))。同年名古屋大学情報科学研究科助手。2007年同助教。2012年東京大学大学院工学系研究科准教授。2021年同教授。計算社会科学、人工知能技術の社会応用などの研究に従事。情報法制研究所理事。人工知能学会、電子情報通信学会、情報処理学会、日本社会情報学会、AAAI各会員。

研究開発の概要

現在、未成年のネット利用が普及した結果、誘い出し被害や児童ポルノ（自撮り被害）、ネットいじめなどが社会問題化しています。
本プロジェクトでは、未成年者が抱える、観測困難なネット利用リスクを軽減するためのネットリスク事前検出法の確立と未成年者自身に気づきを与えるシステムの実現を目指し研究を行いました。特に、誘い出し、ネットいじめなどの実態を把握しづらいネット上で生じる未成年者が晒される危険性の高いリスクを対象とし事前検知手法を開発しました。またネット空間で発生する事象に対して公的強制力の発動は困難であるため、適切な情報提供により、未成年者本人及び保護者の自主的な対応力の強化のための教材を開発しました。

誘い出しやネットいじめといった未成年者のネットリスク検出技術に関しては、SNS事業者及びフィルタリングソフト開発会社と共同で検出技術の開発と精度評価を行いました。
ネットリスク教育法に関しては、利用されるデバイスやアプリに変化があっても対応できる力を身につけることと、教員側に特別の研修がなくとも実施が可能であることを念頭に教材および教員用マニュアルを制作しました。
また、未成年者保護システムの社会への導入に関しては、初年度に実施した事業者へのヒアリング調査の結果、SNS事業者自身の利潤最大化動機と整合的なシステム導入は困難であることが分かり、社会全体としての費用負担意向の計測に切り替え、個人による費用負担に着目し具体的な支払意思額の推計値を得ました。

インタビュー（2021年7月）

ネットの悪意から子供たちを守りたい

スマートフォンの普及などに伴うインターネットの利用拡大は、特に未成年者に多くのリスクを生み出した。誘い出し被害や児童ポルノ（自撮り被害）、ネットいじめなど、そのリスクは多岐に渡っている。しかし、こうしたトラブルを未然に防ごうにもインターネットの利用にはプライベートな部分が非常に多く、保護者の監視・保護が難しい側面があった。

そんな実情を受け、東京大学大学院工学系研究科システム創成学専攻教授の鳥海不二夫先生は志を同じくする研究者たちと共に、2015年頃から未成年者のネットリスクを軽減する社会システムの構築について研究・開発を開始。RISTEXはこの取り組みを2017年から支援してきた。

「このプロジェクトでは、未成年者のネットリスクを軽減するために3つの達成目標を立てました。リスクを事前に検知するシステムの開発、未成年者が自ら危険に気付くためのネットリスク教育法の開発、そして、インターネットサービスを提供する事業者や保護者がシステムを導入しやすくなるようなインセンティブ設計です」（鳥海先生）

行動パターンから誘い出す側、誘われる側を検知

3つの達成目標のうち、特に鳥海先生が中心となって取り組んだのが「リスクを事前に検知するシステムの開発」だ。インターネット上で未成年者が抱えるリスクにはさまざまなものがあるが、プロジェクトチームは特にコミュニケーションサービス上で発生するリスクに注目した。具体的には、当時大きな社会問題として注目を集めていた『誘い出し』と『ネットいじめ』をターゲットとし、その被害を未然に防ぐシステムの研究・開発に乗り出している。

「このシステムの特筆すべきポイントはリスクの検知に言語的な情報を使っていないことです。SNSなどで行われるプライベートなやり取りは、システム運営側でものぞき見ることが許されていません。そこで我々は運営側で把握可能な行動パターンに着目し、そこから『誘い出し』や『ネットいじめ』を検知することに挑戦しました」（鳥海先生）

なお、『誘い出し』については当初、一般的なユーザーと比べて特異な、“パターンに当てはまらない”行動をするユーザーを検知することで発見できるのではないかと考えていたが、研究を進めていくうちに、『誘い出し』を企てる大人にもその行動に共通する行動パターンがあることが分かってきた。

「具体的には、例えば未成年者らしき人たちを片端から見て回っているといった行動ですね。もちろん、それ以外にもさまざまな共通する行動パターンがあり、それらを見ていくことで『誘い出し』を狙う危険な大人を検知できるようにしています」（鳥海先生）

さらにこの研究では『誘い出し』被害を受けやすい未成年についても同様に共通する行動パターンがあることが判明。誘い出す側と誘われる側の双方を検知することでシステムの精度を高めることに成功している。

「研究に際しては、実際に未成年ユーザーの多いSNSを運営する企業に協力してもらっており、そこから提供された約2万件の行動データを機械学習にかけることで検知精度の高いAIモデルを構築しています。結果としてできあがったシステムは、機械学習の評価指標の1つであるAUC（Area Under the Curve）で0.932という極めて高い数値をマーク。これは1に近いほど判別性能が高いことを示しており、実効性能で言うと、『誘い出し』を禁止するルールに抵触したユーザーを約85%という高い数値でキャッチできることを示しています」（鳥海先生）

システム的解決

我が子がいじめられていないか、いじめていないか

もう一方の『ネットいじめ』に関しては、すでに多くの実績を持つ保護者向けのスマートフォンアプリ（子供のスマートフォンにインストールして、その利用状況を監視するアプリ）の運営企業と連携。このアプリに鳥海先生の研究・開発しているシステムを組み込むことで『誘い出し』検知と同様、行動パターンを中心に子供がいじめ被害にあっていないか、いじめ行為に加担していないかを検知できるようにすることを目指している。

『誘い出し』と異なるアプローチを採用したのは、多岐にわたるSNSに幅広く対応できるようにすることと、監視アプリが取得したやり取りの言語的な分析も利用した高精度ないじめ被害の検知を実現するため。行動パターンの分析結果に、子供たちの送受信したメッセージに攻撃性の高い語句が含まれていないかなども加味して最悪の事態を未然に防ごうというわけだ。なお、行動パターンに基づく検知については、『ネットいじめ』が原則として多人数対個人という形で行われることや、夜間にやり取りされることが多いことなどに着目して分析しているという。

「現在はシステムの開発が一通り完了し、これをどのようにシステムやアプリに組み込んでいくかを検討している段階です。本格的にプロジェクトがスタートして約5年。新型コロナ禍など予想外のトラブルなどもあり、決して平坦な道のりではありませんでしたが、『誘い出し』の検知に関してはいよいよこの8月に実証実験がスタートします。RISTEXにはこの間、特に金銭面で支えていただきました。プロジェクトのために専門のエンジニアを雇用し、自らシステムを開発することで、コミュニケーションサービス提供企業と踏み込んだ交渉ができたのは支援があったおかげだと考えています」（鳥海先生）

2つの検知システム

学びの力でネットリスクについて自ら考える能力を育む

どんなに優秀なシステムを作りあげても、守られる側の未成年者がネットリスクを正しく理解していないことには期待した効果を得ることができない。そこで本プロジェクトでは未成年者に向けた「ネットリスク教育法の開発」も達成目標の1つに掲げている。

「とは言え、未成年者に対してネットの危険性を一方的に押しつけても受け入れてもらえません。そこでこのプロジェクトでは、学習者が主体的に参加して学ぶアクティブ・ラーニングの手法を意識し、マンガ教材やゲーム教材といった、より興味を惹きやすい教材と、それを使って具体的にどういった授業をやるのかということまでを設計しています」（鳥海先生）

新型コロナ禍に伴う教育現場の変化に対応すべく、急遽オンライン教材への再編成を行わなければならなくなったというトラブルはあったものの、2021年6月には教材の配布がスタートしており、既に多くの学校で本プロジェクトの成果が用いられているとのこと。また、その成果を伝え聞いた学校からの問い合わせも急増しているそうだ。

「新聞に取り上げられたこともあって、2021年7月時点で40～50校の問い合わせがあったと聞いています。ちなみに、この取り組みで個人的に面白いと思っているのが、ネットリスクについて学ぶ授業そのものだけでなく、通常の授業の中にもネットリスクについて考えさせるようなしかけを盛り込んでいること。例えば数学のテストの中に、情報がどれくらいの速度で拡散してしまうのかという問題を忍ばせることで、ネットのリスクについて具体的に考え、危機感を持ってもらうといった工夫もしているんですよ」（鳥海先生）

教育法の開発

未成年者のネットリスク軽減に社会はどこまでの負担を受け入れられるのか

そして、残る最後の達成目標である「事業者や保護者がシステムを導入しやすくなるようなインセンティブ設計」についても多くの苦労があったと鳥海先生は言う。

「プロジェクトの開始当初は、我々が適切なシステムを作り出しさえすれば、SNS事業者などに導入してもらえるだろうという目算で計画を立てていたのですが、実際に動き出してみると、SNS事業者の側に、未成年者のネットリスクを回避する仕組みを導入するインセンティブがほとんどないということが分かってきました。企業のイメージアップという効果はあるかもしれないが、基本的にはコストでしかない、と」

こうした反応を受けて、インセンティブ設計の研究・開発チームはプロジェクトの半ばで方針を転換。保護者が我が子のネットリスクを軽減するために負担できるのかを調査することになりました。

「結論を言うと、『誘い出し』防止アプリに対しては2000円弱、『ネットいじめ』を含む情報モラル教育に対しては約2500円までなら出す意志があることがわかりました。今後はこの調査結果を踏まえた具体的な動きを検討していくことになるでしょう。そして、そのためには先ほどお話しした8月からの実証実験でしっかりとした成果を上げることが大事。その結果によっては業界団体へ働きかけなどもやりやすくなるのではないかと考えています」（鳥海先生）

社会実装に向けたインセンティブ設計