2017年8月10日

(17)研究の評価、研究者の評価(その2) 論文引用数は信頼できる評価指標か

 「評価は主観である」とする私の主張に対して、客観的な数値をもってなすべきとする人がいる。そこで力を得るのが「論文至上主義」で、かつては発表論文数、近年では「論文被引用数」の比較である。しかし、マックス・ウェーバーが唱えたように「科学は進歩し続ける宿命にある」。従って、成果の評価にあたっては、まだ見ぬ将来への波及可能性が最重要な視点となる。論文が全てではないことは当然であるが、ましてや認識論や総合的批判による洞察を避けて、過去の成果発表の分析の一軸に過ぎない論文被引用数を唯一の評価手段として用いることは、あまりに安易である。運動競技とは異なり、むしろ芸術におけると同じく、まずは創造性を尊ぶべきであり、個人の論文生産能力、優勝劣敗を決めることではない。論文指標偏重の評価システムは明らかに不見識、かつ若い世代の価値観を拘束し、生き方を誤った方向に導くため、強く再考を求めたい。全体統計的にも、また個々の評価についてはなおさら問題は大きい。実は、研究社会が自らの見識をもって評価することを怠ってきたことが、規格化された評価制度への過度な依存を引き起こし、その結果、自らを疲弊に追い込んでいる。

「自治の府」としての研究社会における評価

 この数値の背後にある理性、科学的意味は何か。今日では米国のクラリベイト・アナリティック社のWeb of Science(旧トムソン・ロイターズ社の時価35.5億ドルの事業)、オランダのエルセビア社のScopusなどの商業的情報提供事業がコンピュータ技術を駆使し、引用データを集計する。そして多様複雑に加工した数値結果を高価に売りつけ、個人評価や組織の格付けなどに最大限活用すべく促す。もう60年以上も昔に「研究成果の計測」を試みたユージン・ガーフィールドの創造性は特筆に値する。しかし現状は、この創始者自身による「その内在的価値を評価するのが科学的知性」との戒めにもとるものである。

 アカデミアは自治の府であり、人間疎外のソフトウエアが一義的に規定する社会(Software-defined Society)ではない。学術、科学技術の実践のみならず、成果の評価についても、自らの判断基準を設定すべきであり、自己決定権を安易に情報企業に売り渡すことがあってはならない。優れた研究者を効率的な論文製造機と定義することは不適切である。科学的批判力をもって断固対峙すべき学術会議、学協会、大学や公的研究機関などの甚だしい怠慢、無責任は目に余る。営利目的の商業出版社が由々しき論文引用数至上主義を喧伝し続ける結果、有力ジャーナルのImpact Factor(IF)神話が、若い研究者に学問の本来の価値を見失わせ、せっかくの精神高揚の機会を損なわせていることは、甚だ残念である。

 加えて、行政機関、研究費配分機関の安易な追従が、この非人間的独善の横暴を許している。大学には教員人事制度があり、また社会には研究に対するさまざまな顕彰の仕組みがあるが、かつて評価はアカデミアの主観的かつ多様な判断に委ねられていた。旧文部省が非公式に研究評価を考え始めたのは1980年代初頭である。当時、学術行政に尽力された誇り高い碩学が、ある内輪の集会で「行政が学問の成果を評価するという」と気色ばんでいらしたことを思い出す。科学への期待が変容する中で、ことの是非はともかく、識者による研究の独自性、希少性、多様性の尊重の風土は薄れ、容赦なき画一的数値比較主義へ傾きつつあることは間違いない。今や、この評価制度化により成果報告提出ごとに精神的圧迫を感じる若い研究者たちは、まことに気の毒である。さらに、大学組織の活動評価を一律に所属教員の論文指標の集計、総和でもって行うことも、好ましくない。それぞれに特色ある教育研究理念に沿う大学の自律的統治を損なうことになるからである。

 大学教員人事も研究費配分も未来の科学を開くためにある。行政とその委嘱を受けた人たちは、単に権限を行使するのではなく、むしろ自らが評価主体者であることを再認識して欲しい。30年かけてつくり上げた現行システムの実践結果が、如何にわが国の科学者たちを鼓舞し、研究の質を向上させたか、あるいはその逆であったかを検証すべきではなかろうか。

本当に研究の質を問うているか

 国民の問うところは、分かり易い論文被引用数などの数値の大小ではなく、わが国の研究活動全体の質である。そして質の向上を図る鍵は、研究者たちの自己肯定感を堅持しながら、制度を総点検し問題点を明らかにした上で、旧態依然の研究教育体制(コラム56など)を変革することにある。にもかかわらず、第5期科学技術基本計画は問題を棚上げした上で、論文数と被引用回数上位10%論文の増加を目標に掲げた。いかなる権力であれ自らの責任説明のために研究現場の組織や個人に数値向上の努力を強いれば、大きな負の効果を生む。この便宜的手段が目的化することは明らかで、恣意的な数値操作がまん延、アカデミアが本質にもとる「衆愚(ポピュリズム)研究の府」と化すことは必定である。一方で、研究社会が自らの信念をもとに編み出した合理的提案を行政府に届ければ、聡明な官僚たちは、必ず真摯に耳を傾けるはずである。

 良い論文とは、読者にとって読み応えがあり、腑に落ちるものである。その上で研究の礎のなった先行論文こそが、高く評価されるべきである。被引用数は各分野における発表論文のいわばエコー(反響)の度合いにすぎず、決して科学的創造や進歩への貢献を反映しない。視聴率の高いテレビ番組、入場者の多い催し物、人が溢れる喧騒の都市繁華街が他に比べて質が高いとは限らない。

 統計によれば、記録が維持されている5,800万論文のうち、44%が一度も引用されず、32%が9回以下であり、1,000回以上引用されるのは、僅か0.025%の1万4千論文に過ぎないという。しかし、この「民主平等的」研究社会では、この大多数を占める「低評価論文」にもやはり対等の引用権利が与えられ、その反映が被引用総数として現れる。被引用数評価の信奉者たちは、ここに自己矛盾、この増幅の仕組みを負のスパイラルとは認識しないのだろうか。逆にトップ0.1%被引用論文の特別扱いも価値偏向を助長し、好ましくないことは当然である。

 もとより、巨大なエコーにそれなりの意味はあるが、せめて被引用数は対数(log)比較に止めてはどうか。桁を論じる「格」に意味はあっても、平凡な数値を「順番」に並べてみても、全く意味を見出す事は出来ないではないか。

引用行為は信頼できるか

 そもそも、論文著者たちは適切な引用をしているであろうか。引用文献の選択が適切でなければ、データベースそのものの信頼性が損なわれる。仮に一論文に、関連課題論文50編を引用するとしよう。ならば、著者は前もってその5-10倍、すなわち250-500編の論文を読破しなければならないはずである。昨今、論文数を問われる研究者たちは年間に複数の論文を発表するが、実際、彼らに先行文献の検索、通読、選択の時間が十分に確保されているのか、と心配になる。

 世界中で年間220万報以上の科学論文が発表され、さらに毎年累積していく。誠実な著者たちは、この溢れる情報の渦の中で、いかに適切に先行文献を選択しているのだろうか。最近米国では一人の研究者が年間に読む論文は、平均して264報に過ぎず、一報に費やす時間は32分という。進展著しい分野では、5年前の論文はすでに古くて役に立たないので読まないというが、それでも結構引用されている。ならば引用文献の選択を他人に、あるいは機械に託しているのではないかと懸念している。一般に英文読書速度が低く、また多忙で自由時間に乏しいとされる日本人研究者たちの現状はどうであろうか。

引用されなければ意味はないのか

 引用数を評価指標にするならば、実際に比較対象となる具体的数値には公平性が担保されなければならない。まずは「早すぎた発見」は無視されがちで、「眠れる美女」が少なくないことである。1906年発表のH.Freundlichによる溶液中の吸着の研究は、96年後の2002年に初めて日の目を見たし、1935年の有名なEinstein-Podolsky-Rosen論文も2003年頃にようやく広く認知されたという。私は過去を振り返りながら「事実の発見」はもちろん大事だが「価値の発見」がさらに大切としてきた。科学的事実の発見の本当の意義は、当事者によってさえ認識されないこともある。創造性を洞察する目利きが必要な所以でもある。

 一方で、真実との評価が定着した物理学の相対論の提唱や、分子生物学を開いたDNA二重らせん構造発見も、引用の対象外である。それほど偉大でなくとも、たとえば化学分野では、しばしば高性能な触媒や有用な材料が発明、発表される。しかし、もしもその実用性が認められ試薬会社から販売、汎用され始めるとなれば、もはや原著論文は急激に引用されなくなる傾向がある。論文誌の規定により商業行為を行う供給会社名は確実に記載されるが、恩恵に預かる利用者の多くは、科学上の発明者に対して敬意、感謝はおろか、関心さえ払わないのである。これらの「不公平な」現象を、引用数値主義者や情報販売機関はどう説明するのか。あるいは未熟な研究者たちの振る舞いを正してくれるのだろうか。

 幸いにも、私は「フロンティア分子軌道論」を創始し1981年にノーベル化学賞を受けられた福井謙一先生から「論文が引用されているうちは本物ではない」と習い、さすがと感心した覚えがある。

 分野によって被引用数はもとより、論文発表そのものの価値さえ異なるので、専門家たちの意見も聞かねばならない。数学理論の評価には、論文被引用数集計よりも特別の目利きの判断がぜひとも必要で、しかも優れたものでも十分認知されるには10年近くの時間を要するものも少なくない由である。また、中国の急激な伸長に比べて、わが国の計算機科学の論文数、被引用数シェアの低さがしばしば話題になるが、指導者たちにはこの評価が気に入らない。「この分野は日進月歩なので、過去の仕事をまとめるよりも、斬新な発想の提案が大切であり、その披露は論文誌ではなく、有力な国際会議で行う。その講演録(proceeding)が大切なのだが、これは被引用数の対象とならない」という。もし優秀な研究者の多くが、本当に新規性に注力しているのであれば、心配は無用である。

 かつてわが国の強みであった工学も分散的傾向が強く、論文よりも特許や実用新案などに関心が大きいのでなかろうか。先人が綿々と紡いできた「匠の技」は現代の科学技術、産業技術にいかに貢献しているのか。日本語で書かれた数多くの技術論文の実社会における評価も気になっている。

 なお、爆発的な勢いで生産される中国発の高被引用数論文の相当数が、中国語で書かれている。これが何を意味するのか、中国語を読めない私には、今しばらく様子を見なければ判断できない。