国家R&D課題を企画・評価する担当者は、毎年多くの提案書を審査します。論文、特許、技術移転といった成果は、課題が終わってから出てきます。そのため、選定の時点でどの課題が成果を出すかを知ることは難しいです。担当者がその時点で手にしている資料は、ほぼ提案書の文章だけです。
ここで一つの問いが生まれます。提案書の文章から目新しさ(新規性)を数値として取り出せば、その数値で成果を出す課題を事前に見分けられるのでしょうか。
この問いに答えた論文を一本読んでみます。
- タイトル: Exploring the potential of novel research proposals as signals of successful national R&D: A case study on energy and resource sector in South Korea
- 学術誌: Journal of Informetrics
- 年: 2025
- DOI: 10.1016/j.joi.2025.101722
論文は、トランスフォーマーベースの言語モデルと局所外れ値因子(Local Outlier Factor, LOF)を組み合わせた分析の枠組みを提案しています。言語モデルは提案書の文章を数値ベクトルに変換します。LOFは、そのベクトルが周囲の提案書からどれだけ離れているかを計算します。研究チームはこの計算値を新規性スコアとし、課題の投資規模および成果と比較しました。
この記事で使う主な用語は次のとおりです。
- 新規性(novelty): 提案書が既存の提案書と意味の上でどれだけ異なるかを表す度合い。論文では、既存のパラダイムと区別される度合いとして測定します。
- 埋め込み(embedding): 文章の意味を数値ベクトルに変換した結果。
- 国家R&Dランドスケープ(national R&D landscape): 意味が似ている提案書ほど近くに置かれるように提案書を配置したベクトル空間。
- 調整効果(moderation effect): ある変数が、他の二つの変数の間の関係を強めたり弱めたりする効果。
動機: 提案書の目新しさと課題の成果との関係は、まだ確認されていない
なぜ提案書の新規性が重要なのか
論文は、提案書の新規性を調べるべき理由を次のように挙げています。
- 国家R&D課題の成功は、国内の技術・経済体制の長期的な成長と、国家イノベーションシステムの能力強化に大きく寄与します。
- 成功した課題は、通常は事後に確認されます。科学技術への波及力、技術市場での経済的価値、事業化の可能性といった指標が基準です。
- 事前には、既存の知識から離れた創造的でリスクの大きい研究が成功と関連しうるとされます。急進的イノベーションは新しいアイデアから始まることが多いためです。
- 提案書は、課題の内容をもっとも直接的かつ早い段階で知らせてくれる資料です。
- 国家の資源は限られています。したがって、新規性が投資と成果にどう影響するかを知ってこそ、分野別の予算配分や課題の企画を効果的に行えます。
先行研究が扱っていない部分
先行研究は、成功した課題の特徴を、事後指標と事前特性に分けて扱ってきました。事後指標は論文・特許の産出と産業的価値であり、事前特性は学際性、成長潜在力、一貫性、不確実性です。論文は、このうち新規性をもっとも重要な特性とみています。新規性を定量化しようとする研究は、意味距離の分析を用いてきました。
論文が指摘する空白は次のとおりです。
- 提案書の新規性とR&D成果との関係を深く実証分析した研究が不足していました。
- 提案書の意味を分析するには、分野ごとの専門性と複雑な文脈を扱える自然言語処理の手法が必要です。
- 新規性は質的で主観的な概念です。専門家による評価やコミュニケーションに使える定量的な尺度が必要です。
- 投資と成果を客観的に集計する指標を、国家R&Dデータベース上で定義する必要があります。
論文は貢献を説明する箇所で、従来の専門家ベースの方法と自らの方法を対比してもいます。従来の方法は、特定の国家課題の成果を比較・分析することに向けられています。論文の方法は、大規模な提案書の中から新規の提案書を体系的に見つけ出します。
論文は研究の目標を、三つのリサーチクエスチョンにまとめています。
- 提案書の新規性はどのように測定するのか。
- 新規の提案書は、投資と成果の水準が異なるのか。
- 新規性は、投資と成果の関係を調整するのか。
方法: 提案書をベクトルに変換し、近傍からの離れ具合で新規性を付け、成果と比較する
論文は、データ収集と前処理の後の方法を3つの段階で説明しています。第1段階で、研究チームはトランスフォーマーベースの言語モデルで国家R&Dランドスケープを作ります。第2段階で、LOFにより提案書ごとの新規性スコアを求めます。第3段階で、新規性とR&Dの投資・成果指標との関係を統計的検定で調べます。この記事も同じ3段階に沿って進めます。
事例とデータ
分析に使ったデータは、KISTI(Korea Institute of Science and Technology Information)が構築したNTIS(National Science and Technology Information Service)データベースです。このデータベースには、韓国政府が選定した国家R&D提案書が収められています。2010~2022年に選定された提案書の記録は764,002件で、固有の提案書IDは364,313個です。
データベースの情報は二種類です。
- 書誌情報: 課題名、研究目標、研究内容、期待効果といったテキストと、課題の規模、所属機関、分類コード、継続の有無。継続の有無により、毎年新たに選定された課題を見分けることができます。
- 成果情報: 研究費、特許、論文、技術移転といった課題ごとの成果記録。
研究チームは、KISTEP(Korea Institute of Science and Technology Evaluation and Planning)の科学技術標準分類コードを用いて、エネルギー・資源分野の提案書12,243件を抽出しました。この分野の新規課題数は2018年以降に増え、直近5年間は毎年2,500件を超える課題が実施されました。
エネルギー・資源分野を事例に選んだ理由は次のとおりです。
- 韓国はエネルギー資源の輸入依存度が高く、エネルギー安全保障と供給の安定が国家的課題です。
- 韓国は2050カーボンニュートラル目標を掲げており、この目標には革新的なR&Dが必要です。
- 再生可能エネルギーの拡大、エネルギー効率、原子力政策をめぐって、国内のエネルギー政策が急速に変わっています。
データの一例を挙げると、2010年の課題「Development of High-Temperature CO2 Capture and Storage Technology Using Molten Carbonate Fuel Cells」は、論文10本と国内特許4件を生み出しました。
第1段階: 国家R&Dランドスケープを作る
- 入力: 毎年蓄積されたエネルギー・資源分野の提案書テキスト
- 処理: 韓国語の事前学習済み言語モデルを年度ごとに追加学習し、提案書をベクトルに変換
- 出力: 年度別の言語モデル13個、提案書ごとの768次元ベクトル
処理の手順は次のとおりです。
- 事前学習モデルを決めます。研究チームはKoBERT(‘skt/kobert-base-v1’)を選びました。このモデルは、韓国語版ウィキペディアの文章と韓国語ニュースの文章で学習されています。
- 提案書の四つの部分(課題名、研究目標、研究内容、期待効果)を一つのテキストに連結します。
- マスク言語モデリング(masked language modeling)と次文予測(next sentence prediction)のタスクで、KoBERTを追加学習します。
- 毎年蓄積されたデータで、モデルを個別に学習します。年度jの提案書ベクトルは、年度jのモデルの最終層から取り出します。
年度ごとにモデルを別々に作る理由があります。新しい提案書が入ってくることで、国家R&Dランドスケープが毎年変わるためです。追加学習はドメイン適応(domain adaptation)にあたります。この過程でモデルは、分野の専門用語、文体、語彙分布を習得します。
KoBERTを選んだ根拠は、提案書の文章の特徴にあります。論文は提案書の特徴を三つにまとめています。
- 専門用語と複雑な文構造を備えた、格式ある韓国語で書かれます。
- 論理構造に従うため、意味を正確に取り出すには文脈の理解が必要です。
- 段落と文ごとに分野の情報が密に詰まっており、語彙の変化は少ないです。
研究チームは、KoBERTが多言語モデルよりも、韓国語固有の統語関係、敬語法、形態変化をうまく扱えるとみました。この段階で研究チームは、2010~2022年の各年度に対応するモデル13個を作りました。提案書は768次元ベクトルに変換されました。
第2段階: LOFで新規性スコアを付ける
- 入力: 年度jまでに新たに選定された提案書の集合(RSj)のベクトル
- 処理: 四つの部分ごとにLOFを計算、部分ごとに年度内で最小-最大正規化、正規化した四つのスコアの平均
- 出力: 提案書ごとの0~1の新規性スコア
処理の手順は次のとおりです。
- 近傍数kを決めます。研究チームは、毎年蓄積された新規提案書数の1%をkとしました。ランドスケープが大きくなるのに合わせてkも大きくなるようにする設定です。
- 四つの部分それぞれのベクトルにLOFを計算します。四つの部分が含む意味が異なるためです。
- 部分ごとのLOFを、年度ごとに最小-最大正規化します。表4では、部分ごとのスコアがそれぞれ0~1の範囲にあり、部分ごとに1.0000の提案書が別々に現れます。
- 正規化した四つの部分のスコアを平均して、全体の新規性を求めます。
LOFの計算方法は次のとおりです。
- k-距離: 提案書pからk番目に近い提案書までのユークリッド距離。
- 到達距離: pから近傍oまでの距離。oのk-距離と実際の距離のうち大きい方の値を使います。
- 局所到達密度(lrd): kを、近傍までの到達距離の和で割った値。周囲が密であるほど大きくなります。
- LOF: 近傍のlrdの平均を、pのlrdで割った値。
近傍と密度が同程度であれば、LOFは1前後になります。密な集団の間の疎な場所に置かれた提案書は、LOFが1より大きくなります。研究チームは、LOFが高い提案書を、周囲と異なる新しい概念を含む候補とみなします。
研究チームは、統計的方法や距離ベースの方法ではなく、密度ベースの方法を用いました。理由は比較対象ごとに異なります。
- 統計的方法との比較: 提案書ベクトルの分布に関する理論的な理解が不足しています。そのため、分布の仮定を必要としない密度ベースの方法のほうが適しています。
- 距離ベースの方法との比較: 新規性は、周囲の提案書がどう分布しているかによって変わります。密度ベースの方法は、不均一または不規則な分布でも外れ値を見つけ出します。
kの値は、2010年が10、2016年が64、2022年が122でした。正規化は、当該年度の新規提案書のLOFの最小値と最大値で行います。式は(LOF − 最小値) ÷ (最大値 − 最小値)です。こうする理由は、比較対象が年ごとに異なるため、同じLOF値でも意味が変わるからです。
計算例として、2010年の提案書2件を見ます。提案書1415,111,320は、熱電複合素材とスパッタリングターゲットの開発課題です。この提案書の全体の新規性は、正規化した四つの部分のスコアの平均です。式は(0.1960+0.3494+0.3700+0.8704)÷4 ≈ 0.4464です。この値は、2010年の新規提案書のうち全体の新規性がもっとも高いスコアでした。提案書1345,135,814は、課題名の新規性が0.9073と高くなりました。部分別のスコアの全体は、原論文の表4で確認できます。
2022年には、「1 kW-class portable hydrogen fuel cell generator using low-pressure hydrogen storage」が0.2390を得ました。「Atomic-level surface control technology for electrochemical complex oxide materials for energy conversion」は0.2258を得ました。研究チームはLOFの計算にPythonライブラリのscikit-learnを使いました。
第3段階: 新規性とR&D指標の関係を検定する
- 入力: 新規性スコア、R&Dの投資・成果指標、統制変数
- 処理: 新規群と非新規群の比較、調整効果の回帰分析
- 出力: 指標ごとの群間差の有意確率、交互作用項の係数
研究チームは、投資指標2つと成果指標4つを定義しました。
- R&D持続性: 課題の開始から終了までの日数。
- 研究費規模: 総研究費。
- 科学的影響: SCI(Science Citation Index)収録学術誌の論文数。
- 技術事業化: 締結した技術移転契約の数。
- 国内技術影響: 国内特許の登録数。
- 海外技術影響: 海外特許の登録数。
処理の手順は次のとおりです。
- 毎年、新規性スコアの上位10%を新規の提案書、残りを非新規の提案書に分けます。
- 2021年までに終了した課題9,475件だけを残します。新規884件、非新規8,591件です。
- 二つの群にマン・ホイットニーのU検定(Mann-Whitney U test)を適用します。データが正規性の仮定を満たさないため、ノンパラメトリック手法を選びました。
- 調整効果の回帰分析を行います。従属変数は成果指標、独立変数は投資指標、調整変数は新規提案書かどうか(ダミー変数)です。
- 統制変数として、チーム規模、協力の有無、新出用語数を入れます。機関タイプ(大学、研究所、中小企業)は固定効果として置きます。
新出用語数は、前年に存在しなかった用語を集計した値です。そのため、2010年の提案書は調整効果の分析から外れました。分析に使った観測数は8,420件です。投資指標2つと成果指標4つを組み合わせて、回帰モデル8個を推定しました。分散拡大係数(variance inflation factor, VIF)は1.00~1.45で、研究チームはこの範囲を報告しています。
結果: 新規の提案書は論文と国内特許が少なく技術移転は多く、一部の成果では研究費との関係がより強かった
比較1: 新規の提案書とそれ以外の投資・成果の差
研究チームは、新規の提案書884件と非新規の提案書8,591件の、指標ごとの平均を比較しました。差が有意かどうかは、マン・ホイットニーのU検定の有意確率(p値)で判断しました。p値が0.05より小さければ、二つの群の差が偶然とは考えにくいということです。
結果は次のとおりです。
- 課題期間: 新規の提案書のほうが短かったです(p=0.0150)。
- SCI論文: 新規の提案書のほうが少なかったです。平均は2.4717本と3.4316本です(p=0.0005)。
- 技術移転: 新規の提案書のほうが多かったです(p=0.0046)。
- 国内特許: 新規の提案書のほうが少なかったです(p=0.0042)。
- 研究費と海外特許: 有意な差はありませんでした。p値はそれぞれ0.6630と0.1579です。
指標ごとの平均と標準偏差の全体は、原論文の表6で確認できます。一つ食い違う点があります。本文は国内特許のp値を0.0042と記しています。ところが表6では、この指標にp<0.05を表すアスタリスクが一つだけ付いています。0.0042ならp<0.01の表記にあたるため、二つの表記は合致しません。技術移転(0.0046)も、表6ではアスタリスクが一つです。
論文は、この結果を四つに解釈しています。
- 課題期間が短い理由: 技術基盤がまだない新規の研究は、後続の支援を受けにくいです。2021年の新規提案書のうち、1年で終了した課題が34件ありました。主にクリーン・再生可能エネルギー技術や、モノのインターネット(Internet of Things, IoT)ベースのスマート技術の課題でした。
- 論文が少ない理由: 新しい方法論や理論を使うと、実験と分析により時間がかかり、審査の過程も長くなります。応用的な性格の強いエネルギー分野の研究者は、学術発表よりも産業への適用をより重視する可能性があります。
- 国内特許が少ない理由: 先例のないアイデアは特許要件を満たしにくく、出願が遅れたり断念されたりすることがあります。
- 技術移転が多い理由: 産業界は新しい技術を求めています。産学協力課題では、事業化が論文・特許より先に出てくることがあります。
事例として、新規性スコア0.1124を得たIoTセンサー用の低照度太陽電池電源装置の課題は、2022年に技術事業化の成果を6件出しました。
比較2: 提案書の部分別の新規性と成果
研究チームは、四つの部分それぞれの新規性について、同じ比較を行いました。付録の説明を整理すると次のとおりです。
- 課題名: 課題名の新規性が低い提案書は、期間が長く、科学的影響と海外技術影響が高かったです。課題名が新しい提案書は、技術移転が多かったです。
- 研究目標: 大部分の指標で有意な差はありませんでした。国内技術影響のみ、目標の新規性が低いほうが高くなりました。
- 研究内容: 成果に有意な差を生みませんでした。研究内容は詳細な技術の記述が多いため、新規性の違いが表れにくい可能性があります。
- 期待効果: 期待効果が新しい提案書は、研究費を有意に多く受けていました。平均は1624.7181百万ウォンと1453.1389百万ウォンでした。
研究チームは、期待効果の結果から実務上の助言を導きました。研究費の規模を大きくするには、期待効果に新しく前例のない貢献を示すほうが役立つというものです。
比較3: 新規性は投資と成果の関係を変えるのか
調整効果分析の核心となる指標は交互作用項です。交互作用項は、投資指標と新規かどうかを掛け合わせた変数です。この係数が正で有意であれば、新規の提案書で投資の効果がより大きいことを意味します。8つのモデルはすべて統計的に有意でした。
まず、係数を読む際の注意点があります。根拠とした表7の原文テキストでは、係数のマイナス記号が見えません。一部の列では、値の並びも明確ではありません。そこでこの記事は、係数の方向を論文本文の解釈に従って記します。係数の全体は、原論文の表7で確認できます。
研究費の効果から見ましょう。論文本文の解釈によると、モデル2(SCI論文)とモデル6(国内特許)で、新規の提案書かどうかは負(-)の主効果を示しました。モデル8(海外特許)では、有意な主効果はありませんでした。しかし三つのモデルすべてで、研究費×新規の交互作用項が有意な正(+)の値でした。これら三つの成果指標で、研究費と新規かどうかの間に有意な正(+)の交互作用が現れたということです。論文は、これを提案書が新規であるときに研究費のプラスの効果がより大きいと解釈しています。論文本文は、技術事業化をこの結果に含めていません。
課題期間の効果は逆でした。モデル1(SCI論文)で、R&D持続性の主効果は3.6087(p<0.001)と正でした。論文本文によると、新規の提案書ではこの効果が弱まりました。表7にはこの交互作用項が1.3227(p<0.001)と記されていますが、先に述べたとおり、符号は原文テキストでは確認できません。他の成果指標では、新規性は課題期間の効果を調整しませんでした。
論文は、二つの結果を次のように解釈しています。新規の研究は、当初は測定可能な成果を出しにくいものの、十分な研究費が成果を引き上げます。一方、課題期間を延ばしても、新規の研究が必ずしも利益を得るわけではありません。そのため、戦略的な課題の企画が必要です。
新規性スコアの時間的変化
研究チームは、同じ提案書の新規性を毎年計算し直しました。提案書1345,135,814は、2010年の0.3789から、2011年は0.0663、2022年は0.0905になりました。2010年に新規性が高かった提案書は、その後、相対的な新規性が低くなる傾向を示しました。論文はこの変化を、研究のランドスケープが動くにつれて新規性の基準も変わることの証拠と読んでいます。
意義と限界
何が変わるのか
- 新規性という事前特性を定義し、それを投資・成果といった事後指標と体系的に結び付けました。
- 専門家が特定の課題を比較していた方式とは異なり、大規模な提案書の中から新規の提案書を体系的に見つける方法を示しました。
- トランスフォーマー言語モデルを、国家R&Dおよび国家イノベーションシステムの分析に適用しました。著者らは、自分たちの知る範囲ではこの適用が初の試みだと主張しています。
- 一部の成果指標で、研究費と成果の正(+)の関係が、新規の提案書でより大きく現れました。該当する指標は、科学的影響と、国内・海外の技術影響です。
- 分析過程とモデル設定を、目的に合わせて変えられる再現可能な構造として設計しました。
実務者にとっての有用性
論文は、この方法をウェブサービスとして自動化することを提案しています。そうすれば、R&Dデータベースや自然言語処理に慣れていない専門家でも、提案書を分析できます。専門家が技術分野を指定すると、該当する提案書を絞り込み、段階ごとの結果を示す手順も作れます。ただし、ドメインモデルを追加学習するには、GPUなどの計算資源と学習時間が必要です。新しい提案書が蓄積されたら、モデルも定期的に更新する必要があります。
政策面での示唆もあります。論文は、新規の課題を短期的な成果だけで評価せず、リスクとリターンのバランスを取った長期的な投資戦略を用いるよう勧めています。
実際の導入にあたって論文が求める点は、次のとおりです。
- 新規性の決定要因は分野や文脈ごとに異なるため、新規の提案書を幅広く探索します。
- 言語、分野、文書タイプに合わせて、複数の言語モデルを試します。
- データの範囲と新規性の基準を、目的に合わせて調整します。
- 結果の解釈には、専門家による検証と定性的な検討を併用します。
- 埋め込みの次元や近傍数といった設定値を、分析の要求に合わせて調整します。
研究者にとっての有用性
論文は、この方法を既存の新規性指標と組み合わせることを提案しています。論文や特許が引用した学術誌の多様性や、引用文献と先行文献の知識の重なり度合いを、成果評価に入れる方式です。同じ枠組みは、ミッション志向のR&D戦略の評価、国家技術競争力の評価、研究投資の社会的影響の分析にも適用できます。注意(attention)ベースのテキスト分類モデルで、新規性に寄与した単語や文を特定する後続研究も開かれています。
論文が明らかにした限界
論文自身が明らかにした限界は五つあります。
- 新規性指標は、他の文書との意味の違いを測るだけで、独創性を確定するものではありません。専門家による評価や、R&D分類コードの新しい組み合わせの分析で補う必要があります。成果指標も、特許ファミリーの規模、被引用数、技術移転金額といった外部データで磨く必要があります。
- 提案書の各部分を分析の単位としました。新規性は、文、単語、知識エンティティのレベルでも現れうるものです。エネルギー分野では、新素材を既存の問題に使う場合が例です。
- 最新の言語モデル技術をより多く反映する余地があり、データとモデルが大きくなれば計算負荷も大きくなります。
- 新規の提案書の解釈と原因分析は、依然として専門家の判断に頼っています。
- 事例研究が一つだけです。関係を一般化するには、追加の検証が必要です。
筆者から見た適用条件
以下は論文に書かれた内容ではなく、筆者が実務への適用を念頭に付け加える条件です。
- 結果は相関関係です。新規の提案書と成果指標の関連性を示しただけで、新規性が成果を生むと断定するものではありません。
- 分析の対象は、すでに選定された提案書です。不採択の提案書が混ざる審査段階にそのまま適用すると、結果が異なる可能性があります。
- 群の平均の差が、標準偏差よりもはるかに小さいです。SCI論文の場合、平均の差は3.4316 − 2.4717 = 0.9599で、標準偏差は8.2791と11.5692です。スコア一つで個別の課題の成否を予測するのは難しいです。
- モデル2の決定係数は0.0161です。交互作用項が有意でも、成果の変動の大部分は他の要因から生じています。
- 上位10%という基準と、kを累積提案書の1%とする規則は、この事例での設定です。自分のデータでは、基準を変えながら結果が維持されるか確認する必要があります。
- 提案書の様式が毎年同じでなければ、四つの部分に分けて比較できません。
すぐに試せること
- 自機関が選定した提案書を年度別に集め、課題名・研究目標・研究内容・期待効果の四つの部分に整理します。韓国語の事前学習モデルで部分ごとのベクトルを作った後、scikit-learnのLOFを適用します。このとき、kは累積した新規提案書数の1%とします。部分ごとのLOFを年度ごとに最小-最大正規化した後、四つのスコアを平均します。
- 毎年、新規性の上位10%の提案書を選び、終了した課題だけで、残りとマン・ホイットニーのU検定を行います。比較する指標は、課題期間、研究費、SCI論文、技術移転、国内・海外の特許登録数とします。
- 新規性の上位の提案書リストを分野の専門家に見せ、実際に新しい課題かどうかを一緒に検討します。スコアだけで判断しないことが、この方法を使う最初のステップです。