새로운 연구제안서는 정말 성과를 낼까

국가 R&D 과제를 기획하거나 평가하는 담당자는 해마다 많은 제안서를 검토한다. 논문, 특허, 기술이전 같은 성과는 과제가 끝난 뒤에야 나온다. 그래서 선정 시점에는 어느 과제가 성과를 낼지 알기 어렵다. 담당자가 그 시점에 확보한 자료는 제안서 글이 거의 전부다.

여기서 질문이 하나 생긴다. 제안서 글에서 참신함을 수치로 뽑아내면, 그 수치로 성과를 낼 과제를 미리 가려낼 수 있을까?

이 질문에 답한 논문을 한 편 읽어 본다.

• 제목: Exploring the potential of novel research proposals as signals of successful national R&D: A case study on energy and resource sector in South Korea
• 학술지: Journal of Informetrics
• 연도: 2025
• DOI: 10.1016/j.joi.2025.101722

논문은 트랜스포머 기반 언어모델과 국소 이상치 계수(Local Outlier Factor, LOF)를 결합한 분석 틀을 제안한다. 언어모델은 제안서 글을 숫자 벡터로 바꾼다. LOF는 그 벡터가 주변 제안서보다 얼마나 외떨어져 있는지 계산한다. 연구진은 이 계산값을 신규성 점수로 삼고, 과제의 투자 규모와 성과를 비교했다.

이 글에서 쓰는 핵심 용어는 다음과 같다.

• 신규성(novelty): 제안서가 기존 제안서와 의미상 얼마나 다른지를 나타내는 정도. 논문은 기존 패러다임과 구별되는 정도로 측정한다.
• 임베딩(embedding): 글의 의미를 숫자 벡터로 바꾼 결과.
• 국가 R&D 지형(national R&D landscape): 의미가 비슷한 제안서일수록 가깝게 놓이도록 제안서를 배치한 벡터 공간.
• 조절효과(moderation effect): 한 변수가 다른 두 변수 사이의 관계를 강하게 하거나 약하게 하는 효과.

동기: 제안서의 참신함과 과제 성과의 관계는 아직 확인되지 않았다

왜 제안서의 신규성이 중요한가

논문은 제안서의 신규성을 살펴야 하는 이유를 다음처럼 든다.

• 국가 R&D 과제의 성공은 국내 기술·경제 체계의 장기 성장과 국가 혁신체계의 역량 강화에 큰 몫을 한다.
• 성공한 과제는 보통 사후(事後)에 확인된다. 과학기술 파급력, 기술시장의 경제 가치, 사업화 가능성 같은 지표가 기준이다.
• 사전(事前)에는 기존 지식에서 벗어난 창의적이고 위험이 큰 연구가 성공과 관련될 수 있다. 급진적 혁신은 새로운 아이디어에서 시작되는 경우가 많기 때문이다.
• 제안서는 과제 내용을 가장 직접적이고 빠르게 알려 주는 자료다.
• 국가 자원은 한정되어 있다. 따라서 신규성이 투자와 성과에 어떤 영향을 주는지 알아야 분야별 예산 배분과 과제 기획을 효과적으로 할 수 있다.

기존 연구가 다루지 않은 부분

기존 연구는 성공 과제의 특징을 사후 지표와 사전 특성으로 나누어 다루었다. 사후 지표는 논문·특허 산출과 산업 가치이고, 사전 특성은 학제성, 성장 잠재력, 일관성, 불확실성이다. 논문은 이 가운데 신규성을 가장 중요한 특성으로 본다. 신규성을 정량화하려는 연구는 의미 거리 분석을 써 왔다.

논문이 짚은 빈틈은 다음과 같다.

• 제안서의 신규성과 R&D 성과의 관계를 깊이 있게 실증 분석한 연구가 부족했다.
• 제안서의 의미를 분석하려면 분야별 전문성과 복잡한 문맥을 다루는 자연어 처리 기법이 필요하다.
• 신규성은 질적이고 주관적인 개념이다. 전문가 평가와 소통에 쓸 정량 척도가 필요하다.
• 투자와 성과를 객관적으로 집계하는 지표를 국가 R&D 데이터베이스에서 정의해야 한다.

논문은 기여를 설명하는 대목에서 기존 전문가 기반 방법과 자기 방법을 대비하기도 한다. 기존 방법은 특정 국가 과제의 성과를 비교·분석하는 데 맞춰져 있다. 논문의 방법은 대규모 제안서에서 신규 제안서를 체계적으로 찾는다.

논문은 연구의 목표를 세 연구 질문으로 정리한다.

1. 제안서의 신규성은 어떻게 측정하는가?
2. 신규 제안서는 투자와 성과 수준이 다른가?
3. 신규성은 투자와 성과의 관계를 조절하는가?

방법: 제안서를 벡터로 바꾸고, 이웃보다 외떨어진 정도로 신규성을 매겨 성과와 비교한다

논문은 자료 수집과 전처리 뒤의 방법을 3단계로 설명한다. 1단계에서 연구진은 트랜스포머 기반 언어모델로 국가 R&D 지형을 만든다. 2단계에서 LOF로 제안서마다 신규성 점수를 구한다. 3단계에서 신규성과 R&D 투자·성과 지표의 관계를 통계 검정으로 살핀다. 이 글도 같은 3단계를 따른다.

사례와 자료

분석 자료는 KISTI(Korea Institute of Science and Technology Information)가 구축한 NTIS(National Science and Technology Information Service) 데이터베이스다. 이 데이터베이스에는 한국 정부가 선정한 국가 R&D 제안서가 담겨 있다. 2010~2022년에 선정된 제안서 기록은 764,002건이고, 고유한 제안서 ID는 364,313개다.

데이터베이스의 정보는 두 종류다.

• 서지 정보: 과제명, 연구목표, 연구내용, 기대효과 같은 텍스트와 과제 규모, 소속 기관, 분류 코드, 계속 여부. 계속 여부로 해마다 새로 선정된 과제를 가려낼 수 있다.
• 성과 정보: 연구비, 특허, 논문, 기술이전 같은 과제별 성과 기록.

연구진은 KISTEP(Korea Institute of Science and Technology Evaluation and Planning)의 과학기술표준분류 코드로 에너지·자원 분야 제안서 12,243건을 추렸다. 이 분야의 신규 과제 수는 2018년 이후 늘었고, 최근 5년 동안 해마다 2,500건이 넘는 과제가 수행되었다.

에너지·자원 분야를 사례로 정한 이유는 다음과 같다.

• 한국은 에너지 자원 수입 의존도가 높아 에너지 안보와 공급 안정이 국가 과제다.
• 한국은 2050 탄소중립 목표를 약속했고, 이 목표에는 혁신적 R&D가 필요하다.
• 재생에너지 확대, 에너지 효율, 원자력 정책을 두고 국내 에너지 정책이 빠르게 바뀌고 있다.

자료의 한 예를 보면, 2010년 과제 “Development of High-Temperature CO2 Capture and Storage Technology Using Molten Carbonate Fuel Cells”는 논문 10편과 국내 특허 4건을 냈다.

1단계: 국가 R&D 지형 만들기

• 입력: 해마다 누적된 에너지·자원 분야 제안서 텍스트
• 처리: 한국어 사전학습 언어모델을 연도별로 추가 학습하고 제안서를 벡터로 변환
• 산출: 연도별 언어모델 13개, 제안서마다 768차원 벡터

처리 순서는 다음과 같다.

1. 사전학습 모델을 정한다. 연구진은 KoBERT(‘skt/kobert-base-v1’)를 택했다. 이 모델은 한국어 위키백과 문장과 한국어 뉴스 문장으로 학습되었다.
2. 제안서의 네 부분(과제명, 연구목표, 연구내용, 기대효과)을 하나의 텍스트로 이어 붙인다.
3. 마스크 언어모델링(masked language modeling)과 다음 문장 예측(next sentence prediction) 과제로 KoBERT를 추가 학습한다.
4. 해마다 누적된 자료로 모델을 따로 학습한다. 연도 j의 제안서 벡터는 연도 j 모델의 마지막 층에서 뽑는다.

연도별로 모델을 따로 만드는 이유가 있다. 새 제안서가 들어오면서 국가 R&D 지형이 해마다 바뀌기 때문이다. 추가 학습은 도메인 적응(domain adaptation)에 해당한다. 이 과정에서 모델은 분야의 전문 용어, 문체, 어휘 분포를 익힌다.

KoBERT를 택한 근거는 제안서 글의 특징에 있다. 논문은 제안서의 특징을 세 가지로 정리한다.

• 전문 용어와 복잡한 문장 구조를 갖춘 격식체 한국어로 쓰인다.
• 논리 구조를 따르므로 의미를 정확히 뽑으려면 문맥 이해가 필요하다.
• 문단과 문장마다 분야 정보가 촘촘하고, 어휘 변화는 적다.

연구진은 KoBERT가 다국어 모델보다 한국어 고유의 통사 관계, 높임법, 형태 변화를 잘 처리한다고 보았다. 이 단계에서 연구진은 2010~2022년 각 연도에 해당하는 모델 13개를 만들었다. 제안서는 768차원 벡터로 바뀌었다.

2단계: LOF로 신규성 점수 매기기

• 입력: 연도 j까지 새로 선정된 제안서 집합(RSj)의 벡터
• 처리: 네 부분마다 LOF 계산, 부분별로 연도 안에서 최소-최대 정규화, 정규화된 네 점수의 평균
• 산출: 제안서마다 0~1 사이의 신규성 점수

처리 순서는 다음과 같다.

1. 이웃 수 k를 정한다. 연구진은 해마다 누적된 신규 제안서 수의 1%를 k로 썼다. 지형이 커지는 만큼 k도 따라 커지게 하려는 설정이다.
2. 네 부분 각각의 벡터에 LOF를 계산한다. 네 부분이 담는 뜻이 다르기 때문이다.
3. 부분별 LOF를 연도마다 최소-최대 정규화한다. 표 4에서 부분별 점수가 각각 0~1 범위에 있고, 부분마다 1.0000인 제안서가 따로 나온다.
4. 정규화된 네 부분 점수를 평균해 전체 신규성을 구한다.

LOF의 계산 방식은 다음과 같다.

• k-거리: 제안서 p에서 k번째로 가까운 제안서까지의 유클리드 거리.
• 도달 거리: p에서 이웃 o까지의 거리. o의 k-거리와 실제 거리 가운데 큰 값을 쓴다.
• 국소 도달 밀도(lrd): k를 이웃까지의 도달 거리 합으로 나눈 값. 주변이 촘촘할수록 크다.
• LOF: 이웃들의 lrd 평균을 p의 lrd로 나눈 값.

이웃과 밀도가 비슷하면 LOF는 1 안팎이다. 촘촘한 무리 사이의 성긴 자리에 놓인 제안서는 LOF가 1보다 크다. 연구진은 LOF가 높은 제안서를 주변과 다른 새로운 개념을 담은 후보로 본다.

연구진은 통계적 방법이나 거리 기반 방법 대신 밀도 기반 방법을 썼다. 이유는 비교 대상마다 다르다.

• 통계적 방법과 비교: 제안서 벡터의 분포에 대한 이론적 이해가 부족하다. 그래서 분포 가정이 필요 없는 밀도 기반 방법이 더 적합하다.
• 거리 기반 방법과 비교: 신규성은 주변 제안서가 어떻게 분포하는지에 따라 달라진다. 밀도 기반 방법은 고르지 않거나 불규칙한 분포에서도 이상치를 찾아낸다.

k값은 2010년 10, 2016년 64, 2022년 122였다. 정규화는 해당 연도 신규 제안서의 LOF 최솟값과 최댓값으로 한다. 식은 (LOF − 최솟값) ÷ (최댓값 − 최솟값)이다. 이렇게 하는 이유는 비교 대상이 해마다 달라 같은 LOF 값이라도 뜻이 달라지기 때문이다.

계산 예로 2010년 제안서 두 건을 본다. 제안서 1415,111,320은 열전 복합소재와 스퍼터링 타깃 개발 과제다. 이 제안서의 전체 신규성은 정규화된 네 부분 점수의 평균이다. 식은 (0.1960+0.3494+0.3700+0.8704)÷4 ≈ 0.4464다. 이 값은 2010년 신규 제안서 가운데 전체 신규성이 가장 높은 점수였다. 제안서 1345,135,814는 과제명의 신규성이 0.9073으로 높았다. 부분별 점수 전체는 원 논문의 표 4에서 볼 수 있다.

2022년에는 “1 kW-class portable hydrogen fuel cell generator using low-pressure hydrogen storage”가 0.2390을 받았다. “Atomic-level surface control technology for electrochemical complex oxide materials for energy conversion”은 0.2258을 받았다. 연구진은 LOF 계산에 Python 라이브러리 scikit-learn을 썼다.

3단계: 신규성과 R&D 지표의 관계 검정

• 입력: 신규성 점수, R&D 투자·성과 지표, 통제 변수
• 처리: 신규 집단과 비신규 집단 비교, 조절효과 회귀분석
• 산출: 지표별 집단 차이의 유의확률, 상호작용항 계수

연구진은 투자 지표 2개와 성과 지표 4개를 정의했다.

• R&D 지속성: 과제 시작부터 종료까지의 일수.
• 연구비 규모: 총 연구비.
• 과학 영향: SCI(Science Citation Index) 색인 학술지 논문 수.
• 기술 사업화: 체결한 기술이전 계약 수.
• 국내 기술 영향: 국내 특허 등록 수.
• 해외 기술 영향: 해외 특허 등록 수.

처리 순서는 다음과 같다.

1. 해마다 신규성 점수 상위 10%를 신규 제안서로, 나머지를 비신규 제안서로 나눈다.
2. 2021년까지 끝난 과제 9,475건만 남긴다. 신규 884건, 비신규 8,591건이다.
3. 두 집단에 맨-휘트니 U 검정(Mann-Whitney U test)을 적용한다. 자료가 정규성 가정을 충족하지 않아 비모수 방법을 택했다.
4. 조절효과 회귀분석을 한다. 종속변수는 성과 지표, 독립변수는 투자 지표, 조절변수는 신규 제안서 여부(더미)다.
5. 통제 변수로 팀 규모, 협력 여부, 새 용어 수를 넣는다. 기관 유형(대학, 연구소, 중소기업)은 고정효과로 둔다.

새 용어 수는 전년에 없던 용어를 집계한 값이다. 그래서 2010년 제안서는 조절효과 분석에서 빠졌다. 분석에 쓴 관측치는 8,420건이다. 투자 지표 2개와 성과 지표 4개를 조합해 회귀모형 8개를 추정했다. 분산팽창계수(variance inflation factor, VIF)는 1.00~1.45로, 연구진은 이 범위를 보고했다.

결과: 신규 제안서는 논문과 국내 특허는 적고 기술이전은 많았으며, 일부 성과에서는 연구비와의 관계가 더 강했다

비교 1: 신규 제안서와 나머지의 투자·성과 차이

연구진은 신규 제안서 884건과 비신규 제안서 8,591건의 지표 평균을 비교했다. 차이가 유의한지는 맨-휘트니 U 검정의 유의확률(p값)로 판단했다. p값이 0.05보다 작으면 두 집단의 차이가 우연이라고 보기 어렵다.

결과는 다음과 같다.

• 과제 기간: 신규 제안서가 짧았다(p=0.0150).
• SCI 논문: 신규 제안서가 적었다. 평균은 2.4717편과 3.4316편이다(p=0.0005).
• 기술이전: 신규 제안서가 많았다(p=0.0046).
• 국내 특허: 신규 제안서가 적었다(p=0.0042).
• 연구비와 해외 특허: 유의한 차이가 없었다. p값은 각각 0.6630과 0.1579다.

지표별 평균과 표준편차 전체는 원 논문의 표 6에서 볼 수 있다. 한 가지 어긋나는 점이 있다. 본문은 국내 특허의 p값을 0.0042로 적었다. 그런데 표 6에서 이 지표에는 p<0.05를 뜻하는 별표 하나만 붙어 있다. 0.0042라면 p<0.01 표기에 해당하므로 두 표기가 서로 맞지 않는다. 기술이전(0.0046)도 표 6에서는 별표 하나다.

논문은 이 결과를 네 가지로 해석한다.

• 과제 기간이 짧은 이유: 기술 기반이 아직 없는 신규 연구는 후속 지원을 받기 어렵다. 2021년 신규 제안서 가운데 1년 만에 끝난 과제가 34건이었다. 주로 청정·재생에너지 기술이나 사물인터넷(Internet of Things, IoT) 기반 스마트 기술 과제였다.
• 논문이 적은 이유: 새로운 방법론이나 이론을 쓰면 실험과 분석에 시간이 더 들고, 심사 과정도 길어진다. 응용 성격이 강한 에너지 분야의 연구자는 학술 발표보다 산업 적용을 더 중시할 수 있다.
• 국내 특허가 적은 이유: 선례가 없는 아이디어는 특허 요건을 충족하기 어려워 출원이 늦어지거나 포기될 수 있다.
• 기술이전이 많은 이유: 산업계가 새로운 기술을 원한다. 산학 협력 과제에서는 사업화가 논문·특허보다 앞서 나올 수 있다.

사례로, 신규성 점수 0.1124를 받은 IoT 센서용 저조도 태양전지 전원장치 과제는 2022년에 기술 사업화 성과 6건을 냈다.

비교 2: 제안서 부분별 신규성과 성과

연구진은 네 부분의 신규성마다 같은 비교를 했다. 부록의 설명을 정리하면 다음과 같다.

• 과제명: 과제명이 덜 새로운 제안서는 기간이 길고 과학 영향과 해외 기술 영향이 높았다. 과제명이 새로운 제안서는 기술이전이 많았다.
• 연구목표: 대부분 지표에서 유의한 차이가 없었다. 국내 기술 영향만 목표가 덜 새로운 쪽이 높았다.
• 연구내용: 성과에서 유의한 차이를 낳지 않았다. 연구내용은 세부 기술 서술이 많아 신규성 차이가 덜 드러날 수 있다.
• 기대효과: 기대효과가 새로운 제안서는 연구비를 유의하게 더 받았다. 평균은 1624.7181백만 원과 1453.1389백만 원이었다.

연구진은 기대효과 결과에서 실무 조언을 끌어냈다. 연구비 규모를 키우려면 기대효과에 새롭고 전례 없는 기여를 제시하는 편이 도움이 된다는 것이다.

비교 3: 신규성이 투자와 성과의 관계를 바꾸는가

조절효과 분석의 핵심 지표는 상호작용항이다. 상호작용항은 투자 지표와 신규 여부를 곱한 변수다. 이 계수가 양수이고 유의하면, 신규 제안서에서 투자의 효과가 더 크다는 뜻이다. 8개 모형은 모두 통계적으로 유의했다.

먼저 계수를 읽을 때 주의할 점이 있다. 근거로 삼은 표 7의 원문 텍스트에서는 계수의 음수 부호가 보이지 않는다. 일부 열에서는 값의 배열도 분명하지 않다. 그래서 이 글은 계수의 방향을 논문 본문의 해석에 따라 적는다. 계수 전체는 원 논문의 표 7에서 확인할 수 있다.

연구비의 효과부터 보자. 논문 본문의 해석에 따르면 모형 2(SCI 논문)와 모형 6(국내 특허)에서 신규 제안서 여부는 음(-)의 주효과를 보였다. 모형 8(해외 특허)에서는 유의한 주효과가 없었다. 그러나 세 모형 모두 연구비×신규 상호작용항이 유의한 양(+)의 값이었다. 이 세 성과 지표에서 연구비와 신규 여부 사이에 유의한 양(+)의 상호작용이 나타났다는 뜻이다. 논문은 이를 제안서가 신규일 때 연구비의 긍정 효과가 더 크다고 해석한다. 논문 본문은 기술 사업화를 이 결과에 넣지 않았다.

과제 기간의 효과는 반대였다. 모형 1(SCI 논문)에서 R&D 지속성의 주효과는 3.6087(p<0.001)로 양수였다. 논문 본문에 따르면 신규 제안서에서는 이 효과가 약해졌다. 표 7에는 이 상호작용항이 1.3227(p<0.001)로 적혀 있지만, 앞서 말한 대로 부호는 원문 텍스트에서 확인되지 않는다. 다른 성과 지표에서는 신규성이 과제 기간의 효과를 조절하지 않았다.

논문은 두 결과를 다음처럼 해석한다. 신규 연구는 처음에 측정 가능한 성과를 내기 어렵지만, 충분한 연구비가 성과를 끌어올린다. 반면 과제 기간을 늘린다고 신규 연구가 반드시 이득을 보지는 않는다. 그래서 전략적인 과제 기획이 필요하다.

신규성 점수의 시간 변화

연구진은 같은 제안서의 신규성을 해마다 다시 계산했다. 제안서 1345,135,814는 2010년 0.3789에서 2011년 0.0663, 2022년 0.0905가 되었다. 2010년에 신규성이 높았던 제안서는 이후 상대적 신규성이 낮아지는 경향을 보였다. 논문은 이 변화를 연구 지형이 움직이면서 신규성의 기준도 바뀐다는 증거로 읽는다.

의의와 한계

무엇이 달라지는가

• 신규성이라는 사전 특성을 정의하고, 이를 투자·성과 같은 사후 지표와 체계적으로 연결했다.
• 전문가가 특정 과제를 비교하던 방식과 달리, 대규모 제안서에서 신규 제안서를 체계적으로 찾는 방법을 제시했다.
• 트랜스포머 언어모델을 국가 R&D와 국가 혁신체계 분석에 적용했다. 저자들은 자신들이 아는 범위에서 이 적용이 첫 시도라고 주장한다.
• 일부 성과 지표에서 연구비와 성과의 양(+)의 관계가 신규 제안서에서 더 크게 나타났다. 해당 지표는 과학 영향과 국내·해외 기술 영향이다.
• 분석 과정과 모형 설정을 목적에 맞게 바꿀 수 있는 재현 가능한 구조로 설계했다.

실무자에게 주는 쓸모

논문은 이 방법을 웹 서비스로 자동화하자고 제안한다. 그러면 R&D 데이터베이스나 자연어 처리에 익숙하지 않은 전문가도 제안서를 분석할 수 있다. 전문가가 기술 분야를 지정하면 해당 제안서를 걸러 단계별 결과를 보여 주는 절차도 만들 수 있다. 다만 도메인 모델을 추가 학습하려면 GPU 같은 계산 자원과 학습 시간이 필요하다. 새 제안서가 쌓이면 모델도 주기적으로 갱신해야 한다.

정책 면의 시사점도 있다. 논문은 신규 과제를 단기 성과만으로 평가하지 말고, 위험과 보상의 균형을 맞춘 장기 투자 전략을 쓰라고 권한다.

실제 도입에서 논문이 당부하는 점은 다음과 같다.

• 신규성의 결정 요인은 분야와 맥락마다 다르므로 신규 제안서를 넓게 탐색한다.
• 언어, 분야, 문서 유형에 맞추어 여러 언어모델을 시험한다.
• 자료 범위와 신규성 기준을 목적에 맞게 조정한다.
• 결과 해석에는 전문가 검증과 정성 검토를 함께 쓴다.
• 임베딩 차원과 이웃 수 같은 설정값을 분석 요구에 맞게 조정한다.

연구자에게 주는 쓸모

논문은 이 방법을 기존 신규성 지표와 결합하자고 제안한다. 논문과 특허가 인용한 학술지의 다양성이나, 인용 문헌과 선행 문헌의 지식 중첩도를 성과 평가에 넣는 방식이다. 같은 틀은 임무 지향 R&D 전략 평가, 국가 기술경쟁력 평가, 연구 투자의 사회적 영향 분석에도 적용할 수 있다. 주의 기반 텍스트 분류 모델로 신규성에 기여한 단어와 문장을 짚어 내는 후속 연구도 열려 있다.

논문이 밝힌 한계

논문이 스스로 밝힌 한계는 다섯 가지다.

• 신규성 지표는 다른 문서와의 의미 차이를 측정할 뿐, 독창성을 확정하지 못한다. 전문가 평가나 R&D 분류 코드의 새로운 조합 분석으로 보완해야 한다. 성과 지표도 특허 패밀리 규모, 피인용 수, 기술이전 금액 같은 외부 자료로 다듬어야 한다.
• 제안서의 각 부분을 분석 단위로 삼았다. 신규성은 문장, 단어, 지식 개체 수준에서도 나타날 수 있다. 에너지 분야에서는 새 소재를 기존 문제에 쓰는 경우가 예다.
• 최신 언어모델 기법을 더 반영할 여지가 있고, 자료와 모형이 커지면 계산 부담도 커진다.
• 신규 제안서의 해석과 원인 분석은 여전히 전문가 판단에 기댄다.
• 사례 연구가 하나뿐이다. 관계를 일반화하려면 추가 검증이 필요하다.

필자가 보는 적용 조건

아래는 논문에 적힌 내용이 아니라 필자가 실무 적용을 염두에 두고 덧붙이는 조건이다.

• 결과는 상관관계다. 신규 제안서와 성과 지표의 관련성을 보였을 뿐, 신규성이 성과를 낳는다고 단정하지 않는다.
• 분석 대상은 이미 선정된 제안서다. 탈락한 제안서가 섞인 심사 단계에 그대로 적용하면 결과가 다를 수 있다.
• 집단 평균의 차이가 표준편차보다 훨씬 작다. SCI 논문의 경우 평균 차이는 3.4316 − 2.4717 = 0.9599이고, 표준편차는 8.2791과 11.5692다. 점수 하나로 개별 과제의 성패를 예측하기는 어렵다.
• 모형 2의 결정계수는 0.0161이다. 상호작용항이 유의해도 성과 변동의 대부분은 다른 요인에서 나온다.
• 상위 10%라는 기준과 k를 누적 제안서의 1%로 둔 규칙은 이 사례의 설정이다. 자기 자료에서는 기준을 바꿔 가며 결과가 유지되는지 확인해야 한다.
• 제안서 양식이 해마다 같아야 네 부분을 나눠 비교할 수 있다.

바로 해 볼 일

• 자기 기관이 선정한 제안서를 연도별로 모으고, 과제명·연구목표·연구내용·기대효과 네 부분으로 정리한다. 한국어 사전학습 모델로 부분별 벡터를 만든 뒤 scikit-learn의 LOF를 적용한다. 이때 k는 누적 신규 제안서 수의 1%로 둔다. 부분별 LOF를 연도마다 최소-최대 정규화한 뒤 네 점수를 평균한다.
• 해마다 신규성 상위 10% 제안서를 뽑아, 종료된 과제만으로 나머지와 맨-휘트니 U 검정을 한다. 비교 지표는 과제 기간, 연구비, SCI 논문, 기술이전, 국내·해외 특허 등록 수로 둔다.
• 신규성 상위 제안서 목록을 분야 전문가에게 보여 주고, 실제로 새로운 과제인지 함께 검토한다. 점수만으로 판단하지 않는 것이 이 방법을 쓰는 첫 단계다.