2017-04-24
org.kosen.entty.User@4eff1732
박성은(pse3598)
- 26
- 0
※ 지난 1월 진행된 ‘이슈토론 주제 추천 이벤트’에서 physboy(안형준) 회원님께서 주신 의견을 토대로 제시하는 이슈입니다. 감사합니다 :-)
최근 과학연구의 재현성 위기(reproducibility crisis)가 화두로 떠오르고 있습니다. 재현성이란 학술 논문의 기본적이고 필수적인 요건으로, 출판된 논문에서 명시된 동일한 조건과 방법, 데이터로 실험하면 동일한 결과를 얻을 수 있어야 한다는 것입니다(충청투데이). 지난해 학술지 '네이처'가 전 세계 1,576명의 과학자에게 설문조사를 한 결과 90%가 넘는 과학자들이 논문 재현성이 위기에 놓여 있다고 답했습니다(매일경제). 이에 오픈 데이터 개념을 적용해 논문 작성에 활용된 데이터를 출판하고, 영구 식별자(Persistent Identifier, PID)의 권한을 부여 및 공개함으로써 학문의 발전을 도모하자는 운동이 늘어나고 있습니다(충청투데이). 연구자들이 자발적으로 신뢰성 있는 데이터 리포지토리에 자신들의 데이터를 기탁해 누구나 활용할 수 있게 한다면 비용 및 노력의 절감이 가능할 뿐만 아니라 학문의 발전을 가속화시킬 수 있다고 보는 것입니다. 이외에도 재현성 위기를 극복하기 위해 우리 연구자들은 어떤 노력을 할 수 있을까요? KOSEN 회원님들의 의견을 나눠주세요.
※ 관련뉴스
1. ‘연구자부터 오픈하자’ (2017/03/17, 충청투데이)
2. ‘그때는 맞고 지금은 틀릴 수 있는게 과학’ (2017/01/13, 매일경제)
3. ‘‘연구 사전등록제’, 재현성 위기의 제도적 해법’ (2016/07/11, 사이언스온)
최근 과학연구의 재현성 위기(reproducibility crisis)가 화두로 떠오르고 있습니다. 재현성이란 학술 논문의 기본적이고 필수적인 요건으로, 출판된 논문에서 명시된 동일한 조건과 방법, 데이터로 실험하면 동일한 결과를 얻을 수 있어야 한다는 것입니다(충청투데이). 지난해 학술지 '네이처'가 전 세계 1,576명의 과학자에게 설문조사를 한 결과 90%가 넘는 과학자들이 논문 재현성이 위기에 놓여 있다고 답했습니다(매일경제). 이에 오픈 데이터 개념을 적용해 논문 작성에 활용된 데이터를 출판하고, 영구 식별자(Persistent Identifier, PID)의 권한을 부여 및 공개함으로써 학문의 발전을 도모하자는 운동이 늘어나고 있습니다(충청투데이). 연구자들이 자발적으로 신뢰성 있는 데이터 리포지토리에 자신들의 데이터를 기탁해 누구나 활용할 수 있게 한다면 비용 및 노력의 절감이 가능할 뿐만 아니라 학문의 발전을 가속화시킬 수 있다고 보는 것입니다. 이외에도 재현성 위기를 극복하기 위해 우리 연구자들은 어떤 노력을 할 수 있을까요? KOSEN 회원님들의 의견을 나눠주세요.
※ 관련뉴스
1. ‘연구자부터 오픈하자’ (2017/03/17, 충청투데이)
2. ‘그때는 맞고 지금은 틀릴 수 있는게 과학’ (2017/01/13, 매일경제)
3. ‘‘연구 사전등록제’, 재현성 위기의 제도적 해법’ (2016/07/11, 사이언스온)
과학자들의 집단 지성이야기
KOSEN 이슈토론에 의견을 작성해 보세요.
KOSEN 이슈토론에 의견을 작성해 보세요.
의견 26
-
2024-01-19 김준환(lovephy)
- 0
- 2
저는 조금 다른 맥락의 얘기를 해볼까 합니다. 저도 기본적으로는 연구 결과의 반복성과 재현성은 매우 중요하다고 생각합니다. 그리고 그를 위해서 검증시스템이 필요하다는 의견에도 상당히 동의합니다. 한편 연구자 사회에서 이미 연구 내용에 대한 신뢰성과 그 가치에 대한 자정작용이 이미 작동하고 있는데 굳이 제도적인 강제가 필요할까라는 생각도 듭니다. 다들 아시다시피 좋은 연구는 시간을 두고 계속 인용되고 그 연구자는 오랫동안 학계에서 인정받고 환영을 받으며 그 명맥을 유지해 나가고 그렇지 않은 연구 결과 및 연구자는 일정 시간이 지나면서 사장되고 후속 연구 또한 계속되지 못하는 경우가 많습니다. 그럼에도 불구하고 제도 마련 혹은 모든 데이터를 공유해야한다는 주장이 대두되는 이유는 연구 결과 및 업적을 평가하는 방법에 문제가 있기 때문이라고 생각합니다. 우리 연구자들은 지속적인 연구를 위해서는 사회적 평가를 통한 자정작용이 발휘되기 이전에 실적을 평가 받고 있기 때문이겠죠. 안타깝게도 저 역시 좋은 해결책을 제시할 수 없습니다만, 그럼에도 불구하고 저는 반복성과 재현성에 대한 노력은 연구자 개개인이 숙지하고 노력해야할 부분이고, 자정능력의 강화와 연구에 대한 효과적인 평가 방안 마련이 사회적 역할로 보는 것이 조금 더 아름답고 자유로운 연구 활동이 보장되는 방향이라고 생각합니다. 이를 통해서 개인적인 노력이 부족한 연구자는 자연적으로 커뮤니티에서 도태되는 그런 환경을 만들어지는 것이 아닐까요? -
2017-05-23 류기헌(likeall78)
- 0
- 1
물론 연구자들의 양심문제이지만, 각연구기관의 콘소시엄이나 학회에서의 연구에 대한 심사제도를 강화하는것도 필요할것 같습니다.
심사시 관련정보를 제공받을수 있는 권한을 부여하여 연구자본인의 책임하에 투명한 심사가 이루어지게 하는것이 필요할것 같습니다.
-
2017-05-17 김형석(khsys57)
- 0
- 3
연국실적, 논문, 논문의 데이터에 대한 공개제도가 법적인 기반을 갖추어야 한다고 생각합니다. 국가적인 공공데이터의 공개차원에서 연구논문과 관련자료가 국내에서 등록된 사람들에 한하여 철저하게 공개되어야 한다는 뜻입니다.
이런 바탕으로 연구가 진행된다면 자료의 정확성에 더욱 신경을 쓰게 될 것이고 이는 자연스럽게 질적인 연구의 향상으로 이어질 것입니다. 그러나 여기서 반드시 통제하여 하는 것은 연구자의 독창성을 인정하는 법적 제도적 장치입니다.
이러한 정확성과 정직성을 바탕으로 법률이 제정된다면 재현성의 문제는 많은 부분이 해결될 수 있지 않나 하는 생각입니다. -
2017-05-16 장성재(sjsjj)
- 0
- 2
실험 재현성에 관한 연구자들의 양심 문제를 거론하기 보다는 국내 전체적인 과학기술계에서 연구자의 능력을 판단하는 기준 및 연구비 지원 국가 정책 등을 생각해 볼 필요가 있지 않을 까요?
- 지속적이고 창의적인 기초 연구 보다는 연구비를 받을 수 있는 응용 또는 실용 연구에 매달리는 과학정책 현실
- 대학 등 고학력 연구자의 취업을 위한 실적 만들기에 급급한 연구 현실
- 실질적인 공동 연구가 아닌 이름만 끼워 넣기 식의 연구 실적 관리
- 학생 연구원 등에게 보고서에 써넣을 결과 만을 요구하는 일부 책임자분들
등등
원인이 없는 결과가 존재할까요?
과학자분 여러분 모두 다시 한번 곱씹어가며 천천히 생각해 봐야 할 문제인 것 같습니다.
-
2017-05-15 손윤경(zebra1029)
- 1
- 3
한국 연구의 특성상 특별하고 가시적인 업적을 중시하는 데에서 기인한 문제라고 생각합니다. 새로운 것에만 집착하다 보니 양질의 연구보다는 다른 측면에만 집중하게 되어 재현성 문제가 발생하는 것이 아닐까 합니다. 연구 풍토를 바꾸는 것은 어렵지만, 추후 한국 과학계의 발전을 위해 인식의 전환이 필요한 시점입니다.
-
2017-05-11 김연진(neurokim76)
- 0
- 2
재연성의 문제에 대해서는 연구자의 입장에서 재현성 검증을 위한 시간적 경제적 여건이 제대로 갖추어 지지 않은 상태라는 것이 아쉬울 따름이고, 출판사와 기타 리뷰어들의 경우에는 그만큼의 자료 불충분의 여건으로 혹은 투고된 논문이 타 출판사로 넘어가기 두려울 수도 있다고 봅니다. 그러기에 재현성의 검증 보다는 출판에 더 중점을 두기 때문일 수도 있겠습니다.
연구자는 본연의 임무인 연구 결과가 남들이 이용했을때 거의 비슷한 결과가 나올 수 있도록 정확한 실험 데이터와 과정을 발표할 의무가 있고, 출판사와 리뷰어는 투고된 논문의 정확성을 확인할 데이터 확보가 중요하다고 봅니다.
우리 모두가 해결해야할 문제라는 것이라는 생각이 듭니다. -
2017-05-10 박애리(shara0421)
- 1
- 3
연구자들의 양심도 중요하다고 동의합니다.
한편으로는 셀컬쳐 방법 및 인비트로의 세세한 실험조건, 팁들이 있음에도 불구하고 간단하게만 적죠
예를 들면 같은 셀라인에도 불구하고, DMEM을 쓰꺼나 셀라인에서 recommend 하는 media를 쓰기도 하고 그에 supplement 시약도 실험실마다 다른데, 그런 것들이 셀에 어떤 영향이 미칠지 모르는 부분이기도 합니다.
웨스턴 부분에서는 안티바디 회사 및 제품 number, lot number에 따라 결과가 안나오고 나오고 천차 만별이기도 하고요, PCR의 경우 프라이머를 썼는지 sequence는 기재하지만 진짜 적합한 것인지는 직접 찾아봐야 할텐데, 모르는 사람은 그냥 갖다가 적용할수도 있을거구요
또 한편으로는 논문에 기재하지 않더라도 실험실 내에서 실험노트에 자세히 적어놓는 사람은 굉장히 드물더라구요
그러니 실험실내에서도 실험을 배우거나 인수인계 하는 상황에서도 재현성이 떨어지는 문제가 흔한 것 같습니다.
따라서 실험하는 자의 양심에 맡겨둘수밖에 없는 게 실정이죠
그리고 PI 도, 실험자도 실험결과에만 목매달것이 아니라 과정도 중요하게 여겨서 discussion이 필요할텐데 ,, 대부분은 실험자에게만 맡겨둔채 결과만 내오라는 태도들도 개선해야 한다고 봅니다.
-
2017-05-08 백종민(pan4001)
- 1
- 3
재현성을 위한 연구자들의 노력은 사실상 양심에 맡길수 밖에 없는 것 같습니다. 물론 연구자들에게 데이터 조작이나 날조 방지를 위한 교육도 따로 하고 있는 것으로 알고 있습니다. 저 또한 그러한 교육을 받았지만 교육을 받는 것과 받은 교육을 이행하는 것은 전혀 다른 일이고 연구자의 양심문제에 관한 일입니다. 저는 오히려 재현성 문제를 해결하기 위해 인프라를 개선하는 것이 어떨지 생각해 봅니다.
윤지숙(jigel8) 2018-10-08화학분석 실험에는 AOAC, CODEX guideline에 따라 재현성을 포함한 method validation을 할 수 있어, 논문에 validation 결과를 넣을 수 있는데, 그렇지 못한 경우에는 어떻게 해야할지 고민해봐야할 부분입니다.
-
2017-05-02 변성천(rg1000)
- 0
- 2
실험결과은 전체를 대표할 수 있는 대표성과 일부분을 표현할 수 있는 특별성이 있다고 생각됩니다. 그리고 실험자는 이미 실험결과를 예측할 수 있죠. 그래서, 원하는 결과가 일부분에서 나왔을때, 그것이 실험결과를 대표하듯이 결과물로 제출하죠. 그게 틀렸다고 말할수 없죠. 실험물을 잘 했으면 아마도 좋은 결과물, 일부분이 아니라 전체적으로 균일한 데이터가 나올수 있을것인까요?. 그렇지 않는 경우도 있겠지만, 그것은 무시되는 경우가 있습니다. 그래서, 나중에 다시 실험하였을때, 같은 결과가 나오지 않는 경우도 있죠. -
2017-05-02 조수호(kist22)
- 0
- 3
재현성의 위기(reproducibility crisis)가 본격적으로 언급된 것은 2010년 정도에 심리학과 생물학에서 재기되었습니다. 물론 다른 분야에서도 재현성 위기는 있었습니다. 하지만 심리학과 생물학에서 유독 많이 이 위기가 언급되는 것은 심리학과 생물학 뿐 아니라 과학의 특성 때문이라고 생각합니다. 즉 과학의 변수(variable)가 존재합니다. 연구자는 이 변수를 최대한 최소화하는 것이 실험의 정확성을 높이는 방법일 것입니다. 이 변수가 재현성의 위기를 재기하게된 것이라 생각합니다. 즉 재현성의 위기도 과학의 일부라는 것입니다. 물론 제가 언급하는 재현성의 위기는 연구자들의 양심이 뒷받쳐진 상태가 전제입니다.
이러한 변수를 최소로하기 위해선 실험소스에 private individual number를 부여하여 실험자가 오픈소스로 하더라도 불이익이 없도록하여야 하며 정부 차원에서도 quantity로 압박하는 것이 아닌 quality쪽으로 지속적인 지원이 필요하다고 생각합니다. -
2017-05-02 윤창옥(airkiti)
- 0
- 2
많은 분들의 의견을 보면서 결론은 현실과 이상의 차이를 직시 해야한다고 생각합니다.
대부분의 연구자들은 연구에 대한 특이성과 독립성을 가지고 연구를 하지만,
실제 현실에서는 이상과의 경계에서 갈등을 하고 있는것 같습니다.
그래서 이러한 이슈나 주제를 가지고 이야기를 하는 것이겠지요.
현실과 이상에서 갈등하기 보다는 우리 연구자들도 꿈을 먹고 사는 사람들이지 않겠습니까?
때론, 한번쯤은 꿈을 쫓아서 가는것도 좋지 않을까요...
힘든고 외롭고 지치지만, 꿈을 한번 꾸는 여러분이 되시면 좋겠습니다. 홧팅!!
-
2017-05-02 이상호(RGB3)
- 0
- 2
스피드와 독특한 성과를 요구하는 환경에서, 새롭게 보이기 위해서 재현하기 힘든 결과를 발표하는 유혹을 떨치기가 어렵습니다. 이는 과거 경제의 고도 성장을 위해 삶의 질에 대해서 눈 감았던 것과 비슷하겠지요. 그러나 이제 한국의 실력이 기본은 갖추어 졌으니, 향후에 양보다 질을 우선하는 문화를 형성하는 방향으로 나야가야 하리라 봅니다. -
2017-05-02 주형국(juelf)
- 0
- 2
우선, 연구자 스스로 연구 윤리를 가지고 납득할 많한 수준의 데이터를 논문으로 출판해야 한다고 봅니다.
하지만 또 다른 문제는 여러나라에서 비슷한 결과의 연구가 하루에도 수십편씩 쏟아지고 있고,
출판사에서도 재현성이나 정확성 보다는 novelty를 표방하여 신선하고 새로운 것에만 집중하는데
문제가 있다고 봅니다.
이전 토론에서도 제안한적이 있지만, 에디터와 리뷰어들도 좀 더 공정성있는 전문가 집단을 만들고,
공개화 해서 검증에 대한 확신성이 있어야 한다고 봅니다.
또한, 논문 제출 시 supplementary를 활용하여 재현 실험의 여부 혹은 표준편차/에러바를 활용한
데이터의 오차성에 대한 스스로의 검증과 출판사측에서의 제시가 필요하다고 봅니다.
(현재 몇몇 high IF 논문에서 다량의 저 back data를 요구하고 있죠.)
연구자 스스로 논문을 제출하면서 돈을 지불하고 있는 시스템상에서
출판사의 공정한 심판자 역할이 더 강조되어야 하지 않을까 합니다.
연구자도 사람인지라서 시스템상으로 확립되지 않으면 항상 재현성에 대한 문제는
쉽게 풀리기 않을 겁니다.
-
2017-05-02 성학모(sungongin)
- 0
- 4
연구나 생산이든 대부분 시험법 검증이 재현성 측면에서 매우 중요하다. 연구와 생산부서에서 오랜동안 근무하면서 시험법검증과 공정경험을 수행한 경험으로 비추볼 때, 재현성 확보를 위해서는 연구자들도 시험법 검증 및 공정검증에 대한 지식과 수행능력을 높이는 노력이 필요하다고 본다.
GMP에서 QC의 기본적 운영은 시험법검증을 절대적으로 요구한다. 시험법 검중중에서 재현성을 알아보기 위해 물리적 화학적 환경(온도, pH, 용기, 빛 등), 그리고 시험자간 시험에서 민감하지 않은지?를 살펴보게 된다. 즉 기본적으로는 반복시험(10회 평균)을 통해 정확성 및 정밀성을 조사한다. 또 다른 요소인 견뢰성(Robustness)은 그 실험이 얼마나 흔들리지 않는 결과인지를 알수 있게 한다. 그리고 범위에 검증이 있으면 임계점(critical point)을 정확히 인지할수 있다. 이러한 시험법 검증을 통해 제대로 이루어진 결과는 재현성이 확고하다고 볼 수 있다.
시험물질을 추출하고 분석하는 일련의 과정은 소규모의 제조공정이라고 볼수 있다. 물질이 추출, 정제, 보관이 되는 현실에서 그 모든 과정이 물질의 변화가 없이 일정수준의 함량을 유지하는 지 여부가 확인되어야 한다. 그렇지 않으면 시험법의 오류인지 제조상의 문제인지를 파악하기 어렵다. 따라서 시험법검증과 더불어 공정검증은 재현성 확보에서 매우 중요하다보 볼수 있다.
결론적으로 연구자들에게도 시험법 검증과 공정검증의 개념이 도입되어 수행되며 논문으로 반영된다면 연구결과의 재현성확보는 분명하다고 판단된다. 시간이 걸리겠지만 이것이 공정한 연구로 이어지는 방법이라고 생각된다. 더불어 이러한 작업을 수행하는 연구자에게는 그 가치를 인정해주는 장치가 필요하다.
-
2017-05-01 정용대(gumsa007)
- 0
- 7
코센에 방문하는 박사님들 및 선생님들은 과제를 수행하면서 과제성과를 위한 논문을 작성해본 경험이 있을 것으로 생각됩니다. 연구자금을 받으면 output으로 논문을 내는 것이 당연하겠지요. 하지만, 외국과 비교했을 때, 국내 연구자금들은 단기간동안 논문 성과 특히 논문편수를 요구하는 상황입니다. 이러한 상황에서 연구자금의 지속성과 새로운 연구자금을 위해 재현성은 한 쪽에 놓아 두고 있죠. 일부 다른 분들은 왈 '그게 과학자로서 할 일이냐'라고 평할 수 있습니다. 그러나, 과학자로서 양심을 지키지는 쉽지는 않을 것으로 판단됩니다. 실례로, 석사과정 시 실험결과가 나오지 않자 교수님은 '너가 실험을 잘 못했다'. '다른 논문의 방법을 찾아봐라' 등의 말을 하시면 좋은 결과를 원하셨습니다. 하지만, 교수님은 '모든 실험이 좋은 결과를 도출할 수는 없다'라고 평소에도 말씀하시는 분입니다. 이제 제가 나이를 먹으니 교수님도 연구자금을 위해 닥달할 수 밖에 없는 상황이라는 것을 알게 되었죠. 회사나 연구소에서 월급쟁이 연구원을 하면서 자신의 인사고과에 영향을 미칠 수 있는 상사의 말을 무시하고 재현성에 대해 양심을 유지할 수 있는 사람이 몇이나 될까요? 최근, 국내 연구자금들도 수량보다는 질적인 평가로 가고 있는 실정이지만 아직은 논문수도 충족되고 질적으로 상향되는 추세로 과도기입니다. 이러한 분위기에서 재현성에 대한 언급은 굶으라는 말과 진배없다고 생각됩니다. 연구자금에 대한 성과의 무게를 덜어냄과 동시에 이러한 자금의 지급 시 연구자들의 역량을 정확하게 확인하면 연구과제를 배당하는 제도적인 개선이 이루어진다면 능력있는 분들은 재현성고려에 더 신경쓰지 않을 까 판단된다. -
2017-04-30 이준민(griffith)
- 0
- 3
사실 회사에서의 연구는 무조건 재현성부터 확인을 합니다. 그래야 "양산가능성"을 판단할 수 있을테니까요.
하지만, 학교에서의 논문은 "논문이 될 가능성"에만 초점을 맞추기 때문에 이런 문제가 생기는 것 같습니다.
특허 등 다른 문제가 있을 수 있겠지만, 가능한 산학협력과제를 진행하면서 양산성이 검증 된 연구를 기반으로 논문을 작성한다면 재현정문제가 줄어들지 않을까요? -
2017-04-30 INHO SONG(cat12)
- 0
- 3
실험 결과가 첨부되어야 하는 논문의 경우에는 분야별로 적합한 실험방법에 대하여 기술하는 기준이 필요할 듯 싶습니다.
실적에 쫓기다 보면 재현성이 떨어지는 연구도 논문에 사용하기 마련이지만 이런부분은 각 학회의 리뷰어가 가려야 할 듯 싶습니다.
논문 리뷰어가 그 분야에 많은 경험을 가지고 있다면 재현성이 떨어지는 연구결과를 어느정도 가릴 수 있을거라 생각됩니다. -
2017-04-30 권정희(buny89)
- 0
- 1
과학연구의 재현성을 확보하기 위한 가장 좋은 방법중에 하나가 실험방법의 표준화, 특히 표준화를 위해 해당되는 연구분야의 글로벌 가이드라인, 글로벌 가이드라인이 없을 경우 과학부처 또는 관련 학회/협회 차원에서 가이드라인의 제정 또는 기 정립된 프로토콜 등을 연구데이터 생성시에 명기하거나 의무적으로 사용하거나, 연구자가 실험에 사용한 프로토콜 및 생성된 데이터를 오픈데이터로 활용하도록 하는 방안도 검토해 볼 필요가 있을 거 같습니다. -
2017-04-28 최규석(seed77)
- 0
- 2
과학연구 재현성의 위기는 논문의 질(피인용지수)보다 양(여러편의 논문)을 높게 평가하고 있는 사회와
결과에 대한 재현성을 위해 실험을 하지 않는 연구자의 인성에 문제점이 있다고 판단됩니다.
사회의 판단기준의 변화와 연구자의 생각이 바뀌는 않으면 재현성의 위기는 반복될 수밖에 없는 것
같습니다. 인식변화(논문의 양보다 질)가 필요하며, 연구자 또한 재현성을 위한 실험을 진행하고
그 결과물들이 나오기까지의 내용을 공개할 수 있는 마음이 필요하다고 생각됩니다.
-
2017-04-28 Taehee Jeong(thj77)
- 0
- 2
과학의 정의를 보면, 재현성이 포함되어 있었습니다.
논문을 발표하기 전에 자신의 발표할 결과가 재현성이 있다는 것에 대해서 저자가 확인해야 하는 것은 저자의 과학자로서의 양심에 달려있다고 봅니다.
그리고, 논문에 이용된 데이터의 공개는 반드시 이루어져야 한다고 봅니다.
지금까지는 저자에게 직접적으로 요구해야 했고, 요구해도 데이터가 공개되지 않는 경우도 많이 있었습니다.
앞으로는 저자가 온라인상에 데이터를 공개하고, 이것을 원하는 사람이 자유롭게 접근할 수 있도록 하는 것이 필요합니다. 어떤 분이 기술했듯이, 이미 일부 컴퓨터 사이언스(빅데이터)에서 이것이 자발적으로 실행되고 있습니다. -
2017-04-28 김경진(nadocdog)
- 0
- 3
어는 대상(h/w, s/w)이라 하더라도 일정한 과정을 통해 유용한 성과물을 구해내는 모든 사항은 모두 포함되고, 이 유형물은 같은 환경조건 (4M, 1M, 1C, 1E)에서 거의 3~6시그마의 정규분포의 값을 제시해야 한다.
실제로 재현성 과정에서 다른 값이 나타나는 것은 환경조건이 다르거나 기기의 수준 그리고 관리하는 사람에 따라 다소 다를 수 는 있다. (실제 시험에서 시험 표준은 볼트의 조임TQ까지도 관리대상이다.
모든 환경조건이나 관련된 제반조건을 다루는 반복성과 재현성 기술은 경쟁력(a state of art's)수준이라고 본다.
특히 대상에서는 정적시험 데이터 만을 다루는 것은 의미가 없다.
모든 데이터는 동적시험과 정적시험과의 비교가 필수 이다.
정적인 시험 데이터와 동적시험데이터의 판별은 같거나 후자가 우위에 있어야 한다고 본다.
그리고 이는 최소한 반복성을 갖추어서 그 값은 어디에서도 어는 환경에서도 인정되어야 한다고 본다.
제품의 수준이 변한다는 것은 결함에서 불량이라는 뜻도 된다. 품질공학을 적용한다면 실패비용은 뻔한 것이다.
따라서 국내의 논문이나 보고서 등에 관련된 이해관계자가 배울려고 하는 벤치마킹 대상을 자주 보여주는 것도 국가나 단체가 해야 할 일이다.
어는 편에서는 몰라서 안하는 것이 아니라, 비용이라고 하는 경우도 있겠지만, 논문이나 보고서는 경쟁력이 우선하기에 비용을 고려하는 것은 문제의 대상이다.
그리고 재현성의 끝판은 파괴시험이고, 이의 데이터는 유이한 과정에서는
비용의 최적화와 논문이나 보고서의 최적화를 구현하는데 큰 의의가 있다. -
2017-04-28 이배훈(lbh217)
- 0
- 3
연구를 하는 근본 목적으로 순수 자연 현상 탐구와 인류의 건강과 복지에 기여하려는 태도를 늘 유지하는 것이 필요한 것 같습니다. 논문 수에만 집착한 나머지 명확한 사실/재현성에 근거한 논문 발표보다 빠르게 출판하려는 태도도 문제가 되는 것 같습니다.
그리고 재현성의 문제는 주로 많은 변수가 있는 생물관련 분야에서 많이 일어나는데 연구자들이 정확한 정보와 critical 인자들을 솔직하게 진술하려는 태도가 필요한 것 같습니다. -
2017-04-28 이제민(jemin)
- 0
- 5
저는 컴퓨터공학 쪽에서 연구하는 박사과정 입니다.
데이터를 공개하고 싶지만 아무래도 저널 리뷰 기간이 너무 길어서 그렇지 못하는것 같습니다.
또한 후속 연구를 하고 싶은 경우에도 데이터를 공개할 경우 아이디어 노출이 있어서 어려운것 같습니다.
하지만 최근 딥러닝쪽 연구들 그룹을 중심으로 컴퓨터공학 쪽에서도 적극적으로 코드와 데이터 심지어 논문도 사전에 공개 하고 있습니다. 이론 중심 분야에서만 https://arxiv.org/에 논문을 선공개 했지만, 요즘 기술의 흐름이 너무 빨라서 학회나 저널 출간 까지 기다리면 이미 오래된 기술인 부분이 많아서 아카이브에 선공개 하고있습니다.
코드와 데이터도 재현성을 위해서 저희 분야의 경우 Github에 모두 공개하고 있습니다.
이러한 공개를 했을 때 현재의 보상은 피인용 횟수가 크게 올라가는 장점이 있습니다.
아무래도 여러 임용과정에 있어서 양보다는 피인용 지수가 높은 임펙트 있는 논문들에 대한 가치를 인정해 준다면 이러한 재현성을 위한 공개가 적극적으로 이뤄 질것 같습니다.
현재의 상황은 질보다는 양이 우선인 상황에서 힘들게 만든 데이터와 코드들을 본인의 후속 연구들의 여지를 생각해 볼 때 공개하긴 어려울 것 같습니다.
-
2017-04-28 우재현(too2719)
- 1
- 1
논문을 제출하게 되면, 그에 대한 실험 과정 및 데이터 공개를 함으로써 재현성 검증을 해야한다고 봅니다.
윤지숙(jigel8) 2018-10-08논문 제출 시 데이터 공개하면 reject 시킨 후 데이터를 재가공할 수 있는 통로가 생기지 않을까요? 유사한 연구를 하는 리뷰어에게 논문 심사요청이 되면 문제가 될 수 있습니다. 실제로 제 박사학위 논문을 paper로 제출할 때 유사한 경험이 있었습니다.
-
2017-04-27 박성은(gloria)
- 0
- 3
데이터를 자발적으로 공개할 수 있는 문화가 생겨나야 한다고 생각합니다.
데이터가 공개되는 일반적인 사례로는 PDB나 GenBank가 있습니다. 논문 출판과 연계하여 논문 출판의 선행 조건으로, 데이터를 기탁한 후에 ID를 받아서 논문에 언급해야 하기 때문에 필수적인 요건으로 인식하여 데이터가 공개됩니다.
이러한 사례 이외에는 사실 데이터가 자발적으로 공개되기 쉽지 않은데, 데이터의 공개를 위해 법이나 제도를 통한 강제적 조치를 취하는 것이 사실 좋은 방법은 아니라고 봅니다. 좋은 방법은 과학자들에게 명분과 실리를 주는 것일 겁니다. 가치 있는 데이터에 주목하여 다양한 배경의 전문가가 공개된 데이터의 해석을 위해 협력하는 DREAM Challenge와 같은 사례가 있습니다. 이와 같이 데이터를 자발적으로 공개할 수 있는 문화가 뒷받침 되어야 재현성의 위기를 극복할 수 있을 것이라고 생각합니다. -
2017-04-27 김채형(avalonkch)
- 0
- 5
2-3번의 시험을 통해 동일한 결과가 나와야 하는데, 한번 시험해서 원하던 결과가 나오면 시험을 다시 해서 재현성을 검증해야 하는데 그러지 않고 바로 결과를 정리해서 논문을 제출합니다.
특히 임계점 조건에서 시험이 수행되면 매번 다른 결과가 나올 수 있습니다. 이런 임계점 조건에서 시험이 수행이 되면 보통 연구자들은 이런 부분을 명시하지 않고 결과만 제시하는 경향이 있습니다.
그런데 이에 대해 의문을 제기하면 보통의 연구자들은 자료를 감추고 공개하지 않는 문제가 있습니다. 확인을 하고 싶어도 할 수 있는 방법이 없고 믿고 가는 수 밖에 없지요.
또한 이렇게 자료를 감추거나 재현이 안되면 시험 조작에 대해 의심할 수 있습니다.
따라서 연구의 재현성을 위해서는 정부/민간사업과제 연구로 진행되는 연구들은 결과 보고서와 함께 연구노트(or 영상자료) 사본 제출과 재현성 검증 조건이 들어가야 할 것으로 생각됩니다. 일단 정부주도 과제 연구들부터 공개가능한 연구들은 목록화해서 관리를 하고 관련 연구 자료들에 오픈하기 시작하면 점차적으로 확대되지 않을까요?