처음부터 정독하며 필요한 부분을 발췌 혹은 보충한다.
TL;DR
- 논문의 전반적인 핵심 논제를 파악할 것
- 실제 논문의 내용을 이해할 것, 그러나 모든 세부 내용까지 알 필요는 없다.
- 깊이 읽으며 앞선 pass에서 읽어내지 못한 부분까지 파악한다.
- General Terms: Documentation
- Keywords: Paper, Reading, Hints
Abstract
연구자들이 논문을 읽는데 사용하는 시간에 비하여 그것을 읽는 방법은 충분히 가르쳐지지 않고 있으며 이는 상당한 손실을 야기한다. 본 논문은 논문을 읽을 때에 실용적이고 효과적인 three-pass method 개요를 서술할 것이며 포괄적 문헌 조사 (literature survey)에서 이를 어떻게 사용하는지 보이려 한다.
Introduction
연구자들은 논문을 여러가지 이유로 읽는다.
- 최신 동향을 살피기 위해
- 새로운 분야로의 진출을 위해
- 컨퍼런스나 수업의 리뷰를 위함
- 리뷰란 정확히 무엇을 말하는가?: 전반적으로 검토하는 행위 혹은 리뷰 논문을 읽는 행위 등을 말할 수 있으나 본 맥락에서는 피어리뷰(peer review)1를 말하는 것 같다.
1 동료 평가로, 타 연구자의 연구를 객관적으로 분석하고 저널에 실리기 적합한지 판정하는 과정이다. 저널의 영역, 목적, 독자층을 살피는 과정이 수반되며 논문의 가치를 판정하기 위해 몇 가지 항목을 검토하게 된다.
검토되는 항목은 다음과 같다.
- 보존 가치
- 참신성
- 연구 윤리/직업적 무결성
- 글의 완성도
- 데이터의 질과 분석의 타당성
- 결론의 타당성
- 논문 작성 시 유념할 것
- 보존가치 Archival: 저널에 싣는다는 것은 어떤 형태로든 해당 연구가 기록되고 외부에 퍼진다는 의미다. 따라서 저널에 실릴 논문은 결과나 해석의 가치가 있는 결과를 포함해야 한다.
- 논문의 내용이 과거의 연구와 관계있거나 향후 연구의 초석이 될 가능성이 있는가?
- 결과나 해석이 지속 가능한 과학적 가치를 가지고 있는가?
- 해당 주제가 연구 분야에서 중요한가?
- SOTA (State Of The Art) 를 넘어서는 성능 혹은 강점을 가지고 있는가?
- 참신성 Innovative: 기술적으로 새롭거나, 혁신적이거나, 구조적인 리뷰여야 한다. 연구의 가치를 판정함에 있어 가장 중요한 지표로 보인다.
- 주제가 오늘날의 청중에게 흥미로운 내용이거나 중요한 내용인가?
- 아이디어/정보/방법이 가치있거나 새롭거나 창의적인가?
- 저자가 제시한 정보가 완전히 새로운 것인가?
- 분석적이거나, 수치적이거나, 실험적인 결과 혹은 해석이 독창적인가? (Are ~ original 에서 original을 독창적으로 해석)
- 결과가 미칠 영향이 선명하게 기술되어 있는가?
- 직업적 무결성 Professional Integrity: 기본적인 윤리에 대한 문제다. 연구자로서 개인의 사적 이익과 견해를 최대한 배제하고 객관적이고 공정하게 연구에 임했는지 확인한다.
- 특정 자본과 밀접한 관계를 맺고 있지 않은가?
- 개인적이거나 편향된 관점을 가지지는 않았는가?
- 선행연구가 적절히 인용되어 있는가?
- (만약 그렇게 주장할 경우) 실제로 최초로 사용된 기술인가?
- 반대되는 주장이나 경쟁 구도에 있는 연구 등을 폄하하지 않는가?
- 선행연구를 공정하고 건설적인 방식으로 참조하고 있는가?
- 연구자로서 적절한 규정 및 윤리 지침을 따랐는가?
- 발표 Presentation: 논문도 글이다. 읽히기에 적합한 글인지, 연구의 내용을 명료하고 병확하게 기술했는지 판정한다.
- 서론에서 동기를 설명하고 독자의 방향을 제시하는가?
- 논문에 수행 작업, 방법, 주된 결과가 설명되어 있는가?
- 주제에서 벗어나지 않았는가?
- 표와 그림이 명확하고 정확한가?
- 논문에서 사용한 개념이 명확히 제시되어 있는가?
- 제목과 주요 단어가 오용되지 않았는가?
- 논문의 길이가 논문의 범위에 적합한지까지 살피는 줄 몰랐는데 그렇다고 한다.
- 기본적인 작문 기술을 갖추었는가?; 단어 선택, 문장 구조, 단락 구성, 참고 문헌 인용 등
- 질 Quality: 데이터의 질과 분석과 기술의 타당성을 확인한다. 아무리 좋은 데이터라도 적합한 분석 과정을 거치지 않는다면 무의미하며, 아무리 좋은 기술이라도 적절한 데이터를 사용하지 않는다면 적합한 결과를 확인할 수 없다.
- 기술적으로 건전한가?
- 강점 뿐 아니라 그 한계까지 평가하고 있는가?
- 평가 지표가 명시되어 있는가?
- 선행 연구를 충분히 검토하였는가?
- 선행 연구에서 이어지는 연구인가? 즉, 이전에 입증된 연구에서 참조된 가정으로부터 비롯된 연구인가?
- 결론의 타당성 Soundness of conclusions: 글과 주장을 올바르게 맺었는지 확인한다.
- 주장이 확고한가?
- 결론이 이론적, 실험적으로 타당한가?
- 제시한 사실이 충분히 결론을 뒷받침 할 수 있는가?
이와 같은 이유로 연구자들은 매년 수백시간을 논문을 읽는데 사용한다. 당연히 논문을 읽는 방법이 중요할 수 밖에 없는데, 적절하게 논문을 읽는 방법이 가르쳐지지 않은 실정이다. 대학원생들은 스스로 시행착오를 겪으며 ’논문 읽기’를 습득해야 하는데 이는 노력을 낭비하는 일이 아닐 수 없다.
여러해 동안 저자는 쉽고 효율적으로 논문에 접근하는 방법을 사용해왔는데, 이를 이 논문에서 제시하겠다고 한다.
여기까지가 도입부의 내용이다. callout으로 정리한 내용에 따르면 일반적으로 introduction 에는 ‘동기’ 및 ’연구의 방향’을 제시하는 과정이 필요하다. 이번 논문의 내용을 살펴보자. 서론은 세줄로 요약이 가능하다. (1) 연구자들은 논문을 많이 읽는다/읽어야 한다. (2) 그러나 도움을 받을 방법이 없기에 그 접근 장벽은 상당히 높아졌다. (3) 저자는 이를 쉽게 해결할 방법(three-pass approach)을 알고 있다.
짧은 도입부지만 여기에는 동기 (1~2) 와 연구의 방향 (3) 이 모두 제시되어 있다. 도입부로써 적절하다고 판단할 수 있겠다.
The Three-pass approach
주요 아이디어는: 처음부터 끝까지 냅다 읽어내리지 말고, 세번정도에 나누어 읽으라는 것이다. 각각의 ’pass’에는 성취해야 할 목표들이 있는데 이를 나열하면 다음과 같다.
- 논문의 전반적인 핵심 논제를 파악할 것
- 실제 논문의 내용을 이해할 것, 그러나 모든 세부 내용까지 알 필요는 없다.
- 깊이 읽으며 앞선 pass에서 읽어내지 못한 부분까지 파악한다.
The first pass
읽어볼만 한지, 그렇다면 얼마나 깊게 읽어야 하는지 전반적으로 판단하는 단계다. 5분에서 10분을 들여 빠르게 스키밍 한다. 단계는 다음과 같다.
2 glance: 흘낏 보다, 휙휙 훑어보다.
3 tick sbd/sth off: (이미 처리했음을 나타내기 위해) ~에 체크 표시(✓)를 하다
해당 단계가 제대로 진행 되었다면 다음 항목에 대답할 수 있어야 한다.
위 질문에 대답함으로써 이해도를 파악하고, 그 대답을 통해 논문을 마저 읽을지 말지 결정할 수 있는데 배경 지식이 부족해 충분히 이해하지 못했거나, 논문의 주장이 빈약하거나, 논문의 질 자체가 좋지 않은 경우 더 읽지 않아도 좋다. 다만 연구 분야가 아니더라도 향후 도움이 될 것으로 판단되면 첫번째 단계는 통과한 것으로 본다.
첫번째 단계에서 더 읽을지 말지가 결정된다. 작성한 논문이 읽힐지 말지 결정되는건 이 짧은 5~10분 사이의 시간이므로 섹션 제목을 일관성 있게 선택하고 간결하며 포괄적인 초록을 작성하는데 주의를 기울여라.
- 리뷰 통과 뿐 아니라, 일반 연구자들을 위해서도 그렇게 해야 한다.
- 5분이 지나도 논문의 핵심을 이해하지 못하면 논문이 읽히지 않을 가능성이 높다.
The second pass
첫번째 단계를 통과했다면 더 주의깊게 읽을 때가 됐다. 세부사항은 잠시 넘겨두고 논문을 이해하는데 초점을 맞추자. 메모하거나 의견을 정리하는 것도 도움이 된다.
시각자료 검토
특히 논문의 그림, 도표 등 시각 자료를 시간들여 살피는 것이 좋은데, 이는 논문의 질을 판단하는 주요한 요소가 되기 때문이다. 예를 들어; 축에 레이블이 제대로 붙어있는지, 결과가 오차 막대와 함께 포함되어 있는지4 결론이 통계적으로 유효한지 확인할 수 있는 방법이다.] 등을 확인하는 것이 좋다.
참고문헌 검토
또한, 참고문헌의 경우 나중에 읽을 것을 분류하는게 좋은데 이는 논문의 배경에 대해 알 수 있는 좋은 방법이기 때문이다. 읽지 않은 참고 문헌을 나중에 읽을 수 있게 표시하라고 명시해 두었으니, 참고문헌을 찾아 읽는 습관도 함께 들여두자.
그렇다면 두번째 단계를 통과했는지 알아보는 척도는 무엇일까. 아마도 내용의 이해일 것이다.
After this pass, you should be able to grasp the content of the paper. You should be able to summarize the main thrust of the paper, with supporting evidence, to someone else. This level of detail is appropriate for a paper in which you are interested, but does not lie in your research speciality.
한시간 안에 이 단계를 끝마치는게 좋다.5 만약 한시간이 지나도 논문을 이해하지 못한다면 우리에겐 세가지 선택지가 남는다.
5 전문 분야는 한시간 이내에 끝내야 한다는 의미일까? 아니면 더 오랜 시간을 들여서 검토해야 한다는 의미일까? 전자인것 같긴 하다.
- 포기한다.
- 미뤄둔다.
- 계속한다.
포기한다고 해서 세상이 끝나는건 아니다. 미룬다고 해서 큰일이 당장 벌어지는 것도 아닐 것이다. 특히 두번째 선택지는, 전진을 위한 후퇴에 가깝다. 배경지식을 습득하고 보는 것이기 때문이다. 하지만 언제나 준비만 할 수는 없는 것 같다.
대개 나는 두번째 방법을 선택하는데, 지난한 시간 끝에 때로 3번을 강행하는게 좋다는 결론을 내리게 되었다. 모르면 모르는대로 실험해보자. 그 과정에서 얻은 것이 배경지식보다 더 빠른 길을 제시할 수 있다.
The third pass
이제 논문을 완전히 이해할 때가 됐다. 완전히 이해했다는 건 어떤 의미일까? 전 단계에서 다른 사람에게 설명할 수 있을 정도로 충분히 이해했다면, 다시말해 이해의 수준이 ’다른 사람에게 내보일만큼’에 도달했다면 마지막은 나에게 떳떳할만큼의 수준을 갖추는 것이 순서일 것이다.
The key to the third pass is to attempt to virtually re-implement the paper: that is, making the same assumptions as the authors, re-create the work.
재현이다. 이 과정과 실제 논문을 비교하면 첫번째 단계에서 가늠해보았던 논문의 혁신적인 부분을 직접 체험할 수 있을 뿐 아니라 두번째 단계에서 찾아내지 못했던 실험의 미비함이나 가정의 불완전함 또한 발견할 수 있다. 그 과정에서 새로운 연구 주제를 찾을 수 있게 된다.
이 과정은 까다롭게 진행해야 한다. 모든 가정을 파악하고, 모든 요소에 이의를 제기하며, 본인이라면 어떻게 증명했을지 생각한 후에 논문과 비교하는 과정을 거쳐야한다. 이 과정은 초심자에겐 네다섯시간, 숙련자에겐 한시간정도 소요된다.
세번째 단계를 거쳤다면 다음을 해낼 수 있어야 한다. 거의 해당 논문을 리뷰하는 수준까지 가야 하는 것 같다.
At the end of this pass, you should be able to reconstruct the entire structure of the paper from memory, as well as be able to identify its strong and weak points.
특히 논문에 직접적으로 드러나지 않은 암시적인 가정6, 인용의 누락, 분석 기법의 잠재적 문제점까지 찾아내는 것이 목표다.
6 implicit assumptions
Doing A Literature survey
실제로 논문을 찾아보는 단계다. 간단히 방법만 기록하겠다.
- Google Scholar, CiteSeer 등의 학술 검색 엔진에서 키워드를 잘 선택하여 최신 논문 세개에서 다섯개를 찾을 것
- 논문을 훑어보며 내용을 파악하고 관련 내용을 검토할 것
- 이때 서베이 논문을 찾을 수도 있는데, 그렇다면 기뻐하며 끝내자.
- 참고문헌에서 반복되는 저자 이름을 찾을 것.
- 이때 반복되는 논문과 주요 저자의 최근 연구 이력을 잘 살피자.
- 영향력이 큰 컨퍼런스의 최근 발표 내용을 살펴보고, 수준 높은 연구를 익힐 것.
- 3번에서 모아둔 주요 연구자료와 4번에서 찾은 연구들을 함께 살피고, 반복해서 읽는다.