art.oriented : 논문 이야기 (쓰고 보니 만담)

minjang.egloos.com

소개 · 이전글 · 구독

컴퓨터 · 그리고 · 나머지

요즘은 박사를 왜 해야 하나라는 원초적인 회의가 많이 들지만 어쨌든 박사를 하면서 써야 하는 논문에 대해서 잠깐 이야기를 해볼까 한다. 일단 내가 구경해본 분야는 컴퓨터 아키텍처 및 시스템 분야이니까 여기에 대해서만 이야기를 해보자.

자연과학에서는 흔히 CNS라고 불리는 3대 저널이 있다. 황우석 때문에 이제 누구나 알고 있는 '자연', '과학' 그리고 '세포' 정도가 그것이다. 이들의 영향력은 정말 상상을 초월한다고 한다. 뭐 그러나 이것은 정말 '과학'이므로 컴퓨터와는 상관 없다.

그렇다면 컴퓨터 아키텍처나 시스템 분야에서 Nature 혹은 Science에 버금가는 큰 영향력을 가진 학회 및 저널은 무엇인가? 일단, 학회(컨퍼런스)와 저널을 구분을 해보면: 컨퍼런스는 보통 1년 혹은 2년에 한 번씩 열리며 직접 논문 개제하는 사람들이 모여서 같이 모여서 발표하고 의견을 주고 받고 그런다. 보통 1년 마다 한 번씩 열리므로 논문 투고에서 심사까지 기간이 비교적 짧다. 2~3개월이면 당락 여부가 밝혀지고 그 뒤에 논문을 다듬어서 최종 본을 제출한다. 반면, 저널은 그냥 책으로만 나오는 것이고 출판되기까지 기간이 상당히 길다. 2~3년씩 걸리는 경우가 다반사. 컨퍼런스 논문은 대략 12페이지, 저널은 이것보다 더 많은 양을 요구한다. 그런데 적어도 컴퓨터 아키텍처나 시스템은 저널을 들여다보지 않는다. 일단 탑 컨퍼런스에 논문을 내서 잘 되면 그걸 다시 확장 시켜 저널에 내는 구조라서 그런 것 같다. 그래서 수업시간에 보는 논문도 사실 상 컨퍼런스에서 발표된 논문들이다.

그렇다면 이제 대략 어떤 탑 컨퍼런스가 있는지 말해보자 (저널은 보지 않으므로 아는 바가 없음). 먼저 컴퓨터 아키텍처 부분으로는:

1. ISCA - International Symposium on Computer Architecture

'이스카'라고 부르며 1년 마다 열리는 그야말로 최고의 컴퓨터 아키텍처 관련 컨퍼런스다. 말 그대로 프로세서 구조부터 시작해서, 멀티 프로세서 구조, 메모리 시스템, 캐쉬 구조, interconnection networks 등등 분야를 아우른다. 하드웨어 지식이 많이 필요할 것 같지만 거의 그렇지 않다. 물론 전력이나 3D-stacking 기술을 다루는 분야는 하드웨어 이야기가 많이 나오나, 일반적인 컴퓨터 구조 이야기에서 하드웨어 지식은 필요 없다. 예전 글에서도 썼지만 컴퓨터 구조는 지극히 소프트웨어적이다.

여기에 일단 자신의 논문이 당첨되면 대략 가문의 영광이라 생각해도 될 것 같다. 여기에 논문을 2~3개 정도 내면 미국에서도 괜찮은 대학교의 교수로 원서 낼 수 있을 만큼이 된다. 2007년 ISCA는 샌디에고에서 열리는데 2명의 한국 분이 제1저자인 논문이 두 개가 있다 (더 있을지도 모름). 그리고 이 두 분은 우리학교 교수로 다 온다. 대충 ISCA의 위력을 실감할 수 있는 대목.

2. MICRO - International Symposium on Microarchitecture

마이크로라고 부르며 역시 1년마다 불리는 ISCA와 쌍벽(?)을 이루는 컨퍼런스이다. 대충 다뤄지는 분야는 ISCA와 같다. 역시 여기에 자신의 논문이 당첨이 되면 가문의 영광, 성공적인 박사 생활로 이어진다. 이번에 우리학교 교수로 오시는 한 한국 분은 MICRO에 논문을 여러 차례 내었고, 그 중에서도 반응이 좋아 Top Picks으로도 뽑혔다고 한다. 옆에 외국 친구들도 아주 논문이 훌륭하다고 칭찬이 자자하다.

3. HPCA - International Symposium on High-Performance Computer Architecture

이건 그냥 '에이치-피-씨-에이'라고 부르더라. 역시 1년마다 불리며 이제 탑 컨퍼런스라고 불러도 손색이 없다. 유명한 대학들도 여기에 앞다투어 논문을 낸다. 역시 여기에 자신의 논문이 당첨되면 위의 두 경우와 비슷한 영향력을 가진다고 보면 된다.

이렇게 위의 세 컨퍼런스가 아키텍처의 탑 컨퍼런스이며 친절하게도 컨퍼런스 개최 날짜도 균등히 분배되어있다. 그래서 ISCA에 논문 내었다가 물 먹으면 다시 고쳐서 MICRO에 내고 그러면 된다. 그리고 다들 그렇게 하더라 (-_-)

4. ASPLOS - Architectural Support for Programming Languages and Operating

'에스플롭스' 라고 불리며 2년마다 개최되는 컴퓨터 아키텍처라고 하기는 그렇지만 누구나 인정하는 탑 컨퍼런스. 이제는 방향이 시스템 및 소프트웨어 쪽으로 많이 올라갔다고 한다. 어찌되었건 여기도 붙으면 가문의 영광.

그리고 시스템 분야의 최고 잘 나가는 컨퍼런스는:

SOSP - Symposium on Operating Systems Principles
OSDI - Operating Systems Design and Implementation

이 밖에 네트웍 쪽으로 SIGCOMM이라고 또 대단한 탑 컨퍼런스가 하나 있다. 대략 이런 쪽은 운영체제 및 시스템에 관련된 각종 아이디어가 나오는 곳이고 붙기가 더럽게 어려운 것으로 알고 있다. 경쟁이 장난 아니다. 역시 붙으면 인생 역전까지는 아니더라도 남들 다 부러워하는 교수나 좋은 연구소로 취직 가능할 것이다.

자, 이쯤에서 컨퍼런스 이름 소개는 끝내고, 옆에 친구들로부터 들은 논문 내는 과정에 대한 애환과 슬픔에 대해서 이야기 해보자.

보통 자신이 연구한 것을 이제 자랑하기 위해 논문을 만들고 이걸 각종 컨퍼런스에 제출을 한다. 일단 탑부터 찔러본다. 여기서 바로 붙으면 대박. 그러나 대부분은 떨어진다. 여기서 이제 두 가지 케이스로 나뉜다. 비교적 좋은 학교 및 빡센 연구 그룹의 경우에는 어떻게 해서든 다시 살려 다른 탑 컨퍼런스에 다시 낸다. 내가 있는 그룹도 탑이 아니면 일단 내지를 않는다. 그리고 떨어지면 역시 다시 살리고 살려서 다른 탑을 찔러본다. 반면, 뭐 표현이 거시기하지만 랭킹이 좀 낮은 학교에서는 보통 2nd-tier 컨퍼런스에 낸다.

문제는 이렇게 떨어졌을 경우 상당히 괴롭다는 것이다. 옆에 친구가 올해 HPCA에 논문을 드디어 하나 내었는데 이 작품은 무려 3번이나 리젝을 당한 끝에 거둔 성과였다. 위에 언급한 나머지 탑 컨퍼런스 ISCA, MICRO, ASPLOS에 냈다가 줄줄이 리젝을 먹고 마지막 HPCA에서 당첨이 된 것이었다. 이렇게 떨어지면 다시 논문 수정하고 다시 내다보면 시간이 훌쩍 지나간다.

논문은 당연히 익명으로 심사를 하며 제출 시 자신의 이름이나 신분을 밝힐 수 있는 어떠한 내용도 들어가면 안 된다. 리젝을 받을 경우 이제 4~5명의 심사위원으로부터 커멘트를 받게 된다. 옆에 친구 말로는 그 중에 두 명은 완전히 헛소리하고 있고 (제대로 읽어봤는지도 의심이 된다고 한다), 한 명은 그저그런 커멘트, 마지막 한 명 정도는 친절하고 자세한 커멘트를 준다고 했다. 그러면 그 충고를 발판으로 다시 논문의 헛점을 보완해서 제출한다.

반면, 지금 같이 일하는 교수는 박사 과정 시절 ISCA에 무려 3년 연속 논문을 내었다. 그러니까 논문 내면 바로 붙은 것이다. 이런 경우는 극히 드문 케이스고 보다시피 괜찮은 주립대 교수로도 올 수 있게 된 것이다. 그러나, 지금 교수도 아주 웃긴 이야기를 해줬는데, 교수되고 나서 자기가 연구한 것을 탑에다가 제출했다고 한다. 그런데 "나 이거 무슨 소리인지 모르겠어" 하면서 리젝을 주었단다. 자기가 보기에는 클리어한데 남들이 보기에는 그렇지 않았다는 것이다. 그래서 서론 빠방하게 늘리고 두 차례 리젝을 겪은 뒤 HPCA에 논문을 하나 내었다. ISCA 3년 연속 논문 낸 사람도 이렇게 물 먹을 수 있을 정도로 어렵다.

그런데, 위의 4대 메이저 컨퍼런스를 가만히 보면 논문을 자주 내는 학교가 정해져 있다. 일단 아키텍처로는 최고인 Univ. of Wisconsin에서 그냥 무더기로 논문을 쏟아내며, Univ. of Illinois, Urbana-Champaign (UIUC)도 그런 학교 중 하나이다. 역시 최고다 하는 이유는 여기에 있던 것이었다. 생각보다 MIT, Stanford와 같은 학교에서 나오는 논문의 '양'은 많지 않다. 그러나 '질'적으로는 매우 우수한 논문이 하나씩 나와주기 때문에 역시 이름 값을 한다고 볼 수 있다. 현실적으로 30위권 밖의 학교에서 논문을 내는 경우는 많지 않다. 미국 외의 대학도 찾아보기 꽤 힘들다.

우리나라에서는 정체를 알 수 없는 'SCI급 논문'이라는 용어가 쓰인다. 그런데 미국에서는 저런 이야기를 한 번도 들어본 적이 없다. 우리나라는 아무리 좋고 영향력이 큰 곳이라고 해도 SCI 관련 문제로 논문을 내지 않는 것으로 알고 있다. 그래서 위의 4대 메이저 컨퍼런스에서 한국 대학교 이름은 찾아보기가 사실 상 불가능하다. 서울대에서 00년 OSDI에 낸 논문이 거의 유일하다. 물론 훌륭하신 한국인 유학생 선배님들께서 종종 1저자로 논문을 내고 있어서 다행이다. 그렇다고 해도 그 분들 이름을 다 외울 정도로 숫자가 많지 않다.

어떻게 보면 정말 짜고 치는 고스톱, 끼리끼리 노는 듯한 분위기를 많이 준다. 일단 탑 학교일수록 좋은 연구 주제를 잡을 확률이 많고 똑똑한 친구들도 많으니 시너지도 대단하고 이런 것이 맞물려 쉽게 그 자리를 내주지 않는 것 같다. 좀 더 웃긴 경우는 인공지능 쪽인데 거기는 NIPS라는 탑 컨퍼런스가 있다. 스탠포드의 모 연구그룹이 아주 유명하다고 하는데, 서로서로 동료들 논문에 자신의 이름을 2저자나 3저자로 올려서 자신의 실적에 올린다. 어떻게 보면 사기스럽지만 그만큼 탑 학교들이 가지는 강점일 것이다.

미국 대학교는 상상 외로 엄청 서열화 되어있다. 내가 다니는 학교는 대략 computer science 분야에서 10등 하는데 뭐로 보나 탑 학교에 비해서 허접하다(…) 그리고 교수 후보로 많이들 세미나 하러 오는데 옆에 외국인 친구들도 첫 번째로 보는 것이 어느 학교 나왔느냐 (아니면 지도 교수가 누구냐) 하고 어디에 논문 냈느냐 이거더라. 학교에서도 US News 랭킹 같은 것에 엄청 신경 쓴다. 사는 게 다 똑같다. 한국이라 해서 유별나게 심한 것이 절대 아니다.

잡담을 너무 많이 쓰다 보니 우울해진다. 그냥 빨리빨리 졸업해서 돈 많이 버는 것이 최고.

ps. 본인이 주워 들은 사실을 기반으로 쓴 것이므로 사실과 다른 점이 있을 수 있습니다.

# by object | 2007/05/27 14:03 | 컴퓨터 | 트랙백 | 핑백(1) | 덧글(8)

트랙백 주소 : http://minjang.egloos.com/tb/1217990
☞ 내 이글루에 이 글과 관련된 글 쓰기 (트랙백 보내기) [도움말]

Linked at 내일은 내일의 바람이 분다. .. at 2008/01/21 09:48

... 은 조금 마인드가 다른 것 같다. 내가 듣기로는 GT의 시스템분야에서는 SOSP나 OSDI는 아예 안될 것을 생각하고 2nd-tier부터 공략을 한다고 하니 좀 많이 다르지. 민장이형의 논문이야기를 보면 탑학회가 얼마나 어려운지 조금이나마 느껴진다. 4. loneliness 모든 유학생의 가장 큰 적인 외로움! GT최고의 마당발 연아도 유학와서 외로움이 가장 큰 ... more

Commented by AnonymousY at 2007/05/27 20:41

G*Tech이면 그래도 CS에선 다들 부러워하는 최고수준 학교 중 하나인데 허접하다고 자학을 하시면;; 그런데 architecture에서 Wisconsin이 그렇게 좋았나요...전 system이나 architecture는 UCB랑 UCSD가 최고인줄 알았는데 아닌가 보군요 @_@ AI야...MIT AIL이랑 그 파생(?)인 Stanford AIL이 온갖 실력과 권위를 휘어잡고 있으니-,.-

Commented by object at 2007/05/28 02:24

컴퓨터 아키텍처만 놓고보면 위스컨신이 세계에서 가장 좋은 그룹을 가지고 있습니다. Gurindar Sohi를 비롯해 Mark Hill 등등 교수진이 최고죠. 확실히 같은 ISCA 논문이라고 해도 위스컨신 그룹의 그것들이 잘 쓰여있습니다. 얘들은 글 자체도 잘 쓰는 것 같아요. 그리고 시스템 쪽으로 좀 확장시켜보면 UCSD도 10년 사이에 엄청 좋아졌지요. 저도 원래 UCSD 가려고 했습니다만.. UCSD는 석사생에겐 너무 박한 곳이라.. 뭐 CS 모두가 석사는 이제 완전 전문과 과정처럼 되어서 거시기 합니다. 그냥 석사만 하고 취업할거면 UCSD도 괜찮을 것 같았네요. 박사를 궁극적으로 할 것이라면 학부시절에 리서치 경력쌓고 바로 박사로 도전하시는 것이 정답. 학교 욕을 좀 한 건 요즘 구린 모습을 한두번 봐서 그런 것 같습니다. 여담으로 말씀드리면 여기 학생들의 수준이 결코 한국 학생보다 엄청 뛰어나거나 그런 것 아닙니다. 인도 중국 애들도 잘하는 애들도 있고 그렇지 않은 애들도 많고...

Commented by 박상민 at 2007/06/08 21:14

마지막이 좀 우울한데요.
알면 안되는 것을 미리 알게된 것 같은 기분이 드네요. ^^;;
@ 신입생입니다.

Commented by sayhappy at 2007/09/11 11:12

좋은 글 잘 읽었습니다. ^^;
제가 있는 랩은 신생랩인데, 교수님께서 특별히 배려를 해주셔서 학회에 갈 수 있었습니다.

Commented by 지나가다 at 2007/12/11 23:02

저는 영국에서 Computer Vision을 연구하는 사람인데 지나가다 우연히 이 페이지를 봤습니다.

제가 해외에서 공부를 하며 느낀 건 역사가 짧고 변화가 빠른 Computer Science분야에서 전적으로 저널만으로 평가를 한다는 것 자체가 좀 모순이라 봅니다. 사실 Computer Science에서 1~2년 후에 논문이 인쇄되었을 때 그걸 읽고 있을 사람은 거의 없어요. 2년 후, 지금 생산된 노트북 컴퓨터를 사시겠습니까란 질문을 생각해 보신 후에, 지금 생산되는 노트북 컴퓨터에 대한 논문을 2년 후에 자신의 연구 논문으로 삼으시겠습니까란 질문의 답을 생각해 보시면 쉽게 이해가 가실 것입니다.

사실 미국 뿐만 아니라 유럽에서도 SCI란걸 모르기는 마찬가지입니다. 제가 소속된 연구소는 한국에서도 이름만 말해도 알 정도로 유명한 곳이고, 연구 활동에서도 높은 평가를 받는 곳이지만, publish 하는데 1~2년씩 오래 걸리는 저널지에 논문을 쓰는 건 선호하지 않아요. 저널에는 Invited paper가 아니면 쓰지 않습니다. 영국, 독일, 프랑스 모두 마찬가지인데, 한국에는 누가 SCI라는 일률적 평가기준을 공학에까지 일률적으로 멍청하게 들이대는지 정말 어리석다는 생각이 듭니다.

물론 오랜 역사를 가진 자연과학에서는 Nature에 한편 내는 것도 매우 중요하고, 연구의 철학 자체가 변화하는 주기가 길어서 SCI가 중요할 지 모르겠지만, 공학에는 개발과 제품화를 목표로 하는 연구분야도 있구요, 이런데선 변화의 주기가 1년이 아니라 몇 개월 단위일 수도 있는데 말이죠.

디지털, 좀 더 쉽게 말하자면 컴퓨터의 역사가 얼마나 되었죠? 기껏 대형컴퓨터가 아닌 자신의 컴퓨터도 실험을 할 수 있었던 게 약 10년이죠. 하지만 10년 사이에 얼마나 많이 바뀌었습니까. 지금의 개인 컴퓨터는 거의 10년전으로 말하자면 슈퍼컴퓨터의 성능입니다. Computer Science의 역사가 그런 10년에 상상할 수 없는 변화를 보여주고 있는 바로 디지털 또는 컴퓨터의 역사입니다.

유명한 탑 대학의 Computer Vision 연구실들을 들어가 보세요. 저널에 목을 매는지. 전혀 그렇지 않습니다. 사실 탑 conference에 논문들 만으로도 좋은 기업에 입사하고 심지어는 미국, 캐나다에 교수로 가기까지 하더군요. 게다가 독보적인 기술을 보여주고 있는 Google, Microsoft, Siemens, Nokia, Philips 등 기업연구소들을 보세요. Computer Vision은 5대 메이져 컨퍼런스가 있는데 그런 연구소들도 열심히 활동을 합니다만, 거기 연구자들이 쓴 저널 논문을 발견하는 경우는 매우 드물어요.

이런 상황에서 2년씩 걸려 궂이 저널을 고집하여 논문을 낸다는 건 독자를 고려하지 않는 결과를 초래할 뿐더러, 대부분의 미국, 유럽의 Computer Vision 연구자들은 탑 메이져 Conference에 자신의 연구결과를 내고 심지어는 전시회에 당장 실현하여 사용될 수 있으리만큼 훌륭한 응용어플리케이션을 발표하기까지 하는데 그런 기술과 당당히 겨루며 현재의 문제를 파악하고 나아가려는 마음을 없애고 있습니다. 게다가, 오랜 시간 개발에만 전념하느라 SCI 점수챙기기를 하지 못하셨지만, 바로 현재의 기술과 실용적인 발전 방향 (공학이 추구하여야 할 가장 중요한 가치가 아니겠습니까?) 을 누구보다도 잘 알고계신 많은 훌륭한 공학자분들이 학문의 장으로 돌아와 가진 노하우를 학생들에게 가르치게 하는 길 조차 막고 있습니다.

해외 공학 연구소들이 엄청난 변화속에서 살아남는 방법은 기업과 마찬가지로 남들이 특허과 기술을 선점하기 전에 먼저 그 기술을 발표하는 것에 있습니다. 한국에서는 Computer Science까지 SCI 점수로 평가를 하려고 하기때문에 많은 분들이 공학자의 존재목적과 추구해야 하는 가치가 뭔지 잊어 가고 있는 것 같습니다. Computer Vision 쪽 기술은 해외는 하루가 다르게 변화하고 이제는 대학 연구실에서 조차 제품화가 가능한 수준에 이르고 있는데, 한국은 공부를 시작했던 10년전이나 제가 한국을 떠나던 5년 전이나 지금이나, 큰 진보가 없고 해외 연구소가 하는 것을 답습하고 조금 바꾸어 논문에나 써보려는 얄팍한 점수 챙기기만 머물러 있다는 생각이 들었습니다. 외국인과 대화를 하나도 못하면서 취업을 위해 학원 공부를 통해 TOEIC 점수 올리기에 정신없는 한국의 문제를 그대로 복사해 놓은 듯 합니다.

누군가가 멋진 개발을 했다 하면, 돈들고 가서 유사한 기술을 사와서 제품에 넣으면 그만이라는 생각이 기업에서는 팽배해 있고.... 일류 기술보유라는 뒷모습에는 로열티 내고 사서 모은 해외의 기술들만 가득한 상황입니다. 제가 소속된 연구소와 영국 기업들에 한국의 S기업과 L 기업은 자주 방문을 하시는데, 기회가 있어 저녁식사을 하며 하시는 말씀이 직접 연구해 만들다가 문제 생기면 책임질 곳도 없어서 사오는 걸 선호한다는 것이였습니다. 게다가 한국의 대학은 특허나 그런 문제에서 벗어나 있다고 착각을 하는지, 해외가 하는 것들을 배끼고 조금 바꿔 평가점수만 받으면 그만이라는 안일한 생각에 빠져있는 듯 합니다. 자신이 연구한 기술을 상품화하여 팔려고 하거나, 기업에 이전하는 순간 외국 연구소와 기업이 걸어놓은 특허에 로열티를 지불하여야 하는 상황을 맞이하는 것이 한국 공학 연구의 현 주소가 아닙니까?

Computer Science에는 많은 분야가 있습니다만, Computer Vision 분야를 연구하는 제 눈으로 보는 한국의 공학 연구 평가 기준은 진짜 어리석기만 합니다.

Commented by object at 2007/12/12 04:56

감사합니다. 비전뿐만 아니라 대부분의 CS 분야가 컨퍼런스 위주로 돌아가죠. 저도 도대체 SCI라는 이야기가 왜 나와야하는지 잘 이해할 수 없습니다. 자연과학하곤 판이하게 다른데 말이죠. 비전쪽만 봐도 CVPR 같은 곳이 탑이잖아요. 보통 탑 그룹보면 NIPS 이런데 퍼블리케이션이 즐비하고 이걸 이제 묶어서 좀 양을 키워 저널에 내죠. 미국에서 박사 받고 간 교수님들이 한국에 넘쳐나는데 왜 이런 걸 못 고칠까요.

Commented by Sungbae at 2008/01/21 13:14

그러고 보니 Nature에 실린 적이 있는 Karen Liu 교수님은 상당히 특이한 케이스네요 ㅎㅎ

Commented by Sun at 2008/03/12 12:40

우연히 지나다 이글을 보고 갑니다. 저는 인문사회 박사과정생이지만, "미국 대학교는 상상 외로 엄청 서열화 되어있다." 는 말에 공감합니다. 미국 사람들은 연구비뿐만 아니라 연구주제도 그 서열에 따르더군요...서열에 순종하며 다양성이라고 외치더군요. 우리 나라도 문제지만...세상 어디에도 완벽한 곳은 없을 듯 합니다.