Celenort
Conciencia
게시물 253
오늘 0
전체 0
A site about logging consciousness

FASTMRI challenge 느낀점

초록 밑줄 : 삭제 / 주황(갈색) 밑줄 : 중복

Learn from failure(느낀 점, 배운 점)

  • “우매함의 봉우리”에 올랐을 때, 실패를 통해 자기 객관화와 함께 성장하게 됨.
  • sensitivity map과 deterministic한 알고리즘을 적용하는 방법 - 틀린 방법이 아니었을 수 있지만, 이번 challenge의 GPU 제한 등을 고려하면 최근 수상작들에서 이 부분을 전혀 건드리지 않은 이유를 알 수 있다. →
  • 뉴턴의 명언처럼, 선행연구와 앞서 해본 사람들의 경험담은 방향성을 찾지 못해 낭비하는 시간을 줄일 수 있음
  • for i in range(1) : 모든 것을 의심하라. (나는 안다룰 예정)
  • 여러 모델을 시도하고, “실패” 하며 왜 실패했는지 이유를 고찰하는 과정을 통해 정성적 분석이 불가능하다고 생각했던 ML 영역에서도 공학적 접근법이 통용됨을 이해할 수 있었음.
  • 번뜩이는 아이디어의 중요성 : 복무요원으로 일하며 제한된 코딩 시간 내에 효율적으로 코딩하기 위해 정말 많은 아이디어를 제시하고, 스스로 기각하거나 디테일을 추가하는 과정을 많이 반복하였는데, 당장은 엉뚱하고 이상해보일 수 있는 아이디어도 계속 생각해내고 발전시키는 과정을 통해 일종의 ‘통찰’을 얻을 수 있었다. 앞으로 유사한 challenge나, 연구 분야에서 ML을 사용하게 될 때 많은 도움이 될 것으로 예상

아쉬웠던 점

  • 개인적 아쉬운 점 : 일종의 체계와 규칙을 만들어 정리하는 것을 소홀히 한 점. 특히 협업에 있어서는 사소하고 불필요해보이는 부분까지도 논의하고, 생각을 정리할 필요성이 있다.
  • 외적으로 아쉬웠던 점 : 교수님께서 올리신 영상 등의 배경지식이나 개론적인 부분에서 정말 잘 설명해주신 것에 비해 실제 받았던 스켈레톤 코드에 대한 설명과 이해가 부족했던 점이 있다. 코드를 읽어보며 직접 이해하고 힌트를 얻어내는 것을 의도하신게 아니라면, 코드의 대략적인 구동원리와 전체 구조에 대한 설명이 추가된다면 제한된 시간 내에서 참가자들이 더 나은 퀄리티의 산출물을 내는데 도움이 될 것 같다.

좋았던 점(?)

  • vision쪽 ML과 accelerated mr imaging 분야의 논문을 많이 읽었고, 학부생으로써는 경험하기 힘들었던 논문 요약및 리딩을 경험하여 미래의 대학원과 연구 생활에 큰 도움이 될 것 같다.
  • 협업의 시너지를 느낄 수 있었음. 혼자 과제와 코딩하는 것에 익숙했는데, 문제에 접근하고 풀어나가는 방식의 차이가 나와 달라서 불편한 것 보다도 ‘이렇게도 접근하고 생각할 수 있구나’ 라며 배워가는 점이 많았다.

[JJW]

중복되는 부분: 형광펜 색칠

소감

  • 소감:
    • 여름방학 2달이라는 짧은 기간이었지만 매우 많은 것을 배워가는 대회였다.
    • 이 기간 동안 매우 많은 기존 연구 및 논문을 읽을 수 있었다. 많은 이론적 지식도 얻을 수 있었고, 그 지식을 어떻게 얻고 이해하는지 방법도 익힐 수 있었다.
    • 팀원 간 협업의 중요성을 다시 한번 깨달았다. 소통이 많아 질 수록 좋은 아이디어와 방향을 얻을 수 있었다.
    • 결과물을 위한 많은 시행착오가 있었다. 일부 실패도 있었지만, 그 원인을 분석하고 찾아나가는 과정이 그 결과보다 더 많은 것을 얻을 수 있는 경험이었다. 새로운 아이디어를 내는 순간과 같이 분석하는 순간이 제일 재미있었던 순간이다.
  • 기타 소감
    • 대회 GPU 및 inference 시간 제한이 없었다면 어땠을 지 궁금하다. Diffusion 혹은 Transfomer 기반 모델 적용이 어려운 것이 아쉬웠다.
    • 대회 지원 및 가이드라인이 잘 되어 있어서 쉽게 접근할 수 있었던 것 같다.

스스로 아쉬웠던 점.

  • 기본 개념의 중요성.
    • 딥러닝 기본 지식이 부족하다는 것을 느낄 수 있었다. 기존 논문 및 연구 이해 과정에 더 많은 시간을 투자해야 했고, 그 만큼 최종 모델 설계 시간이 줄어들게 되었다.
    • 이론의 중요성을 체감할 수 있었고, 더 공부해야겠다는 생각을 할 수 있었다.
  • 프로젝트 관리 방법.
    • 계획, 설계 규칙 통일 등이 체계적이지 못하였다. 결국 원하는 기간 내에 목표를 다 달성하지 못하고 미완성인 상태로 대회가 끝나게 되었다.
    • 팀 프로젝트에서는 특히 프로젝트 관리 방법 설정에 투자를 아끼지 않고 체계적으로 계획을 구성해야 함을 이해할 수 있었다.

다시 대회를 한다면

  • 시간은 여유롭지 않다
    • 생각보다 모델 학습이 오래 걸린다. 여유 부리다 보면 2달이 금방 지나있는 것을 확인할 수 있다. 대회 시작 전부터 준비해서 학습 및 검증 과정이 끊기지 않도록 계획 세우는 것이 좋을 것 같다.
  • 기본부터 이해하기
    • 생각보다 기본 제공 모델의 성능이 좋다.
    • 기본 모델이 갖고 있는 아이디어를 제대로 이해하는 것이 큰 도움을 주었다.

소감 (cele)

  • Learn from FAILURE
  • Based on others exp, Try to implement EVERY ideas
  • 아쉬운점(개인적으로…)

[ppt]

  • 실패를 두려워하지 말자
  • 아이디어가 중요하다
  • (다시 챌린지를 한다면…)

[CELE]

지난 7, 8월 두 달이라는 시간동안 FASTMRI challenge를 통해 쉽게 접할 수 없는 값진 경험을 얻어가는 시간이었습니다.

챌린지 과정에서 많은 실패를 경험했습니다. 다양한 모델과 아이디어를 본 챌린지에 접목시키기 위해 노력하고, 또 실패하면서 그 원인을 분석하고 해석하려고 했습니다. 여러 시도들과 실패들을 정성적으로 분석하고 고찰하면서 ML분야 또한 일반적인 공학에서의 접근법이 통용됨을 알게 되었습니다.

또한 아이디어의 중요성을 절감했습니다. 엉뚱하고 적용하기 어려워 보이는 아이디어라도 팀원과 이야기 해보고 적용하면서 ML 전반에 대한 약간의 인사이트를 얻을 수 있었습니다. 제시하는 아이디어의 퀄리티와 개연성도 점점 높아짐을 느꼈습니다. 개인적으로는, 기존 수상작이나 기본 모델의 코드, 논문을 꼼꼼히 읽으면서 ‘왜 이렇게 했을까’ 를 생각해 보면서 양질의 아이디어를 많이 제시할 수 있었던 것 같습니다.

다시 챌린지를 한다면

이긴 한데 걍 하지말자 너무 중복이많음

ㅇㅋㅇㅋ 대본

[분량보니까 한페이지 더만들어서 하는게 나을듯]

다시 챌린지를 한다면 어떻게 준비했을것 같은지, 아쉬웠던 점을 담아서 이야기 해볼까 합니다.

2달이라는 시간은 여유롭지 않다는 것을 기억하고 철저히 계획을 세웠을 것 같습니다. (부끄럽지만 저희는 챌린지 마감 기한 하루전에 그 사실을 알았는데요,) 모델을 훈련시키는데 상당히 오래 걸리기에 마감 기한이 다가오기 전에 정해진 최종 모델을 훈련할 시간적 여유를 두는 것이 좋을 것 같습니다.

둘째로 스켈레톤 코드로 주어진 기본 모델을 주의깊게 볼 필요가 있다는 것입니다. 기본 모델의 성능이 상당히 좋기도 하고, 다른 모델을 쓸것이라 해도 기본 모델의 아이디어를 완벽히 이해하는 것이 다른 아이디어를 접목하거나 큰 틀에서 구상하는데 도움이 되었습니다.

거인의 어깨 위에서 멀리 볼수 있었다는 명언처럼 기본 모델과 이전 수상작으로부터 아이디어를

베이스라인이 될 모델을 이전 수상작이나 기본 모델로부터

또한 베이스라인이 될 모델을 이전 수상작을 참고하여 빠르게 정하고 거기에 살을 덧붙이는 것이 시간을 절약하는데 도움이 될 것 같습니다)

댓글을 불러오는 중입니다.