투빅스 21회 컨퍼런스와 수료 후기

 

 

 

그동안 바쁘다는 핑계로 차일피일 미뤄왔던 투빅스 21회 컨퍼런스 후기 겸 회고록을 드디어 정리해 보려 한다.

 

이번 컨퍼런스에서도 컴퓨터 비전 팀에 합류하게 되었고, 프로젝트 주제로는 3D Reconstruction을 선정했다. 투빅스 활동을 하면서 이미지 생성 모델을 공부하다 보니 자연스럽게 3D 재구성 기술에도 막연한 호기심이 생겼었는데, 마침 좋은 기회가 닿아 이번에 심도 있게 다뤄볼 수 있게 되었다.

 

"Curat3R" 이라는 이름의 3D 아카이빙 웹 플랫폼 서비스를 개발하였으며, 전체 코드는 아래 GitHub 링크에서 확인할 수 있다. https://github.com/gwlim3012/Curat3R

GitHub - gwlim3012/Curat3R: ToBig's 21st Conference Computer Vision Project

 

낯선 분야의 막막함

3D Reconstruction은 학교 수업에서도 접해본 적 없는 생소한 분야였기에 시작 전부터 걱정이 앞섰다. 구현 가능한 범위와 기술적 한계를 모르는 상태에서 프로젝트의 방향을 구체화하는 일은 생각보다 까다로웠다.

브레인스토밍 단계에서는 '로봇을 활용한 실시간 공간 재구성'이나 'AR 투빅스 마스코트 배치' 등 화려한 아이디어들이 많이 나왔지만, "3개월 안에 기술적으로 실현 가능한가?"라는 질문에는 누구도 선뜻 확신하기 어려웠다. 

 

아이디어를 구체화하던 중, 당시 유행하던 로그라이크 게임 '클로버핏(Clover Pit)'에서 뜻밖의 영감을 얻었다. 게임 속 아이템들이 3D 에셋으로 전시되어 빙글빙글 돌아가는 모습에서 착안해, '소중한 추억을 입체적으로 보관하는 아카이브'라는 콘셉트를 도출했고, 자연스럽게 프로젝트의 정체성이 잡혔다.

 

영감을 얻은 Clover Pit의 아이템들

 

프로젝트 진행 과정

최적의 모델을 찾기 위해 전체 3개월 중 첫 한 달을 오로지 모델 벤치마킹에 쏟았다.

Nerfacto, 3DGS, TRELLIS 등 주요 모델을 테스트하며 우리는 '생성 속도'와 '결과물 품질' 사이의 명확한 Trade-off가 존재함을 확인했다.

 

1차 중간 발표 中

 

단일 모델로는 사용자의 다양한 니즈를 충족하기 어렵다고 판단하여, 우리는 사용자가 상황에 맞게 선택할 수 있는 'Fast Track' 과 'Quality Track' 이라는 이원화 전략을 세웠다. 

 

또한 사용자 편의성을 최우선으로 고려했다. 여러 장의 사진 촬영이 필요한 3DGS 같은 모델은 진입 장벽이 높다고 판단해 과감히 제외하고, 단일 이미지만으로 3D를 재구성하는 모델을 활용하는 방향으로 기술적 범위를 좁혔다.

 

전시 플랫폼에 대한 고민도 있었다. 초기에는 Unity 기반으로 사용자가 직접 방을 꾸미는 인터랙티브한 환경을 구상했지만, 웹 환경에서의 리소스 로드 부하와 개발 리소스의 한계를 현실적으로 고려해야 했다. 결국 안정적인 서비스를 위해 React 기반의 웹 전시 플랫폼을 구축하는 방향으로 전환했다.

 

2차 중간 발표 中

 

프로젝트 시작 후 약 한 달 반이 지났을 무렵, 많은 테스트 끝에 전체 파이프라인의 뼈대가 완성되었다.

각 트랙을 담당할 최종 모델은 다음과 같이 선정했다.

• Fast Model: SPAR3D (Stability AI)
  • 단일 이미지에서 3D 객체를 빠르게 재구성하는 데 탁월한 성능을 보인 모델이다. 속도 측면의 강점을 살려 Fast Track의 메인 모델로 채택했다.
  •  https://github.com/Stability-AI/stable-point-aware-3d
• Quality Model: TRELLIS.2 (Microsoft)
  • 복잡한 구조의 물체도 높은 디테일로 복원해 내는 능력이 뛰어났다. 다소 높은 연산량을 감수하더라도 최상의 퀄리티를 보장해야 하는 Quality Track에 적합하다고 판단했다.
  • https://github.com/microsoft/TRELLIS.2

이렇게 확정된 두 가지 모델을 기반으로, 사용자의 선택에 따라 최적의 3D 아카이빙 경험을 제공하는 시스템을 본격적으로 구축하기 시작했다.

 

시행착오

1. 의존성 문제

이번 프로젝트는 여러 AI 모델을 하나의 파이프라인으로 연결하는 End-to-End 방식을 지향했다. 그런데 각 모델(TRELLIS, SPAR3D 등)이 요구하는 CUDA 버전과 라이브러리 사양이 서로 달라 의존성 충돌이 발생했다. 이를 해결하기 위해 각 모델을 독립적인 가상환경으로 분리하고, 전체 프로세스를 제어하는 Shell(.sh) 스크립트를 작성해 단계별로 실행되도록 구성했다. 결과적으로 환경 간 간섭을 원천 차단하면서도 백엔드에서 전체 파이프라인을 안정적으로 구동할 수 있는 구조를 완성했다.

 

2. 예상치 못한 Vast.ai의 변수

GPU 자원을 확보하기 위해 Vast.ai에서 서버를 임대해 사용했는데, 진행 도중 호스트 측 인터넷 연결이 끊기면서 서버에 접속할 수 없는 상황이 발생했다. 저장된 데이터를 수동으로 꺼낼 방법이 없어 작업물을 모두 잃을 뻔한 아찔한 순간이었다. 다행히 중간 결과물을 백업해두었던 덕분에 새 서버로 빠르게 복구할 수 있었다. GPU를 대여해 사용할 때는 반드시 주기적으로 백업하는 습관이 중요하다는 것을 몸소 깨달은 경험이었다.

 

3. 이미지 필터링

3D 생성 모델의 특성상 입력 이미지의 품질이 결과물에 직접적인 영향을 미쳤다. 테스트를 진행하다 보니 배경이 복잡하거나 객체가 불분명한 이미지가 입력될 경우 결과물의 품질이 눈에 띄게 떨어졌는데, 아래 예시처럼 인물 사진이 들어오면 모델 입장에서는 꽤 당황스러운 상황이 연출되기도 했다.

놀랍게도 손흥민이다

 

생성에 적합하지 않은 이미지를 사전에 걸러낼 방법이 필요했고, 논문의 피어 리뷰(Peer Review) 방식에서 아이디어를 얻어 해결책을 마련했다.

 

이미지 필터링 예시

 

CLIP(Contrastive Language-Image Pre-training) 모델을 도입해, 입력 이미지와 특정 프롬프트 간의 유사도를 측정하는 필터링 로직을 구현하였다. 이를 통해 3D 재구성에 적합한 객체가 포함된 이미지인지를 사전에 판단함으로써, 무분별한 생성을 방지하고 서비스의 전반적인 품질을 끌어올릴 수 있었다.

 

4. 백엔드 통합

이건 엄밀히 말하면 시행착오라기보다는 하나의 배움이었다. 평소에 백엔드와 프론트엔드가 어떻게 맞물려 돌아가는지 개념적으로는 알고 있었지만, 실제로 깊이 들여다본 적은 없었다. 그런데 이번에 직접 모델을 프론트엔드와 연결하는 작업을 하면서, 우리가 일상적으로 사용하는 서비스들이 내부적으로 API 요청을 어떻게 주고받는지 비로소 이해하게 되었다. 막연하게 알던 것들을 실제 코드로 구현해보는 경험은 꽤 인상적이었다.

 

데모 영상

https://www.youtube.com/watch?v=ptxr5rqzewE

 

 

마치며

 

3개월이라는 시간이 짧다면 짧고 길다면 긴 시간이었지만, 낯선 분야에 뛰어들어 실제로 동작하는 서비스를 완성했다는 것 자체가 큰 수확이었다. 완성까지 크고 작은 난관들이 있었지만, 그 과정에서 배운 것들이 결국 가장 오래 남는 것 같다.

 

개인적으로 가장 뿌듯했던 순간은 포스터 발표 시간에 직접 시연을 선보였을 때였다. 저번 컨퍼런스에서는 시연을 못했던 터라 이번에는 꼭 해보고 싶었는데, 20~30초 만에 퀄리티 있는 3D 모델이 뚝딱 생성되는 장면은 나 스스로도 볼 때마다 신기했고, 발표를 맡은 팀원이 워낙 잘해줬던 덕분에 발표장에서도 꽤 큰 임팩트를 남길 수 있었다.

 

한편 아쉬움도 있었다. 평소 모델 경량화에 관심이 많았던 터라 양자화나 지식 증류 같은 기법을 3D Reconstruction 모델에도 적용해보고 싶었지만, 이번에는 파라미터를 일부 조정하는 수준에서 멈출 수밖에 없었다. 재학습까지 손을 뻗지 못한 것이 아쉽지만, 그 대신 모델 자체보다 전체 파이프라인을 어떻게 설계하고 연결할지에 대해 훨씬 깊이 고민할 수 있었다. 그것 나름대로 값진 경험이었다고 생각한다.

 

언젠가 기회가 된다면 3D 모델 경량화에도 직접 도전해보고 싶다. 다음 프로젝트에서는 이번 경험을 발판 삼아 조금 더 깊이 있게 임해보려 한다.

 

짧은 투빅스 수료 후기

투빅스에 지원해서 면접을 봤던 기억이 엊그제 같은데, 벌써 수료를 하게 되었다. 시간이 이렇게 빠른가 싶으면서도, 돌아보면 1년이라는 시간 동안 정말 많은 것들이 있었다.

 

동아리에 들어오기 전에는 간단한 CNN 모델 하나를 구현해 보고 뿌듯해하던 수준이었다. 그랬던 내가 3D 생성 모델을 파이프라인으로 엮고, 이를 웹 서비스로 시연까지 마쳤다는 사실에서 1년 전보다 확실히 성장했음을 느낀다.

 

두 번의 컨퍼런스, 연합 해커톤, 스터디와 정규 세션까지 일정이 꽤 빡빡할 때도 있었다. 하지만 주변에 나보다 더 열심히 고민하고 몰입하는 사람들을 보며 자연스럽게 자극을 받았고, 좋은 사람들과 함께 프로젝트를 하며 많이 배울 수 있어 즐거웠다.

 

AI나 데이터 사이언스 분야를 깊게 공부하고 싶거나, 열정 있는 동료들과 함께 성장하고 싶은 분이 있다면 투빅스 활동을 추천하고 싶다.

 

 

읽어주셔서 감사합니다.