멀티모달 AI 개발 연구원

담당업무

• 운전자·탑승자 모니터링(DMS/OMS) 및 상황 인식 모델의 기준 모델 구성, 학습·평가·성능 개선

• 카메라 영상, 레이더·음향·차량 상태 신호(CAN)의 입력 시점 정렬, 특징 추출 및 학습 기반 융합 모델 구현

• 영상 단독 대비 융합 효과와 모달리티별 기여도 비교, 센서 결측·비동기 입력 조건의 강건성 검증

• 데이터 분포·라벨 품질·오탐·미탐 분석, 추가 수집 및 증강 우선순위 도출

• 피험자·주행 세션 간 데이터 누수를 방지하는 평가셋 구성, 조건별 검출률(TPR)·오탐 평가 자동화

• ONNX 모델·양자화 보정용 데이터·입출력 규격 제공, 모델 경량화 및 차량 탑재 후 성능 저하 분석·개선

자격요건

• 데이터 분석부터 모델 학습·평가·개선까지 독립적으로 수행한 경험

• 영상·시계열 인지 모델 개발 및 영상과 다른 신호를 결합한 융합 모델의 직접 구현·비교 검증 경험

• Python, PyTorch, 컴퓨터비전, 시계열 모델링, 데이터 전처리 역량

• 재현 가능한 학습·평가 코드 작성 역량

• 라벨·데이터 불균형·도메인 차이 및 오탐·미탐 분석 역량

• 모델 내보내기 및 원본 모델과 탑재 모델의 성능 비교 역량

우대사항

• DMS/OMS, 시선·얼굴·자세·행동 인식 경험

• 차량·로봇의 학습 기반 멀티모달 인지 개발 경험

• ONNX, ONNX Runtime, 실험 관리 도구 활용 경험

• PTQ/QAT 및 양자화 성능 분석 경험

• 영문 논문·기술문서 이해 및 모델 구현에 필요한 내용 정리 역량

• 영상과 Radar·음향·CAN 융합, Euro NCAP 관련 평가, 센서 결측 대응 및 탑재 최적화 협업 경험

전형절차

1. 서류전형

2. 1차 실무 면접

3. 2차 임원 면접

4. 처우 협의

5. 최종 합격

제출서류

• 국문 이력서 및 경력기술서

• 직접 구현한 모델, 데이터·평가 설계, 융합 효과와 성능 개선 사례 기재

실무 면접 확인 내용

• 영상 단독·융합 모델 비교

• 모달리티 제거·결측 실험

• 데이터 누수 방지

• 배포 후 성능 검증

마감기한

상시채용