멀티모달 에이전트용 AI 가드레일 개발

소개

본 연구는 멀티모달 AI 에이전트(텍스트·음성·영상 통합형)의 안전성·신뢰성 확보를 위한 AI 가드레일(AI Guardrail) 기술을 개발하는 프로젝트입니다. 텍스트뿐 아니라 시각·음성·상황 인식 기반의 위험 탐지 및 방어 시스템을 구축하여, LLM과 비전·음성 모델이 협력하는 안전한 에이전트 생태계를 만드는 것이 목표입니다. LLM·비전·음성의 융합과 안전성 확보에 도전하고 싶은 분들의 많은 지원을 기다립니다.

주요업무

1. LLM 연구개발 • 멀티모달 입력(텍스트+이미지+음성)에 대응하는 가드레일 모델 설계 • 공격(prompt injection, jailbreak 등) 탐지 및 방어 알고리즘 개발 • 방어 정책 데이터 생성·정제·파인튜닝 2. 비전(Visual) 모델 연구 • 이미지·영상 기반 위험 콘텐츠 탐지 (예: 폭력, 선정성, 불법행위 등) • 시각적 공격(Vision Adversarial Attack) 탐지 및 방어 • 멀티모달 인식기와 LLM 간 인터페이스 설계 3. 음성(Audio) 모델 연구 • 음성 대화형 에이전트용 공격 탐지 및 음성 기반 필터링 모델 개발 • ASR/STT + 감정·의도 인식 기반 위험 판단 4. 데이터 구축·라벨링 기획/운영 • 가드레일 학습용 텍스트·음성·영상 데이터 수집 및 어노테이션 • 위험/비위험 데이터셋 기획, 품질 검수 체계 설계

자격요건

• 학사 이상 (AI/컴퓨터공학/전자공학/인지과학/언어학 등 관련 전공 우대) • Python 및 PyTorch/TensorFlow 기반 모델 구현 가능 • 연구개발 과제 및 논문 리서치 경험자 우대

우대사항

• GPT, Claude, Gemini 등 LLM 내부 구조 이해가 높으신 분 • RLHF/Direct Preference Optimization 경험자 • 안전·윤리·검열 모델 설계 경험자 • CLIP, Flamingo, LLaVA, Kosmos 등 사용 경험자 • 영상 인식·세그멘테이션·OCR 경험자 • Whisper, NeMo, Wav2Vec 등 활용 경험자 • 한국어 음성 데이터 처리 경험자 • 데이터 구축 사업 경험자 • Annotation 도구 설계 및 관리 경험자

혜택 및 복지

• 하이브리드 근무 가능(출근 또는 원격근무 협의 가능) • 최고사양 업무 장비 지원