AI개발자 - 음성 (VAD, STT, TTS, S2S, RLHF) 관련 채용

주요업무

실시간 음성 AI 에이전트 시스템 설계 및 개발 초저지연(Ultra Low-Latency) 실시간 음성 대화 에이전트의 End-to-End 아키텍처를 설계하고 고도화합니다. STT, LLM, TTS 파이프라인을 스트리밍 방식으로 연동하여 자연스러운 실시간 대화 경험을 구현합니다. 텔레포니(Telephony) 인프라 연동 및 음성 처리 최적화 SIP 프로토콜 및 Asterisk, WebRTC 환경을 기반으로 전화 네트워크와 AI 에이전트 간의 안정적인 연동 시스템을 구축합니다. 8kHz 오디오 환경(G.711, Opus 등)에서의 샘플레이트 변환, AEC(음향 에코 억제), 노이즈 제거 등 텔레포니 환경에 특화된 오디오 전처리를 수행합니다. 음성 대화 인터랙션 및 상태 관리(Dialogue Management) 고도화 VAD(Voice Activity Detection) 및 엔드포인팅 기술을 활용하여 정교한 턴테이킹(Turn-taking) 및 사용자의 중간 개입(Barge-in) 프로세스를 처리합니다. 복잡한 대화 맥락 속에서 안정적인 다이얼로그 상태 관리와 화자 분리(Diarization), 구두점 복원을 통해 대화의 흐름을 유지합니다. LLM 최적화, 서빙 및 인텔리전스 확장 SaaS/AI 도구 연동을 위한 Python 기반의 툴 호출(Tool Calling) 백엔드를 구성하고, 신뢰도 높은 RAG(Retrieval-Augmented Generation) 시스템을 구축합니다. vLLM, SGLang, llama.cpp 등을 활용하여 LLM 서빙 레이턴시를 최적화하며, 대화 목적에 맞는 LoRA 파인튜닝을 수행합니다. STT/TTS 모델 커스터마이징 및 텍스트 정문화(ITN) 실시간 스트리밍 STT/TTS 모델을 도입하고 레이턴시를 최소화하며, 숫자나 단위 등을 자연스럽게 처리하는 ITN(Inverse Text Normalization) 모델을 적용합니다. 합성 음성의 화자 일관성, 운율(Prosody), 명료성(Intelligibility)을 개선하기 위한 음성 데이터셋 구축 및 학습을 주도합니다.

자격요건

실시간 음성 분할 경험 (VAD) SIP 연동 경험 Asterisk 경험 STT 모델 경험 TTS 모델 경험 LLM LoRA 파인튜닝 경험 LLM 서빙 및 커스터마이징 경험 (vLLM, SGLang, llama.cpp) 음성 합성 데이터 경험 (화자 일관성, prosody, intelligibility 등) ITN 경험 툴 호출 도구 백엔드 구성 경험 (Python) RAG 구축 경험

우대사항

스트리밍 STT/TTS 및 종단 레이턴시 최적화 경험 턴테이킹 / 엔드포인팅 / 바지인(barge-in) 처리 경험 텔레포니 오디오 처리 경험 (8kHz, G.711 μ-law/a-law, Opus, 샘플레이트 변환, AEC·노이즈 억제) 다이얼로그 상태관리 경험 화자 분리(diarization), 구두점 복원 경험

기술스택

Python, LLM, Whisper, RLHF, RAG, VectorDB, Tool Calling, Prompt Engineering, Token, Hallucination