AI QA 엔지니어 (AI QA Engineer)

소개

오믈렛은 최적화 AI 기반 의사결정 자동화 플랫폼을 제공하는 기업으로, 복잡한 운영 환경에서 최적의 의사결정을 지원하는 AI Agent 및 Optimization Engine을 개발하고 있습니다. 물류, 이커머스, 제약 등 다양한 산업에서 실제 운영 문제를 해결하는 솔루션을 제공하며, 기업의 비용 절감, 운영 효율화, 그리고 의사결정 고도화를 지원하고 있습니다. 오믈렛의 첫 AI QA Engineer로써 제품 품질 관리의 체계 수립과 실무를 병행합니다. 오믈렛 보유의 제품들에 대한 품빌 엔지니어링에 직접 참여하여 기술적 리더십을 발휘합니다. 실무 전문성을 바탕으로 조직의 성장을 지원하고, 고도화된 AI 테스트 자동화 로드맵을 주도적으로 실행합니다

주요업무

QA 전략 및 로드맵 실행: 조직의 중장기 QA 전략 수립뿐만 아니라, AI 기반 테스트 자동화 프레임워크의 설계 및 구축에 직접 참여하고 기술적 의사결정을 주도합니다. SaaS/App 통합 E2E 테스트: AI 기능이 포함된 웹 및 모바일 앱의 시나리오 기반 엔드투엔드(E2E) 테스트를 설계하고 수행합니다. 현장 (Field) QA 및 검증: 최적화 AI의 운영 환경을 고려하여 현장 적용성을 검증하고, 실제 운행 데이터 기반의 품질 검증 및 피드백 루프를 구축합니다. 모델 및 프롬프트 평가: LLM(대형 언어 모델) 평가 프레임워크를 설계하여 답변의 정확성, 연관성, 편향성, 유해성을 측정 프로세스를 구축하고 지속적으로 고도화하여 AI 품질 거버넌스를 마련합니다. 데이터 검증 및 모니터링: 데이터 파이프라인, 학습 데이터, RAG(검색 증강 생성) 시스템의 데이터 오염 및 데이터 드리프트를 검증합니다. 에이전트 기반 테스트 자동화: 핵심 프로덕트의 UI/UX 테스트를 포함한 E2E 테스트 자동화 프로세스 기반의 에이전트를 구축합니다. CI/CD 및 성능 모니터링: AI 모델 업데이트와 웹/앱 배포 주기에 맞춰 자동화 테스트를 CI/CD 파이프라인에 통합하고, 릴리스 후 모니터링을 통해 AI 모델 성능 지표와 이상 징후 탐지 기능을 배포 파이프라인에 통합하여 프로덕션 환경의 성능 저하를 방지합니다. 팀 관리 및 협업: 전체 조직의 품질 역량 강화를 위한 코칭 및 멘토링을 수행하며, 개발/기획 조직과의 긴밀한 협업을 통해 릴리스 품질을 승인합니다.

자격요건

소프트웨어 QA 및 리딩 경험: 웹/앱 서비스 또는 SaaS 제품 대상 QA 및 테스트 자동화 구축 경험 5년 이상, 팀 리딩 또는 프로젝트 리더 역할 경험 2년 이상 (실무 역량과 관리자 성장 잠재력을 동시에 요구) 프로그래밍 및 자동화 역량: Python 혹은 JavaScript/TypeScript 숙련도, UI 자동화 도구 및 API 테스트 도구 활용 능력 AI/ML 기술 전문성: 생성형 AI, 프롬프트 엔지니어링, LLM-as-a-judge 평가 기법에 대한 깊은 이해 도메인 지식: 애자일(Agile) 및 스크럼(Scrum) 환경에 대한 높은 이해도, 개발/기획 조직과의 원활한 협업 능력 프로그래밍 및 자동화: Python, JavaScript/TypeScript 중 하나 이상 숙련도, 테스트 자동화 프레임워크 (Playwright, Appium 등) 설계 및 CI/CD 통합 경험 협업 능력: 애자일(Agile) 환경에 대한 높은 이해도와 개발/기획 조직과의 원활한 기술 커뮤니케이션 능력

우대사항

UI/UX 자동화 도구를 활용한 대규모 테스트 환경 구축 경험 LLM 평가 프레임워크(LLM-as-a-judge 패턴 포함)를 직접 설계하고 운영해 본 경험 CI/CD 파이프라인에 AI 모델 성능 지표 및 테스트 자동화를 통합해 본 경험 RAG 파이프라인, 데이터 드리프트 등 AI 데이터 검증 및 모니터링 관련 프로젝트 수행 경험 AI 기반 자가 치유(Self-healing) 테스트 에이전트 개발 경험 IT 및 기술 기반 SaaS 비즈니스 모델에 대한 높은 이해도 및 경력

혜택 및 복지

• 주2회 재택근무 가능 • 식대 제공 • 고사양 PC 제공 및 환경 제공