Software Engineer L5 - AI Observability & Agent Evaluation

담당업무

• 온라인 추론·배치 스코어링·피처 파이프라인·에이전트 오케스트레이션을 위한 메트릭, 로그, 분산 트레이스 관측성 프레임워크 구축

• 모델 정확도·캘리브레이션·오류율, 데이터 품질, 드리프트, 성능 저하 모니터링 기능 개발

• LLM·에이전트 시스템의 응답 품질, 그라운딩·환각, 작업 성공률, 도구 사용, 궤적 정확도 평가 프레임워크 구축

• LLM-as-a-judge와 human-in-the-loop 평가 지원

• 관측성·평가 도구의 도입 검토 및 벤더 플랫폼 연동을 위한 SDK, 커넥터, API 개발

• 재사용 가능한 라이브러리·SDK·템플릿, 대시보드·알림·SLO·SLI 구성요소 개발

• ML·데이터·인프라·제품 팀과 협업하여 재사용 가능한 플랫폼 기능으로 요구사항 구현

자격요건

• 소프트웨어, AI·ML 또는 플랫폼 엔지니어링 경험

• 프로덕션 관측성·모니터링 또는 ML·LLM 평가 경험

• 다른 팀이 기반으로 사용하는 표준, 라이브러리, SDK 또는 프레임워크 설계·도입 경험

• Python 및 Java·Go·Scala 중 하나 이상의 강력한 코딩 역량

• 온라인 서빙 또는 배치 환경에서 ML 모델 운영 경험

• 모델 드리프트, 모델 성능, 데이터 품질에 대한 실무 경험

• Prometheus·Grafana, Datadog, OpenTelemetry, ELK·OpenSearch, Jaeger·Tempo 등 관측성 스택 경험

• 분산 시스템, 마이크로서비스, AWS·GCP·Azure 중 하나 이상의 클라우드 이해

• 벤더 연동 및 VPC 배포 경험

• ML·데이터·인프라·제품 팀과의 협업 및 시스템 동작·품질·위험에 대한 커뮤니케이션 역량

• AI 도구를 설계·개발·테스트·코드 리뷰에 활용하는 AI-Native Engineering Mindset

우대사항

• Arize, Braintrust, LangFuse, Weights & Biases, Galileo, Vertex AI Model Monitoring, SageMaker Model Monitor 등 ML·LLM 관측성·평가 도구 경험

• LLM·GenAI 애플리케이션 구축 및 프롬프트·결과 로깅, 평가 지표, LLM-as-a-judge, human-in-the-loop 검토 경험

• 도구 사용, 다단계 추론, 궤적·작업 성공률을 포함한 에이전트 시스템 평가 경험

보상과 복리후생

• 연간 급여 $388,000.00~$619,000.00

• 연간 보상 중 급여와 스톡옵션 비중 선택

• 건강보험, 정신건강 지원, 고용주 매칭 401(k) 퇴직연금

• 스톡옵션 프로그램, 장애 지원 프로그램, 건강저축·유연지출 계좌

• 가족 형성 지원, 생명·중대 상해 보장

• 유급 휴직 프로그램

• 시간제 정규직의 연간 35일 유급휴가

• 급여제 정규직의 즉시 적용 유연휴가

근무환경

• 온사이트 근무

• AI·ML·데이터·인프라·제품 팀과의 협업

• 포용성과 다양성을 중시하는 조직 문화

• 장애 또는 기타 사유에 대한 채용 절차상 편의·조정 요청 지원

• 인종, 종교, 성별, 성적 지향, 성 정체성, 장애, 혼인 여부, 군 복무 등 개인 특성에 따른 차별 금지

마감기한

상시채용