Senior Data Scientist for Copilot Evals

담당업무

• DSAT, 사용량, 고객 참여, 제품 피드백, 평가 신호를 결합한 데이터 기반 우선순위 프레임워크 구축 및 운영

• 고객 의도, 하위 의도, 시나리오, 평가 커버리지, 손실 패턴 taxonomy 정의 및 관리

• 실제 트래픽, 고객 세그먼트, 워크플로 복잡도, 지역, grounding 경로, 실패 유형을 반영한 평가 포트폴리오 대표성 측정

• 대표성이 낮은 고객·의도·시나리오·손실 패턴을 식별하고 평가 및 데이터 수집 우선순위로 전환

• 주요 의도와 고객을 위한 품질 게이트 설계 및 성공 기준, 세분화, 실행 주기, 에스컬레이션 기준, 보고 체계 수립

• DSAT, 작업 완료율, 재시도, 이탈, 에스컬레이션과 오프라인 평가 결과를 연결한 반복 scorecard 구축

• 오프라인·온라인 일치도, 평가 최신성, 회귀 커버리지, 평가자 신뢰도와 시간에 따른 품질 변화 분석

• 노이즈가 있는 고객·제품 신호를 대상으로 샘플링, 가중치, 중복 제거, 클러스터링, 추세 탐지 방법 개발

• 인과 및 실험 방법을 활용한 상관관계·기여도·처치 효과 분석과 제품·모델·데이터·평가 투자 의사결정 지원

• 고객 증거를 작업 분포, 데이터셋, 지표, 보상 신호로 전환하고 지표·taxonomy·데이터 품질 점검·보고를 자동화 파이프라인에 구현

• 고객 참여 신호를 활용해 업무 흐름, 비즈니스 영향, 기대 결과와 집계 지표에 가려진 격차를 파악하고 리더에게 권고안 전달

• 데이터 출처, 개인정보 보호, 책임 있는 사용, 재현성, 지표 거버넌스 관행 수립

자격요건

• 구조화 및 비구조화 데이터 관리, 통계 기법 적용, 분석 결과 보고 역량

• SQL 및 Python 또는 R 등 분석 프로그래밍 언어 활용 역량

• 통계 분석, 실험, 샘플링, 세분화, 측정, 데이터 시각화 역량

• 복잡한 분석 결과를 기술·제품·경영진 대상에게 명확히 전달하는 능력

우대사항

• 복잡하고 규모가 큰 제품 또는 플랫폼 환경에서 데이터 기반 제품 전략 및 의사결정 경험

• 노이즈가 있는 정량·정성 신호를 실행 가능한 우선순위 또는 측정 프레임워크로 통합한 경험

• 지속 가능한 지표와 taxonomy를 정의하고 한계를 설명하며 오해를 방지한 경험

• AI 제품 품질, LLM 또는 에이전트 평가, DSAT·고객 피드백 분석, 실험, 모델 telemetry 경험

• 대표성 있는 데이터셋, 커버리지 모델, 품질 scorecard, 회귀 포트폴리오 설계 경험

• 클러스터링, 텍스트 분석, 임베딩, 분류, 이상 탐지 등 비정형 피드백 분석 경험

• 오프라인 평가 결과와 온라인 제품·고객 결과를 연결한 경험

• 엔터프라이즈 고객, 연구자, 제품 관리자, 엔지니어와 직접 협업한 경험

• 책임 있는 AI, 개인정보 보호 분석, 데이터 거버넌스, 고객 데이터 처리에 대한 이해

보상

• 미국 기본급 연 USD 119,800~234,700

• 샌프란시스코 베이 지역 및 뉴욕시 대도시권 기본급 연 USD 160,200~261,000

• 일부 직무는 복리후생 및 기타 보상 대상

조직문화

• 성장 마인드셋 기반의 혁신과 협업

• 존중, 진 integrity, 책임을 바탕으로 한 포용적 업무 환경

• 고객 경험을 중심으로 제품 및 모델 품질을 개선하는 협업

마감기한

채용시 마감