Principal Security Research Manager

담당업무

• 에이전트 보안·엔지니어링 워크플로를 위한 엔드투엔드 평가 하네스 설계 및 구축

• 보안 트리아지, 수정, 저장소 준비도, 에스컬레이션, 도구 사용, 스캔부터 검증된 종료까지의 평가 설계

• 정상·엣지·적대적·실패 복구·회귀·프로덕션 기반 사례를 포함한 벤치마크와 골든 데이터셋 구축

• 결정론적 검증기, 자동 채점기, 트레이스 분석기, 결과 저장소, 비교 화면, 워크플로 어댑터 구현

• 작업 성공률, 정확성, 안전성, 정책 준수, 실패 복구, 지연시간, 도구 호출, 토큰 사용량, 비용 및 사람 검토 노력 측정

• 모델, 프롬프트, 도구, 메모리 전략, 정책, 오케스트레이션 패턴 비교 및 품질·효율성 트레이드오프 분석

• 평가 시스템을 CI/CD, 릴리스 게이트와 엔지니어링 의사결정에 통합

• 프로덕션 피드백, 사람의 승인·거부, 오버라이드, 사고, 롤백, 결함 및 서비스 상태 신호와 오프라인 평가 연결

• 회귀, 벤치마크 드리프트, 평가자 보정 오류 및 실제 결과와 불일치하는 평가 점수 탐지

• 벤치마크 스위트, 평가 러너·하네스, 검증 파이프라인, 트레이드오프 스코어카드, 텔레메트리 루프, 릴리스 준비도 게이트 구축

• 플레이북, 템플릿, 온보딩 가이드, 대시보드, 스코어카드 및 레퍼런스 구현으로 학습 내용 확산

자격요건

• 프로덕션 시스템, 개발자 플랫폼, 테스트 인프라, 자동화 프레임워크, 데이터 파이프라인, 품질 시스템 또는 신뢰성 도구 구축 경험

• 평가 과제 정의, 데이터셋 생성, 하네스 구현, 점수화, 분석 및 운영 통합을 포함한 평가 시스템 설계·구현 역량

• 코딩, 디버깅, 시스템 설계 및 운영 역량

• 구조화 데이터, 로그, 트레이스, 메트릭, API, 자동화 워크플로 및 엔지니어링 텔레메트리 경험

• LLM, AI 에이전트, 모델 평가, 프롬프트·도구 오케스트레이션, 자동 채점 또는 벤치마크 설계 경험

• 실험, 통계적 신뢰도, 평가자 보정, 회귀 분석, 사람 검토 프로토콜 또는 품질 측정 시스템 경험

• 보안 엔지니어링, 취약점 관리, SAST/SCA, SARIF, 수정 워크플로, 보안 개발 수명주기 또는 컴플라이언스 민감 시스템 경험

• 1년 이상의 인력 관리 경험

우대사항

• 소프트웨어 개발 수명주기, 대규모 컴퓨팅, 위협 분석·모델링, 사이버보안, 취약점 연구 또는 이상 탐지 경험

• 평가 시스템을 엔드투엔드로 설계하고 운영에 통합한 경험

• LLM 및 AI 에이전트 평가와 자동화된 평가 하네스 경험

• 보안 워크플로와 품질·위험·지연시간·비용 측정 경험

보상과 복리후생

• 미국 기준 기본 연봉 USD $142,800~$274,800

• 샌프란시스코 베이 지역 및 뉴욕시 대도시권 기본 연봉 USD $188,000~$304,200

• 일부 직무의 복리후생 및 기타 보상 가능

근무환경

• 성장 마인드셋을 바탕으로 한 협업 문화

• 존중, 진 integrity, 책임감과 포용을 중시하는 조직 문화

• 에이전트 빌더, 제품팀, 보안 엔지니어, 데이터 과학자, 프로그램 매니저 및 리더십과의 협업

마감기한

채용시 마감