Product Operations Specialist (AI Evaluation)

소개

[합류하게 될 팀에 대해 알려드려요] AI·자동화 기술로 토스증권의 제품과 업무를 더 똑똑하게 만드는 팀이에요 토스증권의 여러 AI 제품이 고객에게 정확하고 신뢰할 수 있는 경험을 제공하도록, 전사 AI 평가(AI Evaluation) 체계를 만들고 운영하고 있어요. 각 조직이 자신의 AI 제품을 스스로 평가하고 개선할 수 있도록 평가 플랫폼, 평가 데이터, 가이드를 제공하는 것이 미션이에요.

주요업무

[합류하면 함께 할 업무예요] • AI 평가의 기준이 되는 골든셋(golden set)을 만들어요. 평가 목적에 맞는 질문·정답 데이터를 수집하고 정제하며, 서비스와 시장 상황의 변화에 맞춰 지속적으로 업데이트해요. • 평가 가이드(evaluation guide)를 관리해요. 각 조직이 AI 평가를 수행할 때 참고하는 평가 기준·프로세스 문서를 만들고, 실제 평가 사례에서 나온 배움을 가이드에 반영해 개선해요. • 평가에 사용되는 데이터를 꼼꼼하게 검수해요. AI가 생성한 결과물과 평가 데이터의 오류를 찾아 분류하고, 검수 결과를 엔지니어에게 피드백하여 모델과 제품의 고도화를 도와요. • 각 조직의 AI 평가 실행을 지원해요. 평가 플랫폼을 활용해 평가가 원활하게 진행되도록 돕고, 반복되는 평가·검수 업무를 효율화할 방안을 엔지니어와 함께 고민하고 실행해요.

자격요건

[이런 분과 함께하고 싶어요] • LLM, AI 등에 대한 기초적인 이해가 있고, 새로운 개념을 적극적으로 배우려는 의지가 있는 분이 필요해요. • '정확함'과 '꼼꼼함'이 무기이신 분이 필요해요. 평가의 신뢰도는 데이터의 품질에서 나오는 만큼, 텍스트와 숫자의 작은 오류도 놓치지 않는 디테일한 업무 수행 능력이 중요해요. • 새로운 툴을 학습하는 데 거부감이 없고 빠르게 습득하실 수 있는 분이 필요해요. 사내 AI 평가 플랫폼과 다양한 AI 도구를 다루게 돼요. • AI evaluation에 대한 지식이나 경험(골든셋 구축, LLM 평가, 데이터 라벨링·검수 등)이 있는 분이면 더 좋아요. • 운영 관점에서 개선방안을 끊임없이 고민하실 수 있는 분이면 더 좋아요. 효율적인 프로세스를 고민하고 실행하는 즐거움을 아시는 분을 선호해요. [이력서는 이렇게 작성하시는 걸 추천해요] • 토스증권과 Product Operations Specialist에 지원한 동기를 알려주세요. • 담당해오신 프로젝트 별 문제 정의-가설 수립-액션 및 검증-결과를 명확히 기재해 주세요. • 해오신 업무의 단순 나열이 아닌 임팩트 및 러닝 포인트를 적어주신다면 강점이 돋보일 거에요.

혜택 및 복지

회사 홈페이지를 참고해 주세요.