LLM Evaluation Engineer

소개

크라우드데이터는 크라우드웍스의 'AI 데이터사업본부'가 분사한 자회사로서, 크라우드웍스에서의 다양한 경험을 토대로 데이터사업에 더욱 집중하여, 앞으로 더욱 높은 성장을 할 것입니다. (*크라우드웍스는 2017년부터 데이터구축 플랫폼 사업을 진행하였고, 2023년 코스닥에 상장하였습니다.) 우리의 주요 사업 : AI 기업을 포함한 다양한 기업에게 품질 좋은 데이터를 납품하여, 새로운 가치를 만들어 내는 사업. 우리의 미션 : 고객에게 품질 좋은 데이터를 제공하여,성장의 기회를 제공한다. 우리의 비전 : 세상의 모든 데이터에 가치를 부여하고, 고객의 성공을 함께한다. 계속해서 성장하는 크라우드데이터와 함께하실 분을 찾고 있어요!

주요업무

1. LLM 벤치마크 평가 및 인사이트 도출 • 다양한 평가 지표 및 벤치마크를 활용한 LLM 성능 측정 및 비교 • 서비스 목적에 맞는 벤치마크 시나리오 설계 및 수행 • A/B 테스트 실험 설계, 결과 해석, 통계분석 및 보고서 작성 • 벤치마크 결과에 기반한 서비스 배포 및 추가 학습(파인튜닝) 관련 인사이트 및 정책 제안 • 결과를 알기 쉽게 시각화하여 내부 보고서 및 외부 공유 자료 작성 2. 데이터 기반 의사결정 지원 • LLM 품질 개선을 위한 데이터셋 샘플링, 품질 점검 및 관리 • 벤치마크 평가를 위한 실험 데이터 구축 및 관리 자동화 • 다양한 LLM과 프롬프트의 조합에 대한 반복적 실험 및 성과 모니터링 3. LLM 서비스 도입 프로세스 지원 • 평가 결과 기반 모델 선택 및 파인튜닝 대상 선정 지원 • 타 부서(서비스 기획/운영/개발)와 협업하여 최적의 LLM 적용 정책 도출 • 평가 및 인사이트를 기반으로 한 중‧장기 LLM 성능 개선 로드맵 수립 지원

자격요건

• Python 프로그래밍 • LLM/NLP 벤치마크 평가 또는 프로젝트 경험 • LLM 평가 지표 및 실험 설계/분석 및 보고서 작성 경험 • 협업 및 명확한 커뮤니케이션 능력 • 버전 관리 툴(Git 등) 사용 경험

우대사항

• AI/ML 및 컴퓨터공학 관련 전공 또는 실무 경험 • LLM 프레임워크(Hugging Face, LangChain, lm-eval-harness 등) 활용 경험 • 파인튜닝, 데이터 자동화 실험 경험 • 클라우드(AWS, GCP 등) 사용 경험

혜택 및 복지

• 크라우드데이터 구성원의 몰입과 성장을 위한 쾌적한 근무 환경 • 사내카페(바리스타 상주) 및 라운지 무료 운영 • 최신형 노트북 및 4K 모니터, 각종 소프트웨어 지원 • 웰컴 키트, 회사 저지 등 사무 편의용품 지원 • 직무 역량 강화를 위한 세미나/컨퍼런스, 강의 등록, 도서 구매 등 지원 • 2시간 단위의 자유로운 연차 사용 • 복지성 적금/연금 제도 • 2년 단위 장기근속 포상 • 생일 축하금 지원 • 임직원 건강검진 지원 • 연간 한도 내 의료비 지원 • 기타 기본 복지(4대 보험 및 경조금 등) 지원