Al Research Engineer_Eval

담당업무

• LLM 성능에 대한 객관적 평가 연구 및 실험 설계

• LLM as Judge 구조, 평가 루브릭 및 프롬프트 설계

• 신뢰성과 재현성을 갖춘 평가 방식 연구

• 다양한 벤치마크 기획 및 구축

• Human Alignment 및 Auto Adapt 연구

• 프롬프트 자동 최적화 실험

• Human-in-the-loop 평가 구조 설계

• 고객 문제 정의 및 해결을 위한 가설 설정 및 검증

• 실험 설계부터 결과 분석 인사이트 도출까지 전 과정 수행

• 연구 결과의 솔루션 연결을 위한 제안 및 PoC 수행

필수요건

• 약 3년차 경력에 준하는 실전 경험 보유자

• 머신러닝 및 딥러닝에 대한 기본적 이해

• Python 및 PyTorch 기반 모델 실험 경험

• LLM 평가 및 정렬 관련 핵심 업무 독립적 수행 경험

필요역량

• LLM 및 딥러닝 기반 NLP 모델 직접 구현 및 실험 경험

• Hugging Face Transformers 활용 파인튜닝 경험

• vLLM, DeepSpeed, FSDP 기반 서빙 및 실험 경험

• LLM 또는 NLP 모델 평가 지표 및 벤치마크 설계 경험

• QA, 요약, 대화, Reasoning, RAG 태스크 평가 파이프라인 운영 경험

• 비즈니스 관점의 실험 결과 해석 및 통계적 분석 역량

• 영어 논문 기반의 구현 및 실험 연결 능력

• 내외부 이해관계자와의 논리적인 커뮤니케이션 능력

우대사항

• RAG 시스템, LLM 평가 및 정렬 유관 프로젝트 경험

• LLM-as-Judge, Reward Model, RLHF, DPO 등 실무 및 연구 경험

• Multi-Agent LLM 시스템 및 Tool-use 기반 평가 경험

• 한국어 및 특정 도메인 데이터셋 구축 및 어노테이션 파이프라인 경험

• Prompt Backprops, Task-vector, LoRA 등 경량 적응 기법 실험 경험

• LLM 시스템 전체 파이프라인 설계 경험

• 학회 및 저널 관련 논문 작성 경험

전형절차

1. 서류 접수

2. 과제 전형

3. 직무 및 컬쳐 핏 면접

4. 처우 협의

5. 최종 합격

마감기한

채용시 마감