[삼성전자 DS부문 프로젝트] LLM Gateway·Agent 백엔드 엔지니어
공고 요약
그룹바이담당업무
LiteLLM Proxy 기반 사내 LLM 게이트웨이 구성 및 운영
로드밸런싱·레이턴시 기반 모델 라우팅 정책 설계
장애·레이트리밋 발생 시 폴백 체인 구성
팀·과제별 가상 키 발급 및 모델 접근 범위 통제
사용량·비용 집계 및 한도 정책 적용
OpenAI 호환 API 기반 모델 호출 모듈 개발: 스트리밍·취소·재시도
Agent 워크플로 구현 및 도구 호출 규격 정의
RAG 검색 연계 및 근거·출처 정규화
자격요건
Python 백엔드 개발 경험
LiteLLM Proxy 게이트웨이 구성 및 운영 실무 경험
FastAPI 기반 비동기 서버 개발 경험
OpenAI API 연동 경험: Chat Completions 또는 Responses API
커넥션 풀·타임아웃·재시도 등 비동기 처리 설계 경험
PostgreSQL 및 Redis 운영 경험
우대사항
LiteLLM 라우팅·폴백·Virtual Key·Budget 등 심화 활용 경험
LangGraph 기반 Agent 워크플로 설계 경험
RAG 파이프라인 구축 경험
폐쇄망 환경 개발 경험
대기업 SI 프로젝트 수행 경험
복리후생
교육비 지원
근무환경
프로젝트 팀 총 10명 규모
마감기한
상시채용
님버스테크 지원하기 전 이력서 Check
시간이 없다면 AI와 한번에 수정해보세요
공고 원문
주요업무
포지션 소개 삼성전자 DS(반도체)부문 사내 LLM 플랫폼 구축 프로젝트에 함께할 시니어 백엔드 엔지니어를 찾습니다. 사내 여러 팀과 과제가 다양한 LLM을 안정적이고 통제된 방식으로 사용할 수 있도록, LiteLLM Proxy 기반 LLM Gateway를 구성·운영하고 그 위에서 동작하는 Agent 백엔드를 개발하는 역할입니다. 모델 라우팅, 폴백, 키·비용 통제처럼 실제 운영 환경에서 마주치는 문제를 직접 설계하고 해결하게 됩니다. 총 10명 규모로 팀이 구성되며, 기흥 테라타워에 상주하여 근무합니다. 주요 업무 LLM Gateway 구축 및 운영 LiteLLM Proxy 기반 사내 LLM 게이트웨이 구성 및 운영 모델 라우팅 정책 설계 (로드밸런싱, 레이턴시 기반 분배) 장애·레이트리밋 발생 시 폴백(fallback) 체인 구성 팀·과제별 가상 키(Virtual Key) 발급 및 모델 접근 범위 통제 사용량·비용 집계 및 한도(budget) 정책 적용 LLM 연동 및 Agent 백엔드 개발 OpenAI 호환 API 기반 모델 호출 모듈 개발 (스트리밍·취소·재시도) Agent 워크플로 구현 및 도구(Tool) 호출 규격 정의 RAG 검색 연계 및 근거·출처 정규화
자격요건
Python 백엔드 개발 경력 7년 이상 LiteLLM Proxy(Gateway) 구성 및 운영 실무 경험 (필수) FastAPI 기반 비동기 서버 개발 경험 OpenAI API 연동 경험 (Chat Completions / Responses API) 커넥션 풀, 타임아웃, 재시도 등 비동기 처리 설계 경험 PostgreSQL, Redis 운영 경험
우대사항
LiteLLM 심화 활용 경험 (라우팅·폴백·Virtual Key·Budget 등 고급 기능) LangGraph 기반 Agent 워크플로 설계 경험 RAG 파이프라인 구축 경험 폐쇄망(에어갭) 환경 개발 경험 대기업 SI 프로젝트 수행 경험
기술스택
Python, Celery, FastAPI, ElasticSearch, PostgreSQL, Redis, Grafana, Prometheus, Docker, Kubernetes, SqlAlchemy, LLM, LangChain, OpenAI, Lobe Chat, RAG, Tool Calling, LangGraph, Milvus
