DeepSeek R1 vs OpenAI o3: 추론 모델 비교와 벤치마크 함정

DeepSeek R1과 OpenAI o3는 2025년 추론 모델 경쟁을 설명하는 대표적인 이름이다. 그러나 둘을 “저렴한 오픈소스 대 최고 성능 폐쇄형 모델”로만 나누면 중요한 사실을 놓친다.

먼저 시점을 고정해야 한다. DeepSeek R1 기술 보고서는 2025년 1월 공개됐고, 비교 대상은 o3가 아니라 OpenAI-o1-1217이었다. OpenAI o3는 2025년 4월 16일 출시됐다. 2026년 7월 현재 OpenAI 모델 문서는 o3를 GPT-5가 이은 모델로 표시하며, DeepSeek API의 deepseek-reasoner도 더 이상 원본 R1을 뜻하는 고정 식별자가 아니다. 이 글은 역사적 두 모델에서 얻을 수 있는 기술·도입 교훈을 비교하되, 현재 최고 모델 순위표처럼 다루지 않는다.

한눈에 보는 차이

기준	DeepSeek R1	OpenAI o3
공개 범위	모델 가중치와 저장소를 MIT 라이선스로 공개	가중치·아키텍처 비공개, API 제공
모델 구조	DeepSeek-V3-Base 기반 MoE, 총 671B·토큰당 37B 활성화	파라미터 수와 세부 구조 비공개
후처리 핵심	콜드 스타트 데이터, GRPO 기반 추론 RL, 거부 샘플링과 추가 SFT/RL	대규모 RL, 추론 시간 확장, 이미지·도구 사용 학습
추론 과정	공개 가중치로 자체 관찰·운영 가능. 당시 API도 reasoning_content 제공	원시 사고 과정은 비공개, 요약만 제공 가능
배포 방식	자체 호스팅 또는 별도 API	OpenAI 호스팅 API
현재 상태	R1 가중치는 남아 있으나 공식 API 별칭은 후속 V4 계열로 이동	API 스냅샷은 제공되지만 공식 문서상 GPT-5의 전세대

여기서 “오픈소스”보다 오픈 웨이트라는 표현이 더 정확하다. R1 저장소는 가중치의 상업적 이용·수정·증류를 허용하지만, 공개된 산출물만으로 원본 학습 전체를 그대로 재현할 수 있다는 뜻은 아니다. 증류 모델은 기반 Qwen·Llama 모델의 라이선스도 함께 확인해야 한다.

DeepSeek R1: MoE보다 중요한 것은 학습 파이프라인

671B 중 37B 활성화의 정확한 의미

공식 모델 표에 따르면 R1은 총 6,710억 파라미터를 보유하고 토큰마다 370억 파라미터를 활성화하는 MoE 모델이다. 라우터가 모든 전문가를 매 토큰에 계산하지 않으므로 밀집형 671B 모델보다 연산량을 줄일 수 있다.

다만 “37B만 활성화되니 37B 모델처럼 소비자 GPU 한 장에서 돈다”는 결론은 틀리다. 원본 모델을 자체 호스팅하려면 전체 전문가 가중치의 저장·메모리 이동, KV 캐시, 정밀도와 양자화 방식까지 감당해야 한다. 로컬 운영이 목적이라면 원본 R1과 7B·14B·32B·70B R1-Distill 모델을 구분해야 한다.

R1-Zero와 R1은 같은 학습법이 아니다

R1 보고서의 중요한 실험은 두 단계로 읽어야 한다.

1. R1-Zero는 지도 미세조정(SFT) 없이 베이스 모델에 강화학습을 적용해 긴 추론, 재검토, 대안 탐색 같은 행동이 나타날 수 있음을 보였다. 동시에 가독성 저하와 언어 혼용 문제가 있었다.
2. R1은 소량의 콜드 스타트 데이터로 출발한 뒤 추론 중심 RL, 거부 샘플링으로 만든 데이터와 일반 데이터의 SFT, 최종 RL을 거쳤다. 즉, 최종 R1을 “라벨 데이터 없이 RL만으로 만든 모델”이라고 설명하면 부정확하다.

GRPO(Group Relative Policy Optimization)는 같은 질문에서 생성한 답변 그룹의 상대 보상을 이용해 기준선을 추정한다. PPO에서 쓰는 별도 가치 모델을 두지 않아 RL 학습의 메모리 부담을 낮추는 선택이다. 하지만 이것만으로 모델이 답을 항상 “자가 검증”하거나 사실 오류를 자동 제거한다고 볼 수는 없다.

OpenAI o3: 더 오래 생각하는 모델에서 도구를 고르는 모델로

o3의 차별점은 추론 토큰만 늘리는 데 그치지 않는다. OpenAI는 o3와 o4-mini가 웹 검색, Python, 파일·이미지 분석 같은 도구를 추론 과정에서 선택하고 조합하도록 학습했다고 설명한다. API의 o3 스냅샷은 텍스트·이미지 입력, 함수 호출, 구조화 출력을 지원한다.

OpenAI가 공개한 실험에서는 학습 연산과 추론 시간이 늘어날수록 성능이 계속 개선됐다. 그러나 이를 시간에 따라 성능이 선형으로, 무한히 상승한다는 법칙으로 일반화해서는 안 된다. 과제별 한계효용, 지연 시간, 생성 토큰 비용이 다르고 오답을 오래 정교화할 가능성도 있다. 실무에서는 reasoning effort를 품질 스위치가 아니라 비용·지연 시간까지 포함한 실험 변수로 다뤄야 한다.

또한 o3의 원시 Chain of Thought는 사용자에게 공개되지 않는다. OpenAI는 사고 과정 비공개 방침을 사용자 경험, 경쟁 우위, 안전 모니터링 가능성과 연결해 설명한다. 따라서 “비공개 CoT가 증류를 원천 차단한다”거나 “표시된 추론 요약이 내부 사고의 원문”이라고 단정할 근거는 없다.

벤치마크: 공식 숫자도 바로 맞붙이면 안 된다

R1 보고서가 실제로 보여준 것

DeepSeek가 공개한 평가에서 R1은 AIME 2024 pass@1 79.8%, GPQA Diamond 71.5%, SWE-bench Verified 해결률 49.2%를 기록했다. 같은 표의 OpenAI-o1-1217은 각각 79.2%, 75.7%, 48.9%였다. R1이 모든 영역에서 일방적으로 앞선 것이 아니라 수학·코딩에서는 근접하거나 일부 앞서고, GPQA와 Aider-Polyglot 등에서는 뒤지는 혼합 결과다.

이 숫자에도 조건이 붙는다. DeepSeek는 최대 생성 길이 32,768 토큰, temperature 0.6, top-p 0.95를 사용했고, 샘플링이 필요한 벤치마크에서는 질문마다 64개 응답을 생성해 pass@1을 추정했다. “한 번 물어서 얻은 정확도”와 완전히 같은 측정이 아니다.

o3 발표 수치를 R1 옆에 놓기 어려운 이유

OpenAI는 o3가 Codeforces, SWE-bench, MMMU에서 당시 최고 수준을 기록했다고 발표했다. 하지만 공개 페이지의 조건은 R1 보고서와 다르다.

• o3 계열 평가는 높은 reasoning effort에서 실행됐다.
• SWE-bench는 OpenAI 내부 환경에서 검증한 477개 고정 부분집합을 사용했고, 실행할 수 없다고 판단한 23개 문제를 제외했다.
• 일부 수학 점수는 Python 도구를 허용했다. OpenAI도 도구 없는 모델과 직접 비교하면 안 된다고 명시한다.
• 웹 검색이 포함된 평가는 검색 백엔드와 시점에 따라 재현성이 달라질 수 있다.

따라서 공식 자료만으로 “o3가 R1보다 정확히 몇 퍼센트 우수하다”거나 “R1이 o3 성능의 95%를 20분의 1 가격에 낸다”고 계산할 수 없다. 같은 이유로 벤치마크 상승을 환각 감소율로 바꿔 말할 수도 없다. R1의 자체 표에서도 짧은 사실 질의인 SimpleQA 정확도는 30.1%였고 o1-1217은 47.0%였다. 추론 점수와 사실성은 별도로 평가해야 한다.

가격 비교 전에 모델 이름부터 고정하라

OpenAI의 현재 o3 모델 문서는 o3-2025-04-16 스냅샷, 200K 컨텍스트, 입력 100만 토큰당 2달러·출력 100만 토큰당 8달러의 표준 API 가격을 제시한다. 가격은 바뀔 수 있으므로 실제 구매 시 문서를 다시 확인해야 한다.

반면 2026년 7월 26일 기준 DeepSeek 가격 문서의 deepseek-reasoner는 원본 R1 가격표가 아니다. 이 별칭은 7월 24일부터 deepseek-v4-flash의 사고 모드 호환 이름이 됐다. 지금 표시된 DeepSeek API 단가를 R1 단가로 가져와 o3와 비교하면 모델과 시점이 모두 어긋난다.

자체 호스팅 R1의 비용도 토큰 단가 하나로 끝나지 않는다. 다음 식으로 비교해야 한다.

총비용 = GPU·전력·스토리지 + 서빙·모니터링 인력 + 유휴 용량 + 장애 대응 + 모델 업데이트 비용

민감 데이터 때문에 외부 API를 사용할 수 없거나 사용량이 안정적으로 매우 크다면 자체 운영의 통제력이 중요해진다. 트래픽이 불규칙하고 팀이 모델 서빙을 운영하지 않으려면 API의 단순성이 더 큰 가치일 수 있다.

어떤 선택이 맞나: 제품 요구사항으로 결정하기

R1 계열이 유리한 경우

• 가중치를 내려받아 폐쇄망이나 자체 인프라에서 운영해야 한다.
• 모델 수정, 증류, 추론 로그 연구가 제품의 핵심이다.
• 데이터 경로와 버전 고정을 직접 통제해야 한다.
• 원본 671B MoE 또는 적절한 Distill 모델을 운영할 역량이 있다.

o3 같은 호스팅 모델이 유리한 경우

• 이미지 입력과 함수 호출을 포함한 도구 사용을 빠르게 제품화해야 한다.
• 모델 서빙보다 애플리케이션 개발에 팀 역량을 집중하려 한다.
• 고난도 요청의 낮은 처리량과 높은 요청당 비용을 감수할 수 있다.
• 비공개 가중치, 공급자 정책과 서비스 의존성을 받아들일 수 있다.

2026년 신규 도입이라면

R1과 o3를 그대로 최종 후보로 고정하기보다, 이 둘을 기준선으로 두고 각 공급자의 최신 모델을 포함해 다시 평가하는 편이 합리적이다. o3는 공식적으로 후속 세대가 나왔고 DeepSeek의 호스팅 API도 R1 이후로 이동했다. 반대로 재현 연구나 기존 시스템 유지보수라면 DeepSeek-R1 가중치 리비전과 o3-2025-04-16처럼 버전을 고정해야 비교가 의미 있다.

팀에서 재현 가능한 비교표를 만드는 법

공개 리더보드보다 작은 사내 평가가 의사결정에 더 유용할 때가 많다.

1. 실제 업무에서 익명화한 50~200개 문제와 채점 기준을 만든다.
2. 모델 이름이 아니라 정확한 가중치 리비전·API 스냅샷을 기록한다.
3. 도구 없음과 동일 도구 허용 시나리오를 분리한다.
4. 프롬프트, 추론 강도, 샘플 수, 최대 출력 길이를 고정한다.
5. 정확도와 함께 p50/p95 지연 시간, 입력·출력·추론 토큰, 재시도율, 작업당 총비용을 기록한다.
6. 사실 오류, 지시 불이행, 형식 오류, 도구 오류를 따로 분류한다.

최종 선택은 “벤치마크 1위”가 아니라 요구 정확도를 만족하는 후보 중 데이터·운영·비용 제약에 가장 잘 맞는 모델이어야 한다. DeepSeek R1의 핵심 가치는 가중치 통제와 효율적인 RL 파이프라인이고, o3의 핵심 가치는 호스팅된 멀티모달·도구 추론이다. 둘의 차이는 지능의 단일 순위보다 제품을 어디까지 직접 소유하고 운영할 것인가에 가깝다.

공식 자료

• DeepSeek-R1 기술 보고서
• DeepSeek-R1 공식 저장소·모델 표·평가 조건
• DeepSeek API의 현재 모델과 가격
• OpenAI o3 및 o4-mini 출시 자료
• OpenAI o3 및 o4-mini 시스템 카드
• OpenAI o3 API 모델 문서
• OpenAI의 원시 Chain of Thought 비공개 설명