Contamination Map Methodology

Text / LLM / Benchmark

Recent LLM benchmarks

Commonly reported LLM benchmarks; grouping used on this site, not an official suite. Harder reasoning, math, science and coding benchmarks typical of 2024-2026 model reports.

Test split: GPQA Diamond: all 198 questions (no train/test split). MMLU-Pro: test (12,032; the 70-question validation split supplies few-shot examples). LiveCodeBench: code-generation problems inside a release-date window (this site: release_v6, May 2023 - Apr 2025, 1,055 problems; reports often use a later sub-window). SWE-bench Verified: the 500-instance test set. AIME 2024 / AIME 2025: all 30 problems of AIME I and II. MATH-500: the 500-problem test.jsonl from PRM800K.

Contamination matrix

Dataset BLOOMClaude 3 (Opus, Sonnet, Haiku)Claude 3.5 SonnetClaude 3.7 SonnetClaude Fable 5 / Claude Mythos 5Claude Mythos PreviewClaude Opus 4 and Claude Sonnet 4Claude Opus 4.5Claude Opus 5Claude Sonnet 5DCLM-7B (DCLM-Baseline-7B)DCLM-7B-IT (DCLM-IT-7B)DeepSeek-R1DeepSeek-R1-0528DeepSeek-R1-DistillDeepSeek-V3DeepSeek-V3-0324DeepSeek-V3.1DeepSeek-V3.2DeepSeek-V3.2-ExpDeepSeek-V4 (Pro / Flash)DeepSeek-V4.1-FlashGemini 1.5 (Pro, Flash)Gemini 2.5 (Pro, Flash)Gemini 3 ProGemini 4 ArgonGemma 2Gemma 3Gemma 3nGemma 4GPT-4GPT-4oGPT-5GPT-5.2GPT-6 Astragpt-ossInternVL3InternVL3.5K2-HorizonK2-V2Llama 2Llama 3.1Llama 3.2 (1B, 3B)Llama 3.2-Vision (11B, 90B)Llama 3.3 70BLlama 4 (Scout, Maverick)LLaVA-OneVisionLLaVA-OneVision-1.5LLM360 AmberLLM360 K2-65B (K2 Diamond)Meta Llama 3Ministral 3Mistral 7BMistral Large 3Mistral Medium 3.5Mistral Small 4Mixtral 8x7BMolmo (0924)Molmo2OLMo (February 2024)OLMo 2 (November 2024)Olmo 3Olmo 3.1Olmo Hybrid 7BOpenAI o1OpenAI o3Phi-3 (mini / small / medium)Phi-3.5 (mini / MoE)Phi-4Phi-4-miniPhi-4-mini-flash-reasoningPhi-4-mini-reasoningPhi-4-reasoning / Phi-4-reasoning-plusPhi-mini-MoE / Phi-tiny-MoE (SlimMoE)Pixtral 12BPixtral LargePythiaPythia (deduplicated)Qwen2.5Qwen2.5-VLQwen3Qwen3-2507 (Instruct-2507 / Thinking-2507)Qwen3-NextQwen3-VLQwen3.5Qwen3.6Qwen3.8Qwen3.8-Flash-NextSmolLM2SmolLM3
GPQA Diamond ? ? ? ? ? ? ? ? ? ? ? ? No ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?
MMLU-Pro ? ? ? ? ? ? ? ? ? ? Test Test No ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? Rel. ? ? ? ? ? ? ? ? ? Rel. Test ? ? ? ? ? ? ? Rel. ? ? ? ? ? ? ? ? ? ? Test ? ? ? ? ? ? ? No ? ? ? ? ? ? ? Rel. Rel. ? ? ? ? ? ? ? ? ? ? Test ?
LiveCodeBench (code generation, release_v6) ? ? ? ? ? ? ? ? ? ? ? ? No ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? No ? ? ? ? ? ? ? ? ? No ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? No ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?
SWE-bench Verified ? ? ? ? ? Test ? Test ? ? ? ? No ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? Test ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? Test ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?
AIME 2024 ? No ? ? ? ? ? ? ? ? ? ? No ? ? ? ? ? ? ? ? ? No ? ? ? ? ? ? ? No No ? ? ? ? Test ? ? Test No No No No No ? ? ? ? ? No ? ? ? ? ? ? ? ? No No ? ? ? No ? No No ? ? ? ? ? No ? ? ? ? Test Test ? ? ? ? ? ? ? ? ? ?
AIME 2025 ? No No No ? ? ? Test ? ? ? ? No ? ? No ? ? ? ? ? ? No No No ? ? No No No No No No ? ? No ? ? ? ? No No No No No No ? ? ? ? No ? ? ? No No ? ? ? No No No No No No No No No No No No No No No ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?
MATH-500 ? ? ? ? ? ? ? ? ? ? Rel. ? No ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? Rel. ? ? ? ? ? Test ? ? ? ? Rel. ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? Rel. ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? Test Test ? ? ? ? ? ? ? ? Rel. ?

Hover a cell for the reason; click it for the evidence.

Notes

Membership chosen by this site.

Sources