Contamination Map Methodology

Text / LLM / Benchmark

Classic LLM benchmarks

Commonly reported LLM benchmarks; grouping used on this site, not an official suite. Covers knowledge (MMLU), math (GSM8K, MATH), code (HumanEval), science QA (ARC-Challenge), commonsense (HellaSwag, WinoGrande) and truthfulness (TruthfulQA).

Test split: Split usually evaluated (as configured in EleutherAI lm-evaluation-harness, which uses the test split when defined, otherwise validation): MMLU test (14,042 in cais/mmlu; 5-shot from dev); GSM8K test (1,319); MATH test (5,000; many recent reports use MATH-500 instead); HumanEval all 164 problems (only split); ARC-Challenge test (1,172); HellaSwag validation (10,042; harness test_split is null); TruthfulQA validation (817; only split); WinoGrande validation/dev of winogrande_xl (1,267; test labels are not released).

Contamination matrix

Dataset BLOOMClaude 3 (Opus, Sonnet, Haiku)Claude 3.5 SonnetClaude 3.7 SonnetClaude Fable 5 / Claude Mythos 5Claude Mythos PreviewClaude Opus 4 and Claude Sonnet 4Claude Opus 4.5Claude Opus 5Claude Sonnet 5DCLM-7B (DCLM-Baseline-7B)DCLM-7B-IT (DCLM-IT-7B)DeepSeek-R1DeepSeek-R1-0528DeepSeek-R1-DistillDeepSeek-V3DeepSeek-V3-0324DeepSeek-V3.1DeepSeek-V3.2DeepSeek-V3.2-ExpDeepSeek-V4 (Pro / Flash)DeepSeek-V4.1-FlashGemini 1.5 (Pro, Flash)Gemini 2.5 (Pro, Flash)Gemini 3 ProGemini 4 ArgonGemma 2Gemma 3Gemma 3nGemma 4GPT-4GPT-4oGPT-5GPT-5.2GPT-6 Astragpt-ossInternVL3InternVL3.5K2-HorizonK2-V2Llama 2Llama 3.1Llama 3.2 (1B, 3B)Llama 3.2-Vision (11B, 90B)Llama 3.3 70BLlama 4 (Scout, Maverick)LLaVA-OneVisionLLaVA-OneVision-1.5LLM360 AmberLLM360 K2-65B (K2 Diamond)Meta Llama 3Ministral 3Mistral 7BMistral Large 3Mistral Medium 3.5Mistral Small 4Mixtral 8x7BMolmo (0924)Molmo2OLMo (February 2024)OLMo 2 (November 2024)Olmo 3Olmo 3.1Olmo Hybrid 7BOpenAI o1OpenAI o3Phi-3 (mini / small / medium)Phi-3.5 (mini / MoE)Phi-4Phi-4-miniPhi-4-mini-flash-reasoningPhi-4-mini-reasoningPhi-4-reasoning / Phi-4-reasoning-plusPhi-mini-MoE / Phi-tiny-MoE (SlimMoE)Pixtral 12BPixtral LargePythiaPythia (deduplicated)Qwen2.5Qwen2.5-VLQwen3Qwen3-2507 (Instruct-2507 / Thinking-2507)Qwen3-NextQwen3-VLQwen3.5Qwen3.6Qwen3.8Qwen3.8-Flash-NextSmolLM2SmolLM3
MMLU (Measuring Massive Multitask Language Understanding) ? ? ? ? ? ? ? No ? ? Test Test No ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? Test ? ? ? ? ? ? ? ? ? Test Test ? ? ? ? ? ? ? Test ? ? ? ? ? ? ? ? ? ? Test ? ? ? ? ? ? ? No ? ? ? ? ? ? ? Test Test ? ? ? ? ? ? ? ? ? ? Test ?
GSM8K (Grade School Math 8K) ? ? ? ? ? ? ? ? ? ? Test ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? Test ? ? ? ? ? ? ? ? ? ? Test ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? Train ? ? ? ? ? ? ? No ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? Train ?
MATH (Mathematics Aptitude Test of Heuristics) ? ? ? ? ? ? ? ? ? ? Test ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? Train ? ? ? ? ? Rel. ? ? ? ? Test ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? Train ? ? ? ? ? ? ? No ? ? ? ? ? ? ? ? ? Rel. Rel. ? ? ? ? ? ? ? ? Train ?
HumanEval ? ? ? ? ? ? ? ? ? ? Test ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? Test ? ? ? ? ? ? ? ? ? ? Test ? ? ? ? ? ? ? Test ? ? ? ? ? ? ? ? ? Test ? ? ? ? ? ? ? ? No ? ? ? ? ? ? ? Test Test ? ? ? ? ? ? ? ? ? ? ? ?
ARC-Challenge (AI2 Reasoning Challenge, Challenge Set) ? ? ? ? ? ? ? ? ? ? Test Test ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? Test ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? Test ? ? ? ? ? ? ? No ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? Test ?
HellaSwag ? ? ? ? ? ? ? ? ? ? Test Test ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? No ? ? ? ? ? ? ? ? ? Test Test ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? Test ? ? ? ? ? ? ? No ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? Test ?
TruthfulQA ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?
WinoGrande ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? Test ? ? ? ? ? ? ? ? ? ? Test ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? No ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?

Hover a cell for the reason; click it for the evidence.

Notes

Membership chosen by this site.

Sources