Statistics of Common Crawl Monthly Archives

Number of pages, distribution of top-level domains, crawl overlaps, etc. - basic metrics about Common Crawl Monthly Crawl Archives
Latest crawl: CC-MAIN-2026-34

View the Project on GitHub

Distribution of Languages

The language of a document is identified by Compact Language Detector 2 (CLD2). It is able to identify 160 different languages and up to 3 languages per document. The table lists the percentage covered by the primary language of a document (returned first by CLD2). So far, only HTML pages are passed to the language detector. The underlying data including page counts is provided in languages.csv.

crawl CC-MAIN-2026-25 CC-MAIN-2026-30 CC-MAIN-2026-34
language
<unknown> 3.1758 3.2020 3.2480
aar 0.0001 0.0001 0.0001
abk 0.0006 0.0006 0.0007
afr 0.0089 0.0078 0.0082
aka 0.0002 0.0004 0.0003
amh 0.0041 0.0037 0.0046
ara 0.6582 0.6548 0.6677
asm 0.0030 0.0046 0.0031
aym 0.0001 0.0001 0.0001
aze 0.0621 0.0620 0.0617
bak 0.0035 0.0031 0.0034
bel 0.0154 0.0158 0.0172
ben 0.1096 0.1096 0.1084
bih 0.0007 0.0006 0.0006
bis 0.0002 0.0002 0.0001
bod 0.0011 0.0012 0.0012
bos 0.0622 0.0595 0.0641
bre 0.0022 0.0021 0.0024
bul 0.3008 0.2808 0.2903
cat 0.2116 0.2065 0.2049
ceb 0.0022 0.0016 0.0016
ces 1.1714 1.1646 1.1458
chr 0.0000 0.0000 0.0000
cos 0.0029 0.0029 0.0029
crs 0.0001 0.0001 0.0001
cym 0.0101 0.0107 0.0111
dan 0.5347 0.5273 0.5240
deu 5.8913 5.9862 5.9083
div 0.0025 0.0026 0.0025
dzo 0.0001 0.0001 0.0001
ell 0.5153 0.5595 0.5490
eng 40.8168 40.5782 40.4526
epo 0.0068 0.0073 0.0082
est 0.1407 0.1395 0.1466
eus 0.0391 0.0378 0.0374
fao 0.0054 0.0055 0.0053
fas 0.5191 0.7039 0.7603
fij 0.0001 0.0001 0.0001
fin 0.3788 0.3841 0.3823
fra 4.7658 4.8032 4.8476
fry 0.0019 0.0023 0.0020
gla 0.0018 0.0017 0.0019
gle 0.0066 0.0063 0.0069
glg 0.0332 0.0323 0.0339
glv 0.0007 0.0008 0.0008
got 0.0000 0.0000 0.0000
grn 0.0008 0.0008 0.0010
guj 0.0125 0.0142 0.0127
hat 0.0023 0.0028 0.0028
hau 0.0030 0.0026 0.0034
haw 0.0008 0.0007 0.0008
heb 0.2678 0.2515 0.2666
hin 0.2258 0.2223 0.2144
hmn 0.0008 0.0007 0.0010
hrv 0.2211 0.2230 0.2219
hun 0.5319 0.5271 0.5341
hye 0.0308 0.0339 0.0320
ibo 0.0013 0.0012 0.0014
iku 0.0004 0.0005 0.0004
ile 0.0004 0.0003 0.0003
ina 0.0007 0.0007 0.0007
ind 1.1602 1.0851 1.1182
ipk 0.0001 0.0001 0.0001
isl 0.0390 0.0338 0.0346
ita 2.4336 2.4867 2.4624
jav 0.0033 0.0029 0.0031
jpn 5.4849 5.3160 5.2484
kal 0.0009 0.0009 0.0009
kan 0.0181 0.0160 0.0151
kas 0.0000 0.0000 0.0000
kat 0.0462 0.0448 0.0464
kaz 0.0405 0.0469 0.0458
kha 0.0004 0.0004 0.0004
khm 0.0106 0.0119 0.0110
kin 0.0028 0.0028 0.0029
kir 0.0122 0.0127 0.0116
kor 0.8342 0.8429 0.8500
kur 0.0062 0.0064 0.0071
lao 0.0050 0.0044 0.0061
lat 0.1018 0.1035 0.1040
lav 0.0906 0.0902 0.0911
lif 0.0000 0.0000 0.0000
lin 0.0005 0.0006 0.0005
lit 0.1798 0.1732 0.1756
ltz 0.0040 0.0038 0.0038
lug 0.0003 0.0004 0.0004
mal 0.0249 0.0236 0.0238
mar 0.0305 0.0300 0.0267
mfe 0.0002 0.0002 0.0002
mkd 0.0387 0.0376 0.0396
mlg 0.0044 0.0034 0.0041
mlt 0.0032 0.0032 0.0032
mon 0.0163 0.0155 0.0162
mri 0.0017 0.0018 0.0014
msa 0.0894 0.0897 0.0860
mya 0.0154 0.0167 0.0164
nau 0.0000 0.0000 0.0000
nep 0.0632 0.0611 0.0596
nld 1.8427 1.8179 1.7762
nno 0.0137 0.0140 0.0142
nor 0.3332 0.3372 0.3313
nso 0.0001 0.0001 0.0001
nya 0.0008 0.0008 0.0009
oci 0.0038 0.0035 0.0033
ori 0.0074 0.0073 0.0071
orm 0.0007 0.0006 0.0007
pan 0.0088 0.0085 0.0089
pol 2.0313 2.0439 2.0638
por 2.5055 2.5152 2.5263
pus 0.0042 0.0039 0.0043
que 0.0008 0.0009 0.0009
roh 0.0013 0.0014 0.0014
ron 0.5819 0.5695 0.5926
run 0.0001 0.0001 0.0002
rus 6.5756 6.8217 6.8659
sag 0.0005 0.0004 0.0005
san 0.0029 0.0034 0.0034
sco 0.0007 0.0007 0.0006
sin 0.0095 0.0094 0.0089
slk 0.4209 0.4074 0.4131
slv 0.1492 0.1431 0.1553
smo 0.0008 0.0007 0.0008
sna 0.0009 0.0011 0.0011
snd 0.0019 0.0023 0.0023
som 0.0053 0.0055 0.0056
sot 0.0007 0.0007 0.0007
spa 4.6772 4.6418 4.6257
sqi 0.0511 0.0498 0.0502
srp 0.2480 0.2396 0.2671
ssw 0.0000 0.0001 0.0000
sun 0.0013 0.0018 0.0014
sux 0.0000 0.0000 0.0000
swa 0.0105 0.0117 0.0117
swe 0.7336 0.7361 0.7245
syr 0.0003 0.0004 0.0004
tam 0.0489 0.0488 0.0449
tat 0.0079 0.0075 0.0075
tel 0.0206 0.0200 0.0199
tgk 0.0060 0.0060 0.0072
tgl 0.0107 0.0114 0.0121
tha 0.3750 0.3697 0.3740
tir 0.0006 0.0005 0.0011
ton 0.0001 0.0001 0.0001
tsn 0.0002 0.0002 0.0003
tso 0.0001 0.0001 0.0001
tuk 0.0034 0.0032 0.0033
tur 1.2865 1.3455 1.3598
uig 0.0015 0.0029 0.0018
ukr 0.8002 0.7955 0.8371
urd 0.0335 0.0330 0.0322
uzb 0.0274 0.0312 0.0313
ven 0.0000 0.0000 0.0000
vie 1.0335 1.0586 1.0750
vol 0.0013 0.0004 0.0012
war 0.0017 0.0017 0.0016
wol 0.0002 0.0002 0.0002
xho 0.0008 0.0009 0.0010
yid 0.0016 0.0016 0.0017
yor 0.0015 0.0016 0.0017
zha 0.0001 0.0001 0.0001
zho 4.5771 4.4292 4.3829
zul 0.0014 0.0015 0.0017