Statistics of Common Crawl Monthly Archives

Number of pages, distribution of top-level domains, crawl overlaps, etc. - basic metrics about Common Crawl Monthly Crawl Archives
Latest crawl: CC-MAIN-2026-12

View the Project on GitHub

Distribution of Languages

The language of a document is identified by Compact Language Detector 2 (CLD2). It is able to identify 160 different languages and up to 3 languages per document. The table lists the percentage covered by the primary language of a document (returned first by CLD2). So far, only HTML pages are passed to the language detector. The underlying data including page counts is provided in languages.csv.

crawl CC-MAIN-2026-04 CC-MAIN-2026-08 CC-MAIN-2026-12
language
<unknown> 2.9452 3.1475 3.0996
aar 0.0001 0.0001 0.0001
abk 0.0009 0.0007 0.0006
afr 0.0095 0.0073 0.0091
aka 0.0004 0.0003 0.0002
amh 0.0044 0.0040 0.0039
ara 0.6630 0.6367 0.6522
asm 0.0035 0.0029 0.0038
aym 0.0001 0.0001 0.0001
aze 0.0582 0.0568 0.0605
bak 0.0020 0.0035 0.0046
bel 0.0161 0.0158 0.0180
ben 0.1104 0.1038 0.1097
bih 0.0013 0.0007 0.0009
bis 0.0001 0.0002 0.0001
bod 0.0019 0.0013 0.0015
bos 0.0583 0.0543 0.0617
bre 0.0026 0.0032 0.0021
bul 0.2568 0.2639 0.2711
cat 0.2039 0.2073 0.2088
ceb 0.0020 0.0022 0.0021
ces 1.1411 1.1228 1.1453
chr 0.0001 0.0000 0.0000
cos 0.0033 0.0028 0.0027
crs 0.0001 0.0001 0.0001
cym 0.0107 0.0104 0.0108
dan 0.5082 0.4901 0.5249
deu 5.9575 5.7651 5.9818
div 0.0026 0.0023 0.0023
dzo 0.0002 0.0001 0.0001
ell 0.5367 0.5054 0.5494
eng 41.6958 42.6029 41.0588
epo 0.0081 0.0107 0.0104
est 0.1400 0.1371 0.1444
eus 0.0365 0.0416 0.0393
fao 0.0054 0.0048 0.0054
fas 0.1949 0.8777 0.1982
fij 0.0001 0.0001 0.0001
fin 0.3632 0.3425 0.3705
fra 4.6724 4.4567 4.6052
fry 0.0024 0.0027 0.0026
gla 0.0019 0.0019 0.0018
gle 0.0062 0.0065 0.0069
glg 0.0359 0.0358 0.0325
glv 0.0007 0.0006 0.0005
got 0.0001 0.0000 0.0000
grn 0.0009 0.0009 0.0007
guj 0.0125 0.0115 0.0126
hat 0.0022 0.0028 0.0025
hau 0.0039 0.0033 0.0040
haw 0.0008 0.0008 0.0007
heb 0.2544 0.2303 0.2369
hin 0.2238 0.2106 0.2175
hmn 0.0006 0.0007 0.0007
hrv 0.2164 0.1937 0.2144
hun 0.5139 0.4952 0.5299
hye 0.0320 0.0323 0.0344
ibo 0.0019 0.0013 0.0011
iku 0.0004 0.0003 0.0004
ile 0.0003 0.0004 0.0004
ina 0.0007 0.0007 0.0006
ind 1.1485 1.0059 1.0993
ipk 0.0001 0.0001 0.0001
isl 0.0354 0.0395 0.0383
ita 2.4109 2.2823 2.3823
jav 0.0045 0.0030 0.0036
jpn 5.7733 5.6591 5.7207
kal 0.0010 0.0011 0.0011
kan 0.0195 0.0193 0.0179
kas 0.0000 0.0000 0.0000
kat 0.0438 0.0429 0.0460
kaz 0.0376 0.0387 0.0380
kha 0.0003 0.0003 0.0003
khm 0.0112 0.0095 0.0094
kin 0.0026 0.0022 0.0028
kir 0.0106 0.0113 0.0127
kor 0.7923 0.8145 0.8378
kur 0.0065 0.0066 0.0065
lao 0.0053 0.0042 0.0042
lat 0.1164 0.1018 0.1016
lav 0.0900 0.0855 0.0918
lif 0.0000 0.0000 0.0000
lin 0.0005 0.0004 0.0004
lit 0.1749 0.1693 0.1757
ltz 0.0039 0.0034 0.0040
lug 0.0005 0.0003 0.0002
mal 0.0285 0.0275 0.0276
mar 0.0326 0.0314 0.0314
mfe 0.0002 0.0002 0.0002
mkd 0.0362 0.0342 0.0397
mlg 0.0037 0.0056 0.0053
mlt 0.0031 0.0029 0.0031
mon 0.0167 0.0154 0.0161
mri 0.0015 0.0012 0.0012
msa 0.0831 0.0787 0.0824
mya 0.0185 0.0178 0.0168
nau 0.0000 0.0000 0.0000
nep 0.0574 0.0533 0.0529
nld 1.7923 1.6783 1.8094
nno 0.0143 0.0139 0.0146
nor 0.3194 0.3060 0.3370
nso 0.0001 0.0001 0.0001
nya 0.0008 0.0007 0.0007
oci 0.0036 0.0036 0.0040
ori 0.0082 0.0071 0.0071
orm 0.0008 0.0009 0.0006
pan 0.0089 0.0076 0.0091
pol 2.0273 1.9012 2.0425
por 2.4562 2.4098 2.5268
pus 0.0051 0.0044 0.0042
que 0.0010 0.0011 0.0008
roh 0.0015 0.0014 0.0017
ron 0.5339 0.4662 0.5622
run 0.0001 0.0001 0.0001
rus 6.2629 6.1577 6.4899
sag 0.0011 0.0016 0.0007
san 0.0047 0.0052 0.0037
sco 0.0006 0.0007 0.0007
sin 0.0103 0.0099 0.0095
slk 0.3947 0.3924 0.4072
slv 0.1318 0.1229 0.1450
smo 0.0007 0.0007 0.0008
sna 0.0012 0.0008 0.0009
snd 0.0022 0.0024 0.0017
som 0.0059 0.0051 0.0056
sot 0.0007 0.0006 0.0006
spa 4.6206 4.4682 4.6581
sqi 0.0502 0.0499 0.0525
srp 0.2505 0.2306 0.2658
ssw 0.0000 0.0000 0.0000
sun 0.0016 0.0019 0.0017
sux 0.0000 0.0000 0.0000
swa 0.0126 0.0126 0.0140
swe 0.6889 0.6517 0.7275
syr 0.0004 0.0003 0.0003
tam 0.0497 0.0468 0.0487
tat 0.0073 0.0082 0.0089
tel 0.0220 0.0215 0.0250
tgk 0.0069 0.0064 0.0070
tgl 0.0098 0.0098 0.0097
tha 0.3928 0.3740 0.3727
tir 0.0008 0.0007 0.0006
ton 0.0002 0.0001 0.0001
tsn 0.0004 0.0003 0.0001
tso 0.0001 0.0001 0.0001
tuk 0.0036 0.0039 0.0041
tur 1.1990 1.1616 1.2224
uig 0.0020 0.0018 0.0017
ukr 0.6956 0.6678 0.7152
urd 0.0319 0.0321 0.0314
uzb 0.0253 0.0254 0.0258
ven 0.0000 0.0000 0.0000
vie 1.0981 1.0294 1.0914
vol 0.0014 0.0008 0.0015
war 0.0017 0.0019 0.0022
wol 0.0003 0.0003 0.0002
xho 0.0010 0.0009 0.0009
yid 0.0024 0.0022 0.0019
yor 0.0016 0.0015 0.0017
zha 0.0001 0.0001 0.0001
zho 4.9284 4.9960 4.9855
zul 0.0019 0.0012 0.0012