Statistics of Common Crawl Monthly Archives

Number of pages, distribution of top-level domains, crawl overlaps, etc. - basic metrics about Common Crawl Monthly Crawl Archives
Latest crawl: CC-MAIN-2026-30

View the Project on GitHub

Distribution of Languages

The language of a document is identified by Compact Language Detector 2 (CLD2). It is able to identify 160 different languages and up to 3 languages per document. The table lists the percentage covered by the primary language of a document (returned first by CLD2). So far, only HTML pages are passed to the language detector. The underlying data including page counts is provided in languages.csv.

crawl CC-MAIN-2026-21 CC-MAIN-2026-25 CC-MAIN-2026-30
language
<unknown> 3.2437 3.1758 3.2020
aar 0.0001 0.0001 0.0001
abk 0.0005 0.0006 0.0006
afr 0.0078 0.0089 0.0078
aka 0.0002 0.0002 0.0004
amh 0.0042 0.0041 0.0037
ara 0.6526 0.6582 0.6548
asm 0.0027 0.0030 0.0046
aym 0.0001 0.0001 0.0001
aze 0.0612 0.0621 0.0620
bak 0.0033 0.0035 0.0031
bel 0.0159 0.0154 0.0158
ben 0.1076 0.1096 0.1096
bih 0.0007 0.0007 0.0006
bis 0.0002 0.0002 0.0002
bod 0.0014 0.0011 0.0012
bos 0.0614 0.0622 0.0595
bre 0.0016 0.0022 0.0021
bul 0.3301 0.3008 0.2808
cat 0.2058 0.2116 0.2065
ceb 0.0017 0.0022 0.0016
ces 1.1589 1.1714 1.1646
chr 0.0000 0.0000 0.0000
cos 0.0027 0.0029 0.0029
crs 0.0001 0.0001 0.0001
cym 0.0103 0.0101 0.0107
dan 0.5270 0.5347 0.5273
deu 5.9710 5.8913 5.9862
div 0.0023 0.0025 0.0026
dzo 0.0001 0.0001 0.0001
ell 0.5559 0.5153 0.5595
eng 40.8514 40.8168 40.5782
epo 0.0078 0.0068 0.0073
est 0.1428 0.1407 0.1395
eus 0.0380 0.0391 0.0378
fao 0.0053 0.0054 0.0055
fas 0.2893 0.5191 0.7039
fij 0.0001 0.0001 0.0001
fin 0.3877 0.3788 0.3841
fra 4.7469 4.7658 4.8032
fry 0.0023 0.0019 0.0023
gla 0.0019 0.0018 0.0017
gle 0.0072 0.0066 0.0063
glg 0.0325 0.0332 0.0323
glv 0.0007 0.0007 0.0008
got 0.0000 0.0000 0.0000
grn 0.0008 0.0008 0.0008
guj 0.0122 0.0125 0.0142
hat 0.0027 0.0023 0.0028
hau 0.0031 0.0030 0.0026
haw 0.0008 0.0008 0.0007
heb 0.2552 0.2678 0.2515
hin 0.2206 0.2258 0.2223
hmn 0.0007 0.0008 0.0007
hrv 0.2251 0.2211 0.2230
hun 0.5359 0.5319 0.5271
hye 0.0322 0.0308 0.0339
ibo 0.0012 0.0013 0.0012
iku 0.0005 0.0004 0.0005
ile 0.0004 0.0004 0.0003
ina 0.0007 0.0007 0.0007
ind 1.1482 1.1602 1.0851
ipk 0.0001 0.0001 0.0001
isl 0.0359 0.0390 0.0338
ita 2.4701 2.4336 2.4867
jav 0.0027 0.0033 0.0029
jpn 5.4735 5.4849 5.3160
kal 0.0009 0.0009 0.0009
kan 0.0179 0.0181 0.0160
kas 0.0000 0.0000 0.0000
kat 0.0445 0.0462 0.0448
kaz 0.0353 0.0405 0.0469
kha 0.0003 0.0004 0.0004
khm 0.0116 0.0106 0.0119
kin 0.0026 0.0028 0.0028
kir 0.0123 0.0122 0.0127
kor 0.8197 0.8342 0.8429
kur 0.0067 0.0062 0.0064
lao 0.0054 0.0050 0.0044
lat 0.1076 0.1018 0.1035
lav 0.0907 0.0906 0.0902
lif 0.0000 0.0000 0.0000
lin 0.0004 0.0005 0.0006
lit 0.1751 0.1798 0.1732
ltz 0.0041 0.0040 0.0038
lug 0.0003 0.0003 0.0004
mal 0.0256 0.0249 0.0236
mar 0.0300 0.0305 0.0300
mfe 0.0002 0.0002 0.0002
mkd 0.0389 0.0387 0.0376
mlg 0.0046 0.0044 0.0034
mlt 0.0032 0.0032 0.0032
mon 0.0157 0.0163 0.0155
mri 0.0015 0.0017 0.0018
msa 0.0861 0.0894 0.0897
mya 0.0165 0.0154 0.0167
nau 0.0000 0.0000 0.0000
nep 0.0575 0.0632 0.0611
nld 1.8258 1.8427 1.8179
nno 0.0139 0.0137 0.0140
nor 0.3303 0.3332 0.3372
nso 0.0001 0.0001 0.0001
nya 0.0008 0.0008 0.0008
oci 0.0037 0.0038 0.0035
ori 0.0071 0.0074 0.0073
orm 0.0006 0.0007 0.0006
pan 0.0085 0.0088 0.0085
pol 2.0603 2.0313 2.0439
por 2.4810 2.5055 2.5152
pus 0.0041 0.0042 0.0039
que 0.0008 0.0008 0.0009
roh 0.0018 0.0013 0.0014
ron 0.5765 0.5819 0.5695
run 0.0001 0.0001 0.0001
rus 6.4058 6.5756 6.8217
sag 0.0005 0.0005 0.0004
san 0.0030 0.0029 0.0034
sco 0.0007 0.0007 0.0007
sin 0.0094 0.0095 0.0094
slk 0.4013 0.4209 0.4074
slv 0.1511 0.1492 0.1431
smo 0.0008 0.0008 0.0007
sna 0.0009 0.0009 0.0011
snd 0.0018 0.0019 0.0023
som 0.0052 0.0053 0.0055
sot 0.0008 0.0007 0.0007
spa 4.7388 4.6772 4.6418
sqi 0.0497 0.0511 0.0498
srp 0.2649 0.2480 0.2396
ssw 0.0001 0.0000 0.0001
sun 0.0016 0.0013 0.0018
sux 0.0000 0.0000 0.0000
swa 0.0110 0.0105 0.0117
swe 0.7152 0.7336 0.7361
syr 0.0003 0.0003 0.0004
tam 0.0460 0.0489 0.0488
tat 0.0074 0.0079 0.0075
tel 0.0203 0.0206 0.0200
tgk 0.0059 0.0060 0.0060
tgl 0.0104 0.0107 0.0114
tha 0.3901 0.3750 0.3697
tir 0.0008 0.0006 0.0005
ton 0.0001 0.0001 0.0001
tsn 0.0002 0.0002 0.0002
tso 0.0001 0.0001 0.0001
tuk 0.0037 0.0034 0.0032
tur 1.2807 1.2865 1.3455
uig 0.0015 0.0015 0.0029
ukr 0.8066 0.8002 0.7955
urd 0.0315 0.0335 0.0330
uzb 0.0254 0.0274 0.0312
ven 0.0000 0.0000 0.0000
vie 1.0742 1.0335 1.0586
vol 0.0005 0.0013 0.0004
war 0.0016 0.0017 0.0017
wol 0.0002 0.0002 0.0002
xho 0.0009 0.0008 0.0009
yid 0.0015 0.0016 0.0016
yor 0.0015 0.0015 0.0016
zha 0.0001 0.0001 0.0001
zho 4.7259 4.5771 4.4292
zul 0.0013 0.0014 0.0015