Statistics of Common Crawl Monthly Archives

Number of pages, distribution of top-level domains, crawl overlaps, etc. - basic metrics about Common Crawl Monthly Crawl Archives
Latest crawl: CC-MAIN-2026-21

View the Project on GitHub

Distribution of Languages

The language of a document is identified by Compact Language Detector 2 (CLD2). It is able to identify 160 different languages and up to 3 languages per document. The table lists the percentage covered by the primary language of a document (returned first by CLD2). So far, only HTML pages are passed to the language detector. The underlying data including page counts is provided in languages.csv.

crawl CC-MAIN-2026-12 CC-MAIN-2026-17 CC-MAIN-2026-21
language
<unknown> 3.0996 3.1136 3.2437
aar 0.0001 0.0001 0.0001
abk 0.0006 0.0006 0.0005
afr 0.0091 0.0083 0.0078
aka 0.0002 0.0002 0.0002
amh 0.0039 0.0045 0.0042
ara 0.6522 0.6598 0.6526
asm 0.0038 0.0036 0.0027
aym 0.0001 0.0001 0.0001
aze 0.0605 0.0609 0.0612
bak 0.0046 0.0018 0.0033
bel 0.0180 0.0165 0.0159
ben 0.1097 0.1140 0.1076
bih 0.0009 0.0008 0.0007
bis 0.0001 0.0001 0.0002
bod 0.0015 0.0012 0.0014
bos 0.0617 0.0615 0.0614
bre 0.0021 0.0028 0.0016
bul 0.2711 0.2639 0.3301
cat 0.2088 0.2010 0.2058
ceb 0.0021 0.0020 0.0017
ces 1.1453 1.1493 1.1589
chr 0.0000 0.0000 0.0000
cos 0.0027 0.0028 0.0027
crs 0.0001 0.0001 0.0001
cym 0.0108 0.0113 0.0103
dan 0.5249 0.5324 0.5270
deu 5.9818 5.9033 5.9710
div 0.0023 0.0024 0.0023
dzo 0.0001 0.0001 0.0001
ell 0.5494 0.5787 0.5559
eng 41.0588 41.0204 40.8514
epo 0.0104 0.0082 0.0078
est 0.1444 0.1417 0.1428
eus 0.0393 0.0406 0.0380
fao 0.0054 0.0053 0.0053
fas 0.1982 0.2286 0.2893
fij 0.0001 0.0001 0.0001
fin 0.3705 0.3833 0.3877
fra 4.6052 4.7551 4.7469
fry 0.0026 0.0020 0.0023
gla 0.0018 0.0019 0.0019
gle 0.0069 0.0071 0.0072
glg 0.0325 0.0325 0.0325
glv 0.0005 0.0006 0.0007
got 0.0000 0.0000 0.0000
grn 0.0007 0.0008 0.0008
guj 0.0126 0.0129 0.0122
hat 0.0025 0.0022 0.0027
hau 0.0040 0.0036 0.0031
haw 0.0007 0.0007 0.0008
heb 0.2369 0.2608 0.2552
hin 0.2175 0.2259 0.2206
hmn 0.0007 0.0007 0.0007
hrv 0.2144 0.2178 0.2251
hun 0.5299 0.5477 0.5359
hye 0.0344 0.0327 0.0322
ibo 0.0011 0.0012 0.0012
iku 0.0004 0.0005 0.0005
ile 0.0004 0.0003 0.0004
ina 0.0006 0.0007 0.0007
ind 1.0993 1.2181 1.1482
ipk 0.0001 0.0001 0.0001
isl 0.0383 0.0347 0.0359
ita 2.3823 2.3284 2.4701
jav 0.0036 0.0035 0.0027
jpn 5.7207 5.1572 5.4735
kal 0.0011 0.0009 0.0009
kan 0.0179 0.0177 0.0179
kas 0.0000 0.0000 0.0000
kat 0.0460 0.0448 0.0445
kaz 0.0380 0.0355 0.0353
kha 0.0003 0.0003 0.0003
khm 0.0094 0.0106 0.0116
kin 0.0028 0.0028 0.0026
kir 0.0127 0.0113 0.0123
kor 0.8378 0.8230 0.8197
kur 0.0065 0.0068 0.0067
lao 0.0042 0.0058 0.0054
lat 0.1016 0.1172 0.1076
lav 0.0918 0.0921 0.0907
lif 0.0000 0.0000 0.0000
lin 0.0004 0.0003 0.0004
lit 0.1757 0.1753 0.1751
ltz 0.0040 0.0035 0.0041
lug 0.0002 0.0002 0.0003
mal 0.0276 0.0255 0.0256
mar 0.0314 0.0315 0.0300
mfe 0.0002 0.0001 0.0002
mkd 0.0397 0.0410 0.0389
mlg 0.0053 0.0056 0.0046
mlt 0.0031 0.0034 0.0032
mon 0.0161 0.0151 0.0157
mri 0.0012 0.0014 0.0015
msa 0.0824 0.0839 0.0861
mya 0.0168 0.0164 0.0165
nau 0.0000 0.0000 0.0000
nep 0.0529 0.0626 0.0575
nld 1.8094 1.8420 1.8258
nno 0.0146 0.0147 0.0139
nor 0.3370 0.3405 0.3303
nso 0.0001 0.0001 0.0001
nya 0.0007 0.0007 0.0008
oci 0.0040 0.0038 0.0037
ori 0.0071 0.0073 0.0071
orm 0.0006 0.0006 0.0006
pan 0.0091 0.0095 0.0085
pol 2.0425 2.0935 2.0603
por 2.5268 2.5116 2.4810
pus 0.0042 0.0040 0.0041
que 0.0008 0.0010 0.0008
roh 0.0017 0.0018 0.0018
ron 0.5622 0.6064 0.5765
run 0.0001 0.0001 0.0001
rus 6.4899 6.5262 6.4058
sag 0.0007 0.0006 0.0005
san 0.0037 0.0038 0.0030
sco 0.0007 0.0007 0.0007
sin 0.0095 0.0099 0.0094
slk 0.4072 0.4118 0.4013
slv 0.1450 0.1535 0.1511
smo 0.0008 0.0008 0.0008
sna 0.0009 0.0008 0.0009
snd 0.0017 0.0020 0.0018
som 0.0056 0.0058 0.0052
sot 0.0006 0.0007 0.0008
spa 4.6581 4.7324 4.7388
sqi 0.0525 0.0511 0.0497
srp 0.2658 0.2610 0.2649
ssw 0.0000 0.0000 0.0001
sun 0.0017 0.0015 0.0016
sux 0.0000 0.0000 0.0000
swa 0.0140 0.0123 0.0110
swe 0.7275 0.7308 0.7152
syr 0.0003 0.0003 0.0003
tam 0.0487 0.0464 0.0460
tat 0.0089 0.0071 0.0074
tel 0.0250 0.0226 0.0203
tgk 0.0070 0.0067 0.0059
tgl 0.0097 0.0103 0.0104
tha 0.3727 0.3940 0.3901
tir 0.0006 0.0012 0.0008
ton 0.0001 0.0001 0.0001
tsn 0.0001 0.0002 0.0002
tso 0.0001 0.0001 0.0001
tuk 0.0041 0.0036 0.0037
tur 1.2224 1.2985 1.2807
uig 0.0017 0.0022 0.0015
ukr 0.7152 0.8012 0.8066
urd 0.0314 0.0322 0.0315
uzb 0.0258 0.0247 0.0254
ven 0.0000 0.0000 0.0000
vie 1.0914 1.1284 1.0742
vol 0.0015 0.0014 0.0005
war 0.0022 0.0020 0.0016
wol 0.0002 0.0002 0.0002
xho 0.0009 0.0009 0.0009
yid 0.0019 0.0017 0.0015
yor 0.0017 0.0016 0.0015
zha 0.0001 0.0001 0.0001
zho 4.9855 4.8564 4.7259
zul 0.0012 0.0014 0.0013