Top-Level Domains of Selected Crawls

Just the distribution (percentage / relative frequency) of URLs on top-level domains for few selected crawls, include the latest monthly crawl… Only TLDs which reach at least 0.05% in one of the selected crawls are shown.

crawl	CC-MAIN-2008-2009	CC-MAIN-2012	CC-MAIN-2014-10	CC-MAIN-2016-30	CC-MAIN-2019-09	CC-MAIN-2022-49	CC-MAIN-2026-12
tld
ae	0.0010	0.0101	0.0123	0.0099	0.0266	0.0452	0.0745
ai	0.0000	0.0004	0.0000	0.0000	0.0049	0.0257	0.1322
app	NaN	NaN	NaN	NaN	0.0054	0.0991	0.1398
ar	0.0818	0.2379	0.0991	0.0782	0.2121	0.3143	0.3758
at	0.0025	0.3795	0.0632	0.1555	0.4175	0.4890	0.4989
au	0.6008	0.9930	0.4578	0.5643	0.9369	0.2561	0.9376
az	0.0002	0.0060	0.0012	0.0031	0.0393	0.0407	0.0562
ba	0.0014	0.0101	0.0020	0.0028	0.0244	0.0377	0.0572
be	0.0024	0.3970	0.0564	0.1547	0.4497	0.6206	0.5773
bg	0.0010	0.0379	0.0078	0.0161	0.1108	0.1413	0.1471
biz	0.5548	0.3745	0.0384	0.0532	0.2749	0.1651	0.1438
blog	NaN	NaN	NaN	NaN	0.0886	0.1750	0.0455
br	0.3366	0.7638	0.2175	0.2958	1.1820	0.3424	1.7985
by	0.0023	0.0352	0.0009	0.0138	0.2154	0.1633	0.2271
ca	0.0141	0.6896	0.4689	0.5205	0.7430	0.9766	0.8853
cat	0.0004	0.0495	0.0103	0.0150	0.0926	0.1413	0.1276
cc	0.0035	0.0956	0.0404	0.1105	0.1023	0.1143	0.1727
ch	0.0033	0.5263	0.1018	0.2150	0.5638	0.6394	0.6856
cl	0.0010	0.0834	0.0660	0.0633	0.1189	0.2032	0.2447
club	NaN	NaN	0.0000	0.0004	0.0990	0.0749	0.0663
cn	1.0882	0.4206	0.0157	0.3095	0.8911	0.7130	1.4132
co	0.0165	0.0453	0.0328	0.0638	0.4111	0.4344	0.4402
com	71.2778	55.7749	74.6849	69.1667	46.4899	48.5786	42.6564
cz	0.0065	0.7823	0.0480	0.2278	1.0364	1.1046	1.1370
de	0.0523	4.8420	0.7004	1.5103	4.0362	4.4973	4.5301
dk	0.0033	0.3703	0.0803	0.1524	0.3843	0.4507	0.5336
edu	1.2782	0.6178	3.0891	2.9471	0.6384	1.5060	0.8819
ee	0.0003	0.0481	0.0058	0.0134	0.1142	0.1539	0.1683
es	0.0339	0.6736	0.1764	0.2350	0.8841	1.0314	0.9426
eu	0.0045	0.4587	0.1181	0.1841	0.7727	0.7488	0.7492
fi	0.0009	0.1756	0.0262	0.0514	0.2874	0.3941	0.3590
fm	0.0001	0.0631	0.0582	0.0879	0.0401	0.0665	0.0491
fr	0.0197	1.3197	0.2698	0.4409	1.6451	1.9846	1.9153
ge	0.0005	0.0064	0.0069	0.0089	0.0325	0.0380	0.0527
gov	0.3797	0.2691	1.6172	1.5327	0.2409	0.4899	0.4293
gr	0.0014	0.1162	0.0574	0.0765	0.3998	0.5673	0.5168
hk	0.0355	0.0431	0.0170	0.0253	0.0783	0.1074	0.1161
hr	0.0034	0.0683	0.0136	0.0279	0.0949	0.1503	0.1652
hu	0.0025	0.3731	0.0466	0.0971	0.4631	0.5872	0.5136
id	0.0006	0.0648	0.0556	0.0675	0.1579	0.2769	0.4289
ie	0.0017	0.1183	0.0746	0.0920	0.1359	0.2019	0.1432
il	0.0136	0.0864	0.0216	0.0395	0.1694	0.0430	0.2109
in	0.0100	0.2149	0.1058	0.1037	0.4125	0.5467	0.6780
info	1.8063	1.3288	0.1827	0.2468	1.4360	0.7174	0.6162
int	0.0000	0.0135	0.0739	0.0816	0.0166	0.0328	0.0212
io	NaN	0.0049	0.0128	0.0189	0.1390	0.2229	0.3236
ir	0.0007	0.0553	0.0141	0.0144	0.3395	0.3408	0.0736
is	0.0001	0.0345	0.0379	0.0362	0.0396	0.0564	0.0595
it	0.0439	1.3306	0.2254	0.4405	1.6562	2.0826	1.8625
jp	0.0518	1.1743	0.1047	0.6075	2.1449	1.5356	2.6445
kr	0.0009	0.0780	0.0451	0.0845	0.3447	0.3294	0.4596
kz	0.0003	0.0215	0.0009	0.0096	0.1191	0.1160	0.1484
lt	0.0003	0.0999	0.0063	0.0218	0.1428	0.1666	0.1845
lv	0.0013	0.0609	0.0048	0.0140	0.0987	0.1007	0.1071
md	0.0005	0.0168	0.0016	0.0034	0.0358	0.0423	0.0559
me	0.0000	0.0586	0.0367	0.0557	0.3157	0.2102	0.1877
mx	0.0786	0.1460	0.0752	0.0897	0.1991	0.1443	0.3032
my	0.0302	0.0465	0.0285	0.0413	0.0788	0.1082	0.1248
net	9.1996	5.4502	3.2460	3.4267	4.3639	3.7167	3.1412
news	NaN	NaN	NaN	0.0017	0.0349	0.0820	0.0928
ng	0.0008	0.0013	0.0008	0.0010	0.0359	0.0578	0.0617
nl	0.0073	1.4578	0.1612	0.4425	1.4048	1.8686	1.4875
no	0.0063	0.2375	0.0612	0.0717	0.2697	0.3573	0.3405
nu	0.0001	0.0661	0.0271	0.0208	0.0746	0.0571	0.0533
nz	0.0322	0.2274	0.0710	0.0815	0.2161	0.0694	0.2042
online	NaN	NaN	NaN	0.0013	0.0662	0.1162	0.1337
org	8.1008	6.0303	9.8260	10.5459	5.4647	6.5240	5.6039
pe	0.0155	0.0288	0.0077	0.0153	0.0462	0.0722	0.0879
ph	0.0157	0.0316	0.0106	0.0096	0.0388	0.0558	0.0597
pk	0.0074	0.0141	0.0109	0.0137	0.0410	0.0694	0.0754
pl	0.1857	1.8377	0.0850	0.2665	1.5365	1.6928	1.9437
pro	0.0000	0.0082	0.0011	0.0019	0.0705	0.0862	0.0921
pt	0.0178	0.1074	0.0414	0.0590	0.2079	0.2816	0.3243
ro	0.0191	0.5855	0.0252	0.0918	0.4788	0.5702	0.5660
rs	0.0002	0.0389	0.0074	0.0186	0.0934	0.1485	0.2007
ru	0.0533	1.7328	0.0891	0.6049	6.1090	4.3334	5.0132
se	0.0019	0.5328	0.1348	0.1918	0.7077	0.6306	0.6954
sg	0.0229	0.0486	0.0190	0.0219	0.0636	0.0838	0.0738
shop	NaN	NaN	NaN	0.0000	0.0243	0.1146	0.1534
si	0.0027	0.0569	0.0071	0.0105	0.0895	0.1520	0.1406
sk	0.0010	0.1600	0.0107	0.0502	0.2657	0.3711	0.4063
store	NaN	NaN	NaN	0.0000	0.0090	0.0503	0.0567
su	0.0001	0.0304	0.0025	0.0052	0.1152	0.0839	0.0884
th	0.0003	0.0217	0.0206	0.0316	0.0680	0.0807	0.1176
tk	0.0000	0.0244	0.0015	0.0021	0.0980	0.0441	0.0026
top	NaN	NaN	NaN	0.0001	0.0404	0.0696	0.0919
tr	0.0623	0.1155	0.0503	0.0769	0.1942	0.0918	0.4109
tv	0.0013	0.2583	0.1454	0.1339	0.2392	0.2082	0.2197
tw	0.0923	0.1091	0.0505	0.0985	0.3121	0.1671	0.4282
ua	0.2189	0.4141	0.0099	0.0538	0.9977	0.3663	0.7922
uk	4.0403	3.5018	1.5930	1.6468	2.5168	0.4003	2.0915
us	0.0046	0.4174	0.3288	0.2699	0.3468	0.2397	0.1640
uy	0.0097	0.0156	0.0025	0.0125	0.0224	0.0330	0.0551
vn	0.0136	0.0797	0.0500	0.0666	0.3595	0.5067	0.5943
ws	0.0006	0.0840	0.0109	0.0081	0.0287	0.0174	0.0182
xyz	NaN	NaN	NaN	0.0008	0.1076	0.1504	0.1108
za	0.0126	0.1613	0.0737	0.1455	0.2097	0.0354	0.2097