Top-Level Domains of Selected Crawls

Just the distribution (percentage / relative frequency) of URLs on top-level domains for few selected crawls, include the latest monthly crawl… Only TLDs which reach at least 0.05% in one of the selected crawls are shown.

crawl	CC-MAIN-2008-2009	CC-MAIN-2012	CC-MAIN-2014-10	CC-MAIN-2016-30	CC-MAIN-2019-09	CC-MAIN-2022-49	CC-MAIN-2026-04
tld
ae	0.0010	0.0102	0.0123	0.0099	0.0266	0.0452	0.0733
ai	0.0000	0.0004	0.0000	0.0000	0.0049	0.0257	0.1167
app	NaN	NaN	NaN	NaN	0.0054	0.0991	0.1072
ar	0.0818	0.2380	0.0991	0.0782	0.2122	0.3144	0.3663
at	0.0025	0.3796	0.0632	0.1555	0.4176	0.4892	0.4845
au	0.6008	0.9931	0.4578	0.5643	0.9372	0.2562	0.9365
az	0.0002	0.0060	0.0012	0.0031	0.0393	0.0407	0.0533
ba	0.0014	0.0101	0.0020	0.0028	0.0244	0.0377	0.0558
be	0.0024	0.3971	0.0564	0.1547	0.4498	0.6208	0.5468
bg	0.0010	0.0379	0.0078	0.0161	0.1108	0.1413	0.1350
biz	0.5548	0.3745	0.0384	0.0532	0.2750	0.1652	0.1406
blog	NaN	NaN	NaN	NaN	0.0886	0.1751	0.0505
br	0.3366	0.7639	0.2175	0.2958	1.1823	0.3425	1.7576
by	0.0023	0.0352	0.0009	0.0138	0.2155	0.1633	0.2248
ca	0.0141	0.6897	0.4689	0.5205	0.7432	0.9769	0.8619
cat	0.0004	0.0495	0.0103	0.0150	0.0926	0.1413	0.1227
cc	0.0035	0.0957	0.0404	0.1105	0.1024	0.1144	0.1525
ch	0.0033	0.5264	0.1018	0.2150	0.5640	0.6396	0.6655
cl	0.0010	0.0834	0.0660	0.0633	0.1189	0.2033	0.2439
club	NaN	NaN	0.0000	0.0004	0.0990	0.0749	0.0657
cn	1.0883	0.4207	0.0157	0.3095	0.8913	0.7133	1.2808
co	0.0165	0.0453	0.0328	0.0638	0.4111	0.4346	0.4465
com	71.2847	55.7836	74.6867	69.1753	46.5003	48.5946	43.2953
cz	0.0065	0.7824	0.0480	0.2279	1.0366	1.1050	1.1331
de	0.0523	4.8428	0.7005	1.5105	4.0371	4.4988	4.5182
dk	0.0033	0.3704	0.0803	0.1524	0.3844	0.4509	0.5219
edu	1.2783	0.6179	3.0891	2.9474	0.6385	1.5065	0.8976
ee	0.0003	0.0481	0.0058	0.0134	0.1143	0.1540	0.1618
es	0.0339	0.6737	0.1764	0.2350	0.8843	1.0317	0.9554
eu	0.0045	0.4588	0.1181	0.1841	0.7729	0.7491	0.7225
fi	0.0009	0.1756	0.0262	0.0514	0.2875	0.3942	0.3588
fm	0.0001	0.0631	0.0582	0.0879	0.0401	0.0665	0.0459
fr	0.0197	1.3199	0.2698	0.4410	1.6455	1.9853	1.9702
ge	0.0005	0.0064	0.0069	0.0089	0.0326	0.0380	0.0522
gov	0.3797	0.2691	1.6172	1.5329	0.2410	0.4900	0.4097
gr	0.0014	0.1162	0.0574	0.0765	0.3998	0.5674	0.5322
hk	0.0355	0.0431	0.0170	0.0253	0.0783	0.1075	0.1132
hr	0.0034	0.0683	0.0136	0.0279	0.0949	0.1504	0.1752
hu	0.0025	0.3731	0.0466	0.0971	0.4632	0.5873	0.5111
id	0.0006	0.0648	0.0556	0.0675	0.1580	0.2770	0.4455
ie	0.0017	0.1183	0.0746	0.0920	0.1360	0.2020	0.1476
il	0.0136	0.0864	0.0216	0.0395	0.1694	0.0431	0.2312
in	0.0100	0.2150	0.1058	0.1037	0.4126	0.5468	0.6827
info	1.8065	1.3290	0.1827	0.2468	1.4363	0.7177	0.6114
int	0.0000	0.0136	0.0739	0.0816	0.0166	0.0328	0.0201
io	NaN	0.0049	0.0128	0.0189	0.1391	0.2230	0.3071
ir	0.0007	0.0553	0.0141	0.0144	0.3396	0.3409	0.0717
is	0.0001	0.0345	0.0379	0.0362	0.0396	0.0564	0.0526
it	0.0439	1.3308	0.2254	0.4406	1.6566	2.0833	1.9016
jp	0.0518	1.1745	0.1047	0.6075	2.1453	1.5361	2.5878
kr	0.0009	0.0780	0.0451	0.0846	0.3448	0.3295	0.4312
kz	0.0003	0.0215	0.0009	0.0096	0.1191	0.1160	0.1534
lt	0.0003	0.0999	0.0063	0.0218	0.1429	0.1666	0.1846
lv	0.0013	0.0609	0.0048	0.0140	0.0987	0.1008	0.1077
md	0.0005	0.0168	0.0016	0.0034	0.0358	0.0423	0.0550
me	0.0000	0.0586	0.0367	0.0557	0.3158	0.2103	0.1812
mx	0.0786	0.1460	0.0752	0.0898	0.1991	0.1444	0.2960
my	0.0302	0.0465	0.0285	0.0413	0.0788	0.1083	0.1199
net	9.2005	5.4510	3.2461	3.4271	4.3649	3.7179	3.1864
news	NaN	NaN	NaN	0.0017	0.0349	0.0820	0.0843
ng	0.0008	0.0013	0.0008	0.0010	0.0359	0.0578	0.0639
nl	0.0073	1.4581	0.1612	0.4426	1.4051	1.8692	1.4980
no	0.0063	0.2376	0.0612	0.0717	0.2697	0.3574	0.3275
nu	0.0001	0.0662	0.0271	0.0208	0.0746	0.0571	0.0507
nz	0.0322	0.2275	0.0710	0.0815	0.2161	0.0694	0.2033
online	NaN	NaN	NaN	0.0013	0.0662	0.1162	0.1368
org	8.1016	6.0312	9.8262	10.5473	5.4659	6.5262	5.7337
pe	0.0155	0.0288	0.0077	0.0153	0.0462	0.0722	0.0886
ph	0.0157	0.0316	0.0106	0.0096	0.0389	0.0558	0.0573
pk	0.0074	0.0141	0.0109	0.0137	0.0410	0.0694	0.0798
pl	0.1857	1.8380	0.0850	0.2665	1.5369	1.6934	1.9424
pro	0.0000	0.0082	0.0011	0.0019	0.0706	0.0862	0.0938
pt	0.0178	0.1074	0.0414	0.0590	0.2079	0.2817	0.3251
ro	0.0191	0.5856	0.0252	0.0918	0.4789	0.5704	0.5965
rs	0.0002	0.0389	0.0074	0.0186	0.0935	0.1485	0.1900
ru	0.0533	1.7331	0.0891	0.6050	6.1104	4.3348	4.8019
se	0.0019	0.5329	0.1349	0.1918	0.7079	0.6308	0.6698
sg	0.0229	0.0486	0.0190	0.0219	0.0636	0.0838	0.0722
shop	NaN	NaN	NaN	0.0000	0.0243	0.1146	0.1395
si	0.0027	0.0569	0.0071	0.0105	0.0896	0.1520	0.1365
sk	0.0010	0.1601	0.0107	0.0502	0.2658	0.3712	0.3955
store	NaN	NaN	NaN	0.0000	0.0090	0.0503	0.0536
su	0.0001	0.0304	0.0025	0.0052	0.1152	0.0839	0.0837
th	0.0003	0.0217	0.0206	0.0316	0.0680	0.0807	0.1159
tk	0.0000	0.0244	0.0015	0.0021	0.0981	0.0441	0.0027
top	NaN	NaN	NaN	0.0001	0.0404	0.0696	0.0705
tr	0.0623	0.1155	0.0503	0.0769	0.1943	0.0918	0.3848
tv	0.0013	0.2583	0.1455	0.1339	0.2393	0.2083	0.2034
tw	0.0923	0.1091	0.0505	0.0985	0.3121	0.1671	0.4123
ua	0.2190	0.4142	0.0099	0.0538	0.9979	0.3664	0.7736
uk	4.0406	3.5023	1.5931	1.6470	2.5174	0.4004	2.0658
us	0.0046	0.4175	0.3288	0.2699	0.3468	0.2398	0.1638
vn	0.0136	0.0797	0.0500	0.0666	0.3596	0.5069	0.5828
ws	0.0006	0.0840	0.0109	0.0081	0.0287	0.0174	0.0155
xyz	NaN	NaN	NaN	0.0008	0.1076	0.1505	0.1120
za	0.0126	0.1613	0.0737	0.1455	0.2098	0.0354	0.2352