Top-Level Domains of Selected Crawls

Just the distribution (percentage / relative frequency) of URLs on top-level domains for few selected crawls, include the latest monthly crawl… Only TLDs which reach at least 0.05% in one of the selected crawls are shown.

crawl	CC-MAIN-2008-2009	CC-MAIN-2012	CC-MAIN-2014-10	CC-MAIN-2016-30	CC-MAIN-2019-09	CC-MAIN-2022-49	CC-MAIN-2025-47
tld
ae	0.0010	0.0102	0.0123	0.0099	0.0266	0.0452	0.0681
ai	0.0000	0.0004	0.0000	0.0000	0.0049	0.0257	0.1024
app	NaN	NaN	NaN	NaN	0.0054	0.0992	0.1038
ar	0.0818	0.2380	0.0991	0.0782	0.2122	0.3145	0.3719
at	0.0025	0.3796	0.0632	0.1556	0.4177	0.4893	0.4739
au	0.6008	0.9932	0.4579	0.5644	0.9375	0.2563	0.9281
az	0.0002	0.0060	0.0012	0.0031	0.0393	0.0408	0.0553
ba	0.0014	0.0101	0.0020	0.0028	0.0244	0.0377	0.0561
be	0.0024	0.3971	0.0564	0.1547	0.4500	0.6210	0.5388
bg	0.0010	0.0379	0.0078	0.0161	0.1109	0.1414	0.1487
biz	0.5549	0.3745	0.0384	0.0532	0.2751	0.1652	0.1448
blog	NaN	NaN	NaN	NaN	0.0886	0.1752	0.0500
br	0.3366	0.7639	0.2175	0.2958	1.1826	0.3427	1.7099
by	0.0023	0.0352	0.0009	0.0138	0.2155	0.1634	0.2244
ca	0.0141	0.6898	0.4690	0.5206	0.7435	0.9773	0.8799
cat	0.0004	0.0495	0.0103	0.0150	0.0927	0.1414	0.1185
cc	0.0035	0.0957	0.0404	0.1105	0.1024	0.1144	0.1619
ch	0.0033	0.5265	0.1018	0.2150	0.5641	0.6398	0.6337
cl	0.0010	0.0834	0.0660	0.0633	0.1189	0.2034	0.2435
club	NaN	NaN	0.0000	0.0004	0.0990	0.0750	0.0670
cn	1.0883	0.4207	0.0157	0.3096	0.8916	0.7136	1.3784
co	0.0165	0.0453	0.0328	0.0638	0.4113	0.4347	0.4329
com	71.2851	55.7871	74.6919	69.1815	46.5154	48.6131	43.1765
cz	0.0065	0.7825	0.0480	0.2279	1.0370	1.1054	1.1353
de	0.0523	4.8431	0.7005	1.5106	4.0385	4.5005	4.3974
dk	0.0033	0.3704	0.0803	0.1525	0.3845	0.4511	0.5170
edu	1.2783	0.6180	3.0894	2.9477	0.6388	1.5071	0.9571
ee	0.0003	0.0481	0.0058	0.0134	0.1143	0.1541	0.1607
es	0.0339	0.6737	0.1764	0.2350	0.8846	1.0321	0.9461
eu	0.0045	0.4588	0.1181	0.1842	0.7731	0.7494	0.7075
fi	0.0009	0.1756	0.0262	0.0514	0.2876	0.3943	0.3549
fm	0.0001	0.0631	0.0582	0.0879	0.0401	0.0666	0.0606
fr	0.0197	1.3200	0.2698	0.4410	1.6460	1.9860	1.8484
gov	0.3797	0.2691	1.6174	1.5330	0.2411	0.4902	0.4209
gr	0.0014	0.1162	0.0574	0.0765	0.4000	0.5677	0.5385
hk	0.0355	0.0431	0.0170	0.0253	0.0783	0.1075	0.1183
hr	0.0034	0.0683	0.0136	0.0279	0.0950	0.1504	0.1796
hu	0.0025	0.3731	0.0466	0.0971	0.4633	0.5876	0.5115
id	0.0006	0.0648	0.0556	0.0675	0.1580	0.2771	0.4424
ie	0.0017	0.1183	0.0746	0.0920	0.1360	0.2021	0.1477
il	0.0136	0.0864	0.0216	0.0395	0.1695	0.0431	0.2294
in	0.0100	0.2150	0.1058	0.1037	0.4127	0.5470	0.6558
info	1.8065	1.3291	0.1828	0.2468	1.4367	0.7180	0.6945
int	0.0000	0.0136	0.0739	0.0816	0.0166	0.0328	0.0176
io	NaN	0.0049	0.0128	0.0189	0.1391	0.2231	0.2927
ir	0.0007	0.0553	0.0141	0.0144	0.3397	0.3410	0.4439
is	0.0001	0.0345	0.0379	0.0362	0.0396	0.0564	0.0586
it	0.0439	1.3308	0.2255	0.4406	1.6571	2.0841	1.7579
jp	0.0518	1.1746	0.1047	0.6076	2.1460	1.5367	2.5644
kr	0.0009	0.0781	0.0451	0.0846	0.3449	0.3296	0.4381
kz	0.0003	0.0215	0.0009	0.0096	0.1192	0.1161	0.1492
lt	0.0003	0.0999	0.0063	0.0218	0.1429	0.1667	0.1834
lv	0.0013	0.0609	0.0048	0.0140	0.0987	0.1008	0.1089
md	0.0005	0.0168	0.0016	0.0034	0.0358	0.0423	0.0537
me	0.0000	0.0586	0.0367	0.0557	0.3159	0.2104	0.1799
mx	0.0786	0.1460	0.0752	0.0898	0.1992	0.1444	0.3073
my	0.0302	0.0465	0.0285	0.0414	0.0788	0.1083	0.1307
net	9.2006	5.4514	3.2464	3.4274	4.3663	3.7193	3.3037
news	NaN	NaN	NaN	0.0017	0.0349	0.0820	0.0870
ng	0.0008	0.0013	0.0008	0.0010	0.0359	0.0578	0.0618
nl	0.0073	1.4582	0.1612	0.4426	1.4056	1.8699	1.4830
no	0.0063	0.2376	0.0612	0.0717	0.2698	0.3575	0.3195
nu	0.0001	0.0662	0.0271	0.0208	0.0747	0.0572	0.0509
nz	0.0322	0.2275	0.0710	0.0815	0.2162	0.0694	0.1976
online	NaN	NaN	NaN	0.0013	0.0662	0.1163	0.1366
org	8.1016	6.0316	9.8269	10.5482	5.4677	6.5287	5.4715
pe	0.0155	0.0288	0.0077	0.0153	0.0463	0.0722	0.0935
ph	0.0157	0.0316	0.0106	0.0096	0.0389	0.0558	0.0553
pk	0.0074	0.0141	0.0109	0.0137	0.0410	0.0694	0.0794
pl	0.1857	1.8381	0.0851	0.2666	1.5374	1.6940	1.9192
pro	0.0000	0.0082	0.0011	0.0019	0.0706	0.0862	0.0933
pt	0.0178	0.1074	0.0414	0.0590	0.2080	0.2818	0.3121
ro	0.0191	0.5856	0.0252	0.0918	0.4790	0.5706	0.6732
rs	0.0002	0.0389	0.0074	0.0186	0.0935	0.1486	0.1889
ru	0.0533	1.7332	0.0891	0.6051	6.1124	4.3365	4.8893
se	0.0019	0.5329	0.1349	0.1919	0.7081	0.6310	0.6399
sg	0.0229	0.0486	0.0190	0.0219	0.0636	0.0839	0.0749
shop	NaN	NaN	NaN	0.0000	0.0243	0.1147	0.1629
si	0.0027	0.0569	0.0071	0.0105	0.0896	0.1521	0.1369
sk	0.0010	0.1601	0.0107	0.0502	0.2659	0.3714	0.4118
store	NaN	NaN	NaN	0.0000	0.0090	0.0504	0.0594
su	0.0001	0.0304	0.0025	0.0052	0.1153	0.0839	0.0865
th	0.0003	0.0217	0.0206	0.0316	0.0680	0.0807	0.1185
tk	0.0000	0.0244	0.0015	0.0021	0.0981	0.0442	0.0030
top	NaN	NaN	NaN	0.0001	0.0404	0.0696	0.0858
tr	0.0623	0.1156	0.0503	0.0769	0.1943	0.0919	0.3861
tv	0.0013	0.2583	0.1455	0.1339	0.2393	0.2084	0.2063
tw	0.0923	0.1091	0.0505	0.0985	0.3122	0.1672	0.4128
ua	0.2190	0.4142	0.0099	0.0538	0.9982	0.3665	0.7499
uk	4.0407	3.5025	1.5932	1.6471	2.5182	0.4006	2.1234
us	0.0046	0.4175	0.3289	0.2699	0.3469	0.2399	0.1717
vn	0.0136	0.0797	0.0500	0.0667	0.3597	0.5071	0.5872
ws	0.0006	0.0840	0.0109	0.0081	0.0287	0.0174	0.0165
xyz	NaN	NaN	NaN	0.0008	0.1077	0.1505	0.1246
za	0.0126	0.1613	0.0737	0.1455	0.2098	0.0355	0.2479