Top-Level Domains of Selected Crawls

Just the distribution (percentage / relative frequency) of URLs on top-level domains for few selected crawls, include the latest monthly crawl… Only TLDs which reach at least 0.05% in one of the selected crawls are shown.

crawl	CC-MAIN-2008-2009	CC-MAIN-2012	CC-MAIN-2014-10	CC-MAIN-2016-30	CC-MAIN-2019-09	CC-MAIN-2022-49	CC-MAIN-2024-51
tld
ae	0.0010	0.0102	0.0123	0.0099	0.0267	0.0453	0.0647
ai	0.0000	0.0004	0.0000	0.0000	0.0049	0.0257	0.0608
app	NaN	NaN	NaN	NaN	0.0054	0.0993	0.1484
ar	0.0818	0.2380	0.0991	0.0782	0.2124	0.3148	0.3462
at	0.0025	0.3797	0.0632	0.1556	0.4180	0.4897	0.4293
au	0.6008	0.9934	0.4579	0.5644	0.9380	0.2565	1.1090
az	0.0002	0.0060	0.0012	0.0031	0.0393	0.0408	0.0532
be	0.0024	0.3972	0.0564	0.1547	0.4502	0.6215	0.5292
bg	0.0010	0.0379	0.0078	0.0161	0.1109	0.1415	0.1526
biz	0.5549	0.3746	0.0384	0.0532	0.2752	0.1654	0.1464
blog	NaN	NaN	NaN	NaN	0.0887	0.1753	0.0386
br	0.3366	0.7641	0.2175	0.2958	1.1834	0.3429	1.6197
by	0.0023	0.0353	0.0009	0.0138	0.2157	0.1635	0.1857
ca	0.0141	0.6900	0.4690	0.5206	0.7439	0.9781	0.9176
cat	0.0004	0.0496	0.0103	0.0150	0.0927	0.1415	0.1223
cc	0.0035	0.0957	0.0404	0.1105	0.1025	0.1145	0.1551
ch	0.0033	0.5266	0.1018	0.2150	0.5645	0.6403	0.6046
cl	0.0010	0.0834	0.0660	0.0633	0.1190	0.2035	0.2428
club	NaN	NaN	0.0000	0.0004	0.0991	0.0750	0.0660
cn	1.0883	0.4208	0.0157	0.3096	0.8921	0.7141	0.9760
co	0.0165	0.0454	0.0328	0.0638	0.4115	0.4351	0.4453
com	71.2865	55.8022	74.6946	69.1858	46.5435	48.6521	44.2999
cz	0.0065	0.7827	0.0480	0.2279	1.0376	1.1063	1.0077
de	0.0523	4.8444	0.7005	1.5107	4.0409	4.5041	4.1412
dk	0.0033	0.3705	0.0803	0.1525	0.3848	0.4514	0.4389
edu	1.2783	0.6181	3.0895	2.9479	0.6391	1.5083	1.1432
ee	0.0003	0.0482	0.0058	0.0134	0.1144	0.1542	0.1541
es	0.0339	0.6739	0.1764	0.2350	0.8851	1.0329	0.9581
eu	0.0045	0.4590	0.1181	0.1842	0.7736	0.7500	0.7061
fi	0.0009	0.1756	0.0262	0.0514	0.2877	0.3946	0.3345
fm	0.0001	0.0631	0.0582	0.0879	0.0401	0.0666	0.0588
fr	0.0197	1.3203	0.2698	0.4411	1.6470	1.9876	1.8013
gov	0.3797	0.2692	1.6174	1.5331	0.2412	0.4906	0.4513
gr	0.0014	0.1163	0.0574	0.0765	0.4002	0.5681	0.5459
hk	0.0355	0.0431	0.0170	0.0253	0.0784	0.1076	0.1192
hr	0.0034	0.0683	0.0136	0.0279	0.0950	0.1506	0.1671
hu	0.0025	0.3733	0.0466	0.0971	0.4636	0.5880	0.4899
id	0.0006	0.0648	0.0556	0.0675	0.1581	0.2773	0.4253
ie	0.0017	0.1183	0.0746	0.0920	0.1361	0.2023	0.1654
il	0.0136	0.0865	0.0216	0.0395	0.1696	0.0431	0.2211
in	0.0100	0.2150	0.1058	0.1037	0.4130	0.5475	0.6524
info	1.8065	1.3295	0.1828	0.2468	1.4376	0.7185	0.6358
int	0.0000	0.0136	0.0739	0.0816	0.0166	0.0328	0.0254
io	NaN	0.0049	0.0128	0.0189	0.1392	0.2232	0.2637
ir	0.0007	0.0553	0.0141	0.0144	0.3399	0.3413	0.3933
is	0.0001	0.0345	0.0379	0.0362	0.0396	0.0565	0.0598
it	0.0439	1.3312	0.2255	0.4406	1.6581	2.0858	1.8840
jp	0.0518	1.1749	0.1047	0.6076	2.1473	1.5380	2.3275
kr	0.0009	0.0781	0.0451	0.0846	0.3451	0.3299	0.4125
kz	0.0003	0.0215	0.0009	0.0096	0.1192	0.1162	0.1324
lt	0.0003	0.0999	0.0063	0.0218	0.1430	0.1668	0.1701
lv	0.0013	0.0610	0.0048	0.0140	0.0988	0.1009	0.1111
me	0.0000	0.0586	0.0367	0.0557	0.3161	0.2105	0.1824
mx	0.0786	0.1461	0.0752	0.0898	0.1993	0.1445	0.3167
my	0.0302	0.0465	0.0285	0.0414	0.0789	0.1084	0.1225
net	9.2008	5.4528	3.2465	3.4276	4.3690	3.7223	3.5028
news	NaN	NaN	NaN	0.0017	0.0349	0.0821	0.0815
ng	0.0008	0.0013	0.0008	0.0010	0.0360	0.0579	0.0558
nl	0.0073	1.4586	0.1612	0.4427	1.4064	1.8714	1.5078
no	0.0063	0.2377	0.0612	0.0717	0.2700	0.3578	0.3109
nu	0.0001	0.0662	0.0271	0.0208	0.0747	0.0572	0.0513
nz	0.0322	0.2275	0.0710	0.0815	0.2163	0.0695	0.2330
online	NaN	NaN	NaN	0.0013	0.0663	0.1164	0.1675
org	8.1018	6.0332	9.8273	10.5488	5.4710	6.5339	5.5398
pe	0.0155	0.0288	0.0077	0.0153	0.0463	0.0723	0.0934
ph	0.0157	0.0316	0.0106	0.0096	0.0389	0.0559	0.0605
pk	0.0074	0.0141	0.0109	0.0137	0.0411	0.0695	0.0833
pl	0.1857	1.8386	0.0851	0.2666	1.5383	1.6954	1.8390
pro	0.0000	0.0082	0.0011	0.0019	0.0706	0.0863	0.0953
pt	0.0178	0.1075	0.0414	0.0590	0.2081	0.2820	0.3190
ro	0.0191	0.5858	0.0252	0.0918	0.4793	0.5710	0.6061
rs	0.0002	0.0389	0.0074	0.0186	0.0935	0.1487	0.1535
ru	0.0533	1.7337	0.0892	0.6051	6.1161	4.3399	4.7542
se	0.0019	0.5331	0.1349	0.1919	0.7086	0.6315	0.5832
sg	0.0229	0.0486	0.0190	0.0219	0.0637	0.0839	0.0832
shop	NaN	NaN	NaN	0.0000	0.0243	0.1148	0.2164
si	0.0027	0.0569	0.0071	0.0105	0.0896	0.1522	0.1474
sk	0.0010	0.1601	0.0107	0.0502	0.2660	0.3717	0.3623
store	NaN	NaN	NaN	0.0000	0.0090	0.0504	0.0946
su	0.0001	0.0304	0.0025	0.0052	0.1153	0.0840	0.0789
th	0.0003	0.0217	0.0206	0.0316	0.0681	0.0808	0.1269
tk	0.0000	0.0244	0.0015	0.0021	0.0981	0.0442	0.0036
top	NaN	NaN	NaN	0.0001	0.0405	0.0697	0.0919
tr	0.0623	0.1156	0.0503	0.0769	0.1944	0.0919	0.4679
tv	0.0013	0.2584	0.1455	0.1339	0.2395	0.2085	0.1969
tw	0.0923	0.1092	0.0505	0.0986	0.3124	0.1673	0.4177
ua	0.2190	0.4143	0.0099	0.0538	0.9989	0.3668	0.6940
uk	4.0407	3.5035	1.5932	1.6472	2.5197	0.4009	2.1710
us	0.0046	0.4176	0.3289	0.2700	0.3472	0.2401	0.1848
vn	0.0136	0.0797	0.0500	0.0667	0.3600	0.5075	0.4975
ws	0.0006	0.0841	0.0109	0.0081	0.0287	0.0174	0.0169
xyz	NaN	NaN	NaN	0.0008	0.1077	0.1507	0.1469
za	0.0126	0.1613	0.0737	0.1456	0.2100	0.0355	0.2309