Top-Level Domains of Selected Crawls

Just the distribution (percentage / relative frequency) of URLs on top-level domains for few selected crawls, include the latest monthly crawl… Only TLDs which reach at least 0.05% in one of the selected crawls are shown.

crawl	CC-MAIN-2008-2009	CC-MAIN-2012	CC-MAIN-2014-10	CC-MAIN-2016-30	CC-MAIN-2019-09	CC-MAIN-2022-49	CC-MAIN-2024-46
tld
ae	0.0010	0.0102	0.0123	0.0099	0.0267	0.0453	0.0638
ai	0.0000	0.0004	0.0000	0.0000	0.0049	0.0257	0.0596
app	NaN	NaN	NaN	NaN	0.0054	0.0993	0.1556
ar	0.0818	0.2380	0.0991	0.0782	0.2124	0.3148	0.3287
at	0.0025	0.3797	0.0632	0.1556	0.4180	0.4897	0.4259
au	0.6008	0.9934	0.4579	0.5644	0.9380	0.2565	1.0988
az	0.0002	0.0060	0.0012	0.0031	0.0393	0.0408	0.0523
be	0.0024	0.3972	0.0564	0.1547	0.4502	0.6215	0.5239
bg	0.0010	0.0379	0.0078	0.0161	0.1109	0.1415	0.1437
biz	0.5549	0.3746	0.0384	0.0532	0.2752	0.1654	0.1435
blog	NaN	NaN	NaN	NaN	0.0887	0.1753	0.0365
br	0.3366	0.7641	0.2175	0.2958	1.1834	0.3429	1.5927
by	0.0023	0.0353	0.0009	0.0138	0.2157	0.1635	0.1793
ca	0.0141	0.6900	0.4690	0.5206	0.7439	0.9781	0.9185
cat	0.0004	0.0496	0.0103	0.0150	0.0927	0.1415	0.1216
cc	0.0035	0.0957	0.0404	0.1105	0.1025	0.1145	0.1386
ch	0.0033	0.5266	0.1018	0.2150	0.5645	0.6403	0.5994
cl	0.0010	0.0834	0.0660	0.0633	0.1190	0.2035	0.2371
club	NaN	NaN	0.0000	0.0004	0.0991	0.0750	0.0646
cn	1.0883	0.4208	0.0157	0.3096	0.8921	0.7141	0.8964
co	0.0165	0.0454	0.0328	0.0638	0.4115	0.4351	0.4429
com	71.2865	55.8022	74.6946	69.1858	46.5435	48.6521	44.8933
cz	0.0065	0.7827	0.0480	0.2279	1.0376	1.1063	1.0340
de	0.0523	4.8444	0.7005	1.5107	4.0409	4.5041	4.0551
dk	0.0033	0.3705	0.0803	0.1525	0.3848	0.4514	0.4701
edu	1.2783	0.6181	3.0895	2.9479	0.6391	1.5083	1.0990
ee	0.0003	0.0482	0.0058	0.0134	0.1144	0.1542	0.1546
es	0.0339	0.6739	0.1764	0.2350	0.8851	1.0329	0.9638
eu	0.0045	0.4590	0.1181	0.1842	0.7736	0.7500	0.7066
fi	0.0009	0.1756	0.0262	0.0514	0.2877	0.3946	0.3298
fm	0.0001	0.0631	0.0582	0.0879	0.0401	0.0666	0.0556
fr	0.0197	1.3203	0.2698	0.4411	1.6470	1.9876	1.7938
gov	0.3797	0.2692	1.6174	1.5331	0.2412	0.4906	0.4078
gr	0.0014	0.1163	0.0574	0.0765	0.4002	0.5681	0.5476
hk	0.0355	0.0431	0.0170	0.0253	0.0784	0.1076	0.1183
hr	0.0034	0.0683	0.0136	0.0279	0.0950	0.1506	0.1707
hu	0.0025	0.3733	0.0466	0.0971	0.4636	0.5880	0.5380
id	0.0006	0.0648	0.0556	0.0675	0.1581	0.2773	0.4164
ie	0.0017	0.1183	0.0746	0.0920	0.1361	0.2023	0.1708
il	0.0136	0.0865	0.0216	0.0395	0.1696	0.0431	0.2136
in	0.0100	0.2150	0.1058	0.1037	0.4130	0.5475	0.6381
info	1.8065	1.3295	0.1828	0.2468	1.4376	0.7185	0.6231
int	0.0000	0.0136	0.0739	0.0816	0.0166	0.0328	0.0224
io	NaN	0.0049	0.0128	0.0189	0.1392	0.2232	0.2579
ir	0.0007	0.0553	0.0141	0.0144	0.3399	0.3413	0.3837
is	0.0001	0.0345	0.0379	0.0362	0.0396	0.0565	0.0574
it	0.0439	1.3312	0.2255	0.4406	1.6581	2.0858	1.9163
jp	0.0518	1.1749	0.1047	0.6076	2.1473	1.5380	2.2151
kr	0.0009	0.0781	0.0451	0.0846	0.3451	0.3299	0.3825
kz	0.0003	0.0215	0.0009	0.0096	0.1192	0.1162	0.1333
lt	0.0003	0.0999	0.0063	0.0218	0.1430	0.1668	0.1677
lv	0.0013	0.0610	0.0048	0.0140	0.0988	0.1009	0.1109
me	0.0000	0.0586	0.0367	0.0557	0.3161	0.2105	0.1735
mx	0.0786	0.1461	0.0752	0.0898	0.1993	0.1445	0.2987
my	0.0302	0.0465	0.0285	0.0414	0.0789	0.1084	0.1179
net	9.2008	5.4528	3.2465	3.4276	4.3690	3.7223	3.3767
news	NaN	NaN	NaN	0.0017	0.0349	0.0821	0.0804
ng	0.0008	0.0013	0.0008	0.0010	0.0360	0.0579	0.0591
nl	0.0073	1.4586	0.1612	0.4427	1.4064	1.8714	1.5135
no	0.0063	0.2377	0.0612	0.0717	0.2700	0.3578	0.3071
nu	0.0001	0.0662	0.0271	0.0208	0.0747	0.0572	0.0494
nz	0.0322	0.2275	0.0710	0.0815	0.2163	0.0695	0.2304
online	NaN	NaN	NaN	0.0013	0.0663	0.1164	0.1550
org	8.1018	6.0332	9.8273	10.5488	5.4710	6.5339	5.4199
pe	0.0155	0.0288	0.0077	0.0153	0.0463	0.0723	0.0877
ph	0.0157	0.0316	0.0106	0.0096	0.0389	0.0559	0.0581
pk	0.0074	0.0141	0.0109	0.0137	0.0411	0.0695	0.0853
pl	0.1857	1.8386	0.0851	0.2666	1.5383	1.6954	1.7914
pro	0.0000	0.0082	0.0011	0.0019	0.0706	0.0863	0.0947
pt	0.0178	0.1075	0.0414	0.0590	0.2081	0.2820	0.3169
ro	0.0191	0.5858	0.0252	0.0918	0.4793	0.5710	0.6101
rs	0.0002	0.0389	0.0074	0.0186	0.0935	0.1487	0.1536
ru	0.0533	1.7337	0.0892	0.6051	6.1161	4.3399	4.9044
se	0.0019	0.5331	0.1349	0.1919	0.7086	0.6315	0.5983
sg	0.0229	0.0486	0.0190	0.0219	0.0637	0.0839	0.0815
shop	NaN	NaN	NaN	0.0000	0.0243	0.1148	0.1993
si	0.0027	0.0569	0.0071	0.0105	0.0896	0.1522	0.1531
sk	0.0010	0.1601	0.0107	0.0502	0.2660	0.3717	0.3696
store	NaN	NaN	NaN	0.0000	0.0090	0.0504	0.0904
su	0.0001	0.0304	0.0025	0.0052	0.1153	0.0840	0.0783
th	0.0003	0.0217	0.0206	0.0316	0.0681	0.0808	0.1180
tk	0.0000	0.0244	0.0015	0.0021	0.0981	0.0442	0.0031
top	NaN	NaN	NaN	0.0001	0.0405	0.0697	0.0846
tr	0.0623	0.1156	0.0503	0.0769	0.1944	0.0919	0.4281
tv	0.0013	0.2584	0.1455	0.1339	0.2395	0.2085	0.1928
tw	0.0923	0.1092	0.0505	0.0986	0.3124	0.1673	0.3614
ua	0.2190	0.4143	0.0099	0.0538	0.9989	0.3668	0.6768
uk	4.0407	3.5035	1.5932	1.6472	2.5197	0.4009	2.1450
us	0.0046	0.4176	0.3289	0.2700	0.3472	0.2401	0.1837
vn	0.0136	0.0797	0.0500	0.0667	0.3600	0.5075	0.5195
ws	0.0006	0.0841	0.0109	0.0081	0.0287	0.0174	0.0174
xyz	NaN	NaN	NaN	0.0008	0.1077	0.1507	0.2825
za	0.0126	0.1613	0.0737	0.1456	0.2100	0.0355	0.2624