Top-Level Domains of Selected Crawls

Just the distribution (percentage / relative frequency) of URLs on top-level domains for few selected crawls, include the latest monthly crawl… Only TLDs which reach at least 0.05% in one of the selected crawls are shown.

crawl	CC-MAIN-2008-2009	CC-MAIN-2012	CC-MAIN-2014-10	CC-MAIN-2016-30	CC-MAIN-2019-09	CC-MAIN-2022-49	CC-MAIN-2025-30
tld
ae	0.0010	0.0102	0.0123	0.0099	0.0266	0.0453	0.0769
ai	0.0000	0.0004	0.0000	0.0000	0.0049	0.0257	0.0863
app	NaN	NaN	NaN	NaN	0.0054	0.0992	0.0972
ar	0.0818	0.2380	0.0991	0.0782	0.2123	0.3147	0.3422
at	0.0025	0.3797	0.0632	0.1556	0.4179	0.4895	0.4553
au	0.6008	0.9933	0.4579	0.5644	0.9378	0.2564	1.1663
az	0.0002	0.0060	0.0012	0.0031	0.0393	0.0408	0.0553
ba	0.0014	0.0101	0.0020	0.0028	0.0244	0.0377	0.0560
be	0.0024	0.3972	0.0564	0.1547	0.4501	0.6213	0.5062
bg	0.0010	0.0379	0.0078	0.0161	0.1109	0.1414	0.1391
biz	0.5549	0.3746	0.0384	0.0532	0.2752	0.1653	0.1449
blog	NaN	NaN	NaN	NaN	0.0886	0.1752	0.0438
br	0.3366	0.7641	0.2175	0.2958	1.1831	0.3428	1.5532
by	0.0023	0.0353	0.0009	0.0138	0.2156	0.1634	0.1834
ca	0.0141	0.6899	0.4690	0.5206	0.7437	0.9777	0.9496
cat	0.0004	0.0495	0.0103	0.0150	0.0927	0.1414	0.1131
cc	0.0035	0.0957	0.0404	0.1105	0.1024	0.1145	0.1596
ch	0.0033	0.5265	0.1018	0.2150	0.5643	0.6401	0.6019
cl	0.0010	0.0834	0.0660	0.0633	0.1190	0.2034	0.2440
club	NaN	NaN	0.0000	0.0004	0.0991	0.0750	0.0646
cn	1.0883	0.4208	0.0157	0.3096	0.8919	0.7139	1.1784
co	0.0165	0.0454	0.0328	0.0638	0.4114	0.4349	0.4681
com	71.2855	55.7965	74.6931	69.1838	46.5321	48.6337	45.5326
cz	0.0065	0.7826	0.0480	0.2279	1.0373	1.1058	1.0181
de	0.0523	4.8439	0.7005	1.5107	4.0399	4.5024	4.2794
dk	0.0033	0.3705	0.0803	0.1525	0.3847	0.4512	0.4770
edu	1.2783	0.6181	3.0894	2.9478	0.6390	1.5077	1.0386
ee	0.0003	0.0481	0.0058	0.0134	0.1143	0.1541	0.1403
es	0.0339	0.6738	0.1764	0.2350	0.8849	1.0325	0.9188
eu	0.0045	0.4589	0.1181	0.1842	0.7734	0.7497	0.6802
fi	0.0009	0.1756	0.0262	0.0514	0.2877	0.3945	0.3403
fm	0.0001	0.0631	0.0582	0.0879	0.0401	0.0666	0.0509
fr	0.0197	1.3202	0.2698	0.4410	1.6466	1.9869	1.6327
gov	0.3797	0.2692	1.6174	1.5331	0.2411	0.4904	0.4402
gr	0.0014	0.1163	0.0574	0.0765	0.4001	0.5679	0.5197
hk	0.0355	0.0431	0.0170	0.0253	0.0784	0.1075	0.1241
hr	0.0034	0.0683	0.0136	0.0279	0.0950	0.1505	0.1843
hu	0.0025	0.3732	0.0466	0.0971	0.4635	0.5878	0.4701
id	0.0006	0.0648	0.0556	0.0675	0.1581	0.2772	0.4117
ie	0.0017	0.1183	0.0746	0.0920	0.1360	0.2022	0.1685
il	0.0136	0.0864	0.0216	0.0395	0.1695	0.0431	0.2344
in	0.0100	0.2150	0.1058	0.1037	0.4129	0.5473	0.6452
info	1.8065	1.3293	0.1828	0.2468	1.4373	0.7183	0.6275
int	0.0000	0.0136	0.0739	0.0816	0.0166	0.0328	0.0221
io	NaN	0.0049	0.0128	0.0189	0.1392	0.2232	0.2763
ir	0.0007	0.0553	0.0141	0.0144	0.3398	0.3412	0.3894
is	0.0001	0.0345	0.0379	0.0362	0.0396	0.0565	0.0596
it	0.0439	1.3311	0.2255	0.4406	1.6577	2.0850	1.9226
jp	0.0518	1.1748	0.1047	0.6076	2.1468	1.5374	2.3536
kr	0.0009	0.0781	0.0451	0.0846	0.3450	0.3298	0.4272
kz	0.0003	0.0215	0.0009	0.0096	0.1192	0.1161	0.1411
lt	0.0003	0.0999	0.0063	0.0218	0.1430	0.1668	0.1758
lv	0.0013	0.0609	0.0048	0.0140	0.0988	0.1009	0.1115
me	0.0000	0.0586	0.0367	0.0557	0.3160	0.2104	0.1777
mx	0.0786	0.1461	0.0752	0.0898	0.1992	0.1445	0.3093
my	0.0302	0.0465	0.0285	0.0414	0.0788	0.1083	0.1244
net	9.2006	5.4523	3.2464	3.4275	4.3679	3.7209	3.3821
news	NaN	NaN	NaN	0.0017	0.0349	0.0821	0.0852
ng	0.0008	0.0013	0.0008	0.0010	0.0360	0.0578	0.0565
nl	0.0073	1.4584	0.1612	0.4426	1.4061	1.8707	1.4585
no	0.0063	0.2376	0.0612	0.0717	0.2699	0.3577	0.3194
nu	0.0001	0.0662	0.0271	0.0208	0.0747	0.0572	0.0475
nz	0.0322	0.2275	0.0710	0.0815	0.2163	0.0694	0.2488
online	NaN	NaN	NaN	0.0013	0.0662	0.1163	0.1413
org	8.1017	6.0326	9.8271	10.5486	5.4697	6.5314	4.9273
pe	0.0155	0.0288	0.0077	0.0153	0.0463	0.0723	0.0859
ph	0.0157	0.0316	0.0106	0.0096	0.0389	0.0559	0.0623
pk	0.0074	0.0141	0.0109	0.0137	0.0411	0.0695	0.0937
pl	0.1857	1.8384	0.0851	0.2666	1.5379	1.6947	1.6544
pro	0.0000	0.0082	0.0011	0.0019	0.0706	0.0863	0.0920
pt	0.0178	0.1075	0.0414	0.0590	0.2081	0.2819	0.2980
ro	0.0191	0.5857	0.0252	0.0918	0.4792	0.5708	0.6170
rs	0.0002	0.0389	0.0074	0.0186	0.0935	0.1486	0.1647
ru	0.0533	1.7335	0.0891	0.6051	6.1146	4.3383	4.3758
se	0.0019	0.5330	0.1349	0.1919	0.7084	0.6313	0.5999
sg	0.0229	0.0486	0.0190	0.0219	0.0637	0.0839	0.0848
shop	NaN	NaN	NaN	0.0000	0.0243	0.1147	0.2561
si	0.0027	0.0569	0.0071	0.0105	0.0896	0.1522	0.1367
sk	0.0010	0.1601	0.0107	0.0502	0.2660	0.3715	0.3717
store	NaN	NaN	NaN	0.0000	0.0090	0.0504	0.0940
su	0.0001	0.0304	0.0025	0.0052	0.1153	0.0840	0.0747
th	0.0003	0.0217	0.0206	0.0316	0.0680	0.0808	0.1177
tk	0.0000	0.0244	0.0015	0.0021	0.0981	0.0442	0.0032
top	NaN	NaN	NaN	0.0001	0.0404	0.0697	0.0957
tr	0.0623	0.1156	0.0503	0.0769	0.1944	0.0919	0.3665
tv	0.0013	0.2584	0.1455	0.1339	0.2394	0.2085	0.2037
tw	0.0923	0.1092	0.0505	0.0985	0.3124	0.1673	0.3732
ua	0.2190	0.4143	0.0099	0.0538	0.9986	0.3667	0.7232
uk	4.0407	3.5031	1.5932	1.6472	2.5191	0.4008	2.1777
us	0.0046	0.4176	0.3289	0.2699	0.3471	0.2400	0.1848
vn	0.0136	0.0797	0.0500	0.0667	0.3599	0.5073	0.5168
ws	0.0006	0.0841	0.0109	0.0081	0.0287	0.0174	0.0175
xyz	NaN	NaN	NaN	0.0008	0.1077	0.1506	0.1321
za	0.0126	0.1613	0.0737	0.1456	0.2099	0.0355	0.2489