Top-Level Domains of Selected Crawls

Just the distribution (percentage / relative frequency) of URLs on top-level domains for few selected crawls, include the latest monthly crawl… Only TLDs which reach at least 0.05% in one of the selected crawls are shown.

crawl	CC-MAIN-2008-2009	CC-MAIN-2012	CC-MAIN-2014-10	CC-MAIN-2016-30	CC-MAIN-2019-09	CC-MAIN-2022-49	CC-MAIN-2025-08
tld
ae	0.0010	0.0102	0.0123	0.0099	0.0266	0.0453	0.0690
ai	0.0000	0.0004	0.0000	0.0000	0.0049	0.0257	0.0707
app	NaN	NaN	NaN	NaN	0.0054	0.0992	0.1252
ar	0.0818	0.2380	0.0991	0.0782	0.2123	0.3147	0.3544
at	0.0025	0.3797	0.0632	0.1556	0.4179	0.4895	0.4327
au	0.6008	0.9933	0.4579	0.5644	0.9378	0.2564	1.1414
az	0.0002	0.0060	0.0012	0.0031	0.0393	0.0408	0.0556
ba	0.0014	0.0101	0.0020	0.0028	0.0244	0.0377	0.0526
be	0.0024	0.3972	0.0564	0.1547	0.4501	0.6213	0.5194
bg	0.0010	0.0379	0.0078	0.0161	0.1109	0.1414	0.1621
biz	0.5549	0.3746	0.0384	0.0532	0.2752	0.1653	0.1479
blog	NaN	NaN	NaN	NaN	0.0886	0.1752	0.0374
br	0.3366	0.7641	0.2175	0.2958	1.1831	0.3428	1.6168
by	0.0023	0.0353	0.0009	0.0138	0.2156	0.1634	0.1911
ca	0.0141	0.6899	0.4690	0.5206	0.7437	0.9777	0.9113
cat	0.0004	0.0495	0.0103	0.0150	0.0927	0.1414	0.1150
cc	0.0035	0.0957	0.0404	0.1105	0.1024	0.1145	0.1602
ch	0.0033	0.5265	0.1018	0.2150	0.5643	0.6401	0.5947
cl	0.0010	0.0834	0.0660	0.0633	0.1190	0.2034	0.2421
club	NaN	NaN	0.0000	0.0004	0.0991	0.0750	0.0635
cn	1.0883	0.4208	0.0157	0.3096	0.8919	0.7139	1.0119
co	0.0165	0.0454	0.0328	0.0638	0.4114	0.4349	0.4539
com	71.2855	55.7965	74.6931	69.1838	46.5321	48.6337	44.4385
cz	0.0065	0.7826	0.0480	0.2279	1.0373	1.1058	1.0340
de	0.0523	4.8439	0.7005	1.5107	4.0399	4.5024	4.1775
dk	0.0033	0.3705	0.0803	0.1525	0.3847	0.4512	0.4655
edu	1.2783	0.6181	3.0894	2.9478	0.6390	1.5077	1.1759
ee	0.0003	0.0481	0.0058	0.0134	0.1143	0.1541	0.1541
es	0.0339	0.6738	0.1764	0.2350	0.8849	1.0325	0.9328
eu	0.0045	0.4589	0.1181	0.1842	0.7734	0.7497	0.6988
fi	0.0009	0.1756	0.0262	0.0514	0.2877	0.3945	0.3422
fm	0.0001	0.0631	0.0582	0.0879	0.0401	0.0666	0.0642
fr	0.0197	1.3202	0.2698	0.4410	1.6466	1.9869	1.7479
gov	0.3797	0.2692	1.6174	1.5331	0.2411	0.4904	0.4327
gr	0.0014	0.1163	0.0574	0.0765	0.4001	0.5679	0.5483
hk	0.0355	0.0431	0.0170	0.0253	0.0784	0.1075	0.1233
hr	0.0034	0.0683	0.0136	0.0279	0.0950	0.1505	0.1761
hu	0.0025	0.3732	0.0466	0.0971	0.4635	0.5878	0.4756
id	0.0006	0.0648	0.0556	0.0675	0.1581	0.2772	0.4408
ie	0.0017	0.1183	0.0746	0.0920	0.1360	0.2022	0.1711
il	0.0136	0.0864	0.0216	0.0395	0.1695	0.0431	0.2202
in	0.0100	0.2150	0.1058	0.1037	0.4129	0.5473	0.6635
info	1.8065	1.3293	0.1828	0.2468	1.4373	0.7183	0.6262
int	0.0000	0.0136	0.0739	0.0816	0.0166	0.0328	0.0258
io	NaN	0.0049	0.0128	0.0189	0.1392	0.2232	0.2794
ir	0.0007	0.0553	0.0141	0.0144	0.3398	0.3412	0.3816
is	0.0001	0.0345	0.0379	0.0362	0.0396	0.0565	0.0607
it	0.0439	1.3311	0.2255	0.4406	1.6577	2.0850	1.8583
jp	0.0518	1.1748	0.1047	0.6076	2.1468	1.5374	2.2936
kr	0.0009	0.0781	0.0451	0.0846	0.3450	0.3298	0.4296
kz	0.0003	0.0215	0.0009	0.0096	0.1192	0.1161	0.1384
lt	0.0003	0.0999	0.0063	0.0218	0.1430	0.1668	0.1738
lv	0.0013	0.0609	0.0048	0.0140	0.0988	0.1009	0.1095
me	0.0000	0.0586	0.0367	0.0557	0.3160	0.2104	0.1822
mx	0.0786	0.1461	0.0752	0.0898	0.1992	0.1445	0.3095
my	0.0302	0.0465	0.0285	0.0414	0.0788	0.1083	0.1243
net	9.2006	5.4523	3.2464	3.4275	4.3679	3.7209	3.5028
news	NaN	NaN	NaN	0.0017	0.0349	0.0821	0.0827
ng	0.0008	0.0013	0.0008	0.0010	0.0360	0.0578	0.0581
nl	0.0073	1.4584	0.1612	0.4426	1.4061	1.8707	1.4982
no	0.0063	0.2376	0.0612	0.0717	0.2699	0.3577	0.3145
nu	0.0001	0.0662	0.0271	0.0208	0.0747	0.0572	0.0502
nz	0.0322	0.2275	0.0710	0.0815	0.2163	0.0694	0.2432
online	NaN	NaN	NaN	0.0013	0.0662	0.1163	0.1466
org	8.1017	6.0326	9.8271	10.5486	5.4697	6.5314	5.5806
pe	0.0155	0.0288	0.0077	0.0153	0.0463	0.0723	0.0897
ph	0.0157	0.0316	0.0106	0.0096	0.0389	0.0559	0.0615
pk	0.0074	0.0141	0.0109	0.0137	0.0411	0.0695	0.0895
pl	0.1857	1.8384	0.0851	0.2666	1.5379	1.6947	1.7060
pro	0.0000	0.0082	0.0011	0.0019	0.0706	0.0863	0.1004
pt	0.0178	0.1075	0.0414	0.0590	0.2081	0.2819	0.3094
ro	0.0191	0.5857	0.0252	0.0918	0.4792	0.5708	0.6348
rs	0.0002	0.0389	0.0074	0.0186	0.0935	0.1486	0.1487
ru	0.0533	1.7335	0.0891	0.6051	6.1146	4.3383	4.6548
se	0.0019	0.5330	0.1349	0.1919	0.7084	0.6313	0.5918
sg	0.0229	0.0486	0.0190	0.0219	0.0637	0.0839	0.0869
shop	NaN	NaN	NaN	0.0000	0.0243	0.1147	0.2293
si	0.0027	0.0569	0.0071	0.0105	0.0896	0.1522	0.1424
sk	0.0010	0.1601	0.0107	0.0502	0.2660	0.3715	0.3625
store	NaN	NaN	NaN	0.0000	0.0090	0.0504	0.0911
su	0.0001	0.0304	0.0025	0.0052	0.1153	0.0840	0.0775
th	0.0003	0.0217	0.0206	0.0316	0.0680	0.0808	0.1292
tk	0.0000	0.0244	0.0015	0.0021	0.0981	0.0442	0.0042
top	NaN	NaN	NaN	0.0001	0.0404	0.0697	0.0871
tr	0.0623	0.1156	0.0503	0.0769	0.1944	0.0919	0.3571
tv	0.0013	0.2584	0.1455	0.1339	0.2394	0.2085	0.1963
tw	0.0923	0.1092	0.0505	0.0985	0.3124	0.1673	0.3794
ua	0.2190	0.4143	0.0099	0.0538	0.9986	0.3667	0.6830
uk	4.0407	3.5031	1.5932	1.6472	2.5191	0.4008	2.1779
us	0.0046	0.4176	0.3289	0.2699	0.3471	0.2400	0.1873
vn	0.0136	0.0797	0.0500	0.0667	0.3599	0.5073	0.5327
ws	0.0006	0.0841	0.0109	0.0081	0.0287	0.0174	0.0184
xyz	NaN	NaN	NaN	0.0008	0.1077	0.1506	0.1484
za	0.0126	0.1613	0.0737	0.1456	0.2099	0.0355	0.2415