Top-Level Domains of Selected Crawls

Just the distribution (percentage / relative frequency) of URLs on top-level domains for few selected crawls, include the latest monthly crawl… Only TLDs which reach at least 0.05% in one of the selected crawls are shown.

crawl	CC-MAIN-2008-2009	CC-MAIN-2012	CC-MAIN-2014-10	CC-MAIN-2016-30	CC-MAIN-2019-09	CC-MAIN-2022-49	CC-MAIN-2025-38
tld
ae	0.0010	0.0101	0.0123	0.0099	0.0266	0.0452	0.0859
ai	0.0000	0.0004	0.0000	0.0000	0.0049	0.0257	0.1013
app	NaN	NaN	NaN	NaN	0.0054	0.0990	0.0932
ar	0.0818	0.2379	0.0991	0.0782	0.2120	0.3141	0.3740
at	0.0025	0.3795	0.0632	0.1555	0.4173	0.4887	0.5069
au	0.6008	0.9929	0.4578	0.5642	0.9366	0.2559	1.3748
az	0.0002	0.0060	0.0012	0.0031	0.0392	0.0407	0.0592
ba	0.0014	0.0101	0.0020	0.0028	0.0244	0.0376	0.0612
be	0.0024	0.3970	0.0564	0.1546	0.4495	0.6202	0.5843
bg	0.0010	0.0379	0.0078	0.0161	0.1108	0.1412	0.1594
biz	0.5548	0.3744	0.0384	0.0532	0.2748	0.1650	0.1484
blog	NaN	NaN	NaN	NaN	0.0885	0.1749	0.0475
br	0.3366	0.7637	0.2175	0.2957	1.1815	0.3422	1.4821
by	0.0023	0.0352	0.0009	0.0138	0.2153	0.1632	0.2208
ca	0.0141	0.6896	0.4689	0.5205	0.7427	0.9760	0.9429
cat	0.0004	0.0495	0.0103	0.0150	0.0926	0.1412	0.1143
cc	0.0035	0.0956	0.0404	0.1105	0.1023	0.1143	0.1753
ch	0.0033	0.5263	0.1018	0.2150	0.5636	0.6390	0.6623
cl	0.0010	0.0834	0.0660	0.0633	0.1188	0.2031	0.2556
club	NaN	NaN	0.0000	0.0004	0.0989	0.0749	0.0701
cn	1.0881	0.4206	0.0157	0.3095	0.8907	0.7126	1.2549
co	0.0165	0.0453	0.0328	0.0638	0.4109	0.4342	0.4873
com	71.2772	55.7703	74.6842	69.1646	46.4711	48.5489	43.9556
cz	0.0065	0.7822	0.0480	0.2278	1.0360	1.1039	0.9918
de	0.0523	4.8416	0.7004	1.5103	4.0346	4.4945	4.5864
dk	0.0033	0.3703	0.0803	0.1524	0.3842	0.4505	0.4543
edu	1.2782	0.6178	3.0890	2.9470	0.6381	1.5051	0.9733
ee	0.0003	0.0481	0.0058	0.0134	0.1142	0.1539	0.1404
es	0.0339	0.6735	0.1764	0.2349	0.8838	1.0307	0.8948
eu	0.0045	0.4587	0.1181	0.1841	0.7724	0.7484	0.6971
fi	0.0009	0.1755	0.0262	0.0514	0.2873	0.3938	0.3283
fm	0.0001	0.0631	0.0582	0.0879	0.0400	0.0665	0.0612
fr	0.0197	1.3196	0.2697	0.4409	1.6444	1.9834	1.8197
ge	0.0005	0.0064	0.0069	0.0089	0.0325	0.0380	0.0541
gov	0.3797	0.2691	1.6172	1.5326	0.2408	0.4896	0.4195
gr	0.0014	0.1162	0.0574	0.0765	0.3996	0.5669	0.5306
hk	0.0355	0.0431	0.0170	0.0253	0.0783	0.1074	0.1151
hr	0.0034	0.0683	0.0136	0.0279	0.0949	0.1502	0.1840
hu	0.0025	0.3730	0.0466	0.0971	0.4629	0.5868	0.4824
id	0.0006	0.0648	0.0556	0.0675	0.1579	0.2767	0.4421
ie	0.0017	0.1182	0.0746	0.0920	0.1359	0.2018	0.1739
il	0.0136	0.0864	0.0216	0.0395	0.1693	0.0430	0.2227
in	0.0100	0.2149	0.1058	0.1037	0.4123	0.5463	0.6915
info	1.8063	1.3287	0.1827	0.2468	1.4354	0.7170	0.6052
int	0.0000	0.0135	0.0739	0.0816	0.0166	0.0328	0.0198
io	NaN	0.0049	0.0128	0.0189	0.1390	0.2228	0.3028
ir	0.0007	0.0553	0.0141	0.0144	0.3394	0.3406	0.4451
is	0.0001	0.0345	0.0379	0.0362	0.0396	0.0564	0.0638
it	0.0439	1.3304	0.2254	0.4405	1.6555	2.0814	1.6377
jp	0.0518	1.1742	0.1047	0.6074	2.1440	1.5347	2.4128
kr	0.0009	0.0780	0.0451	0.0845	0.3445	0.3292	0.4256
kz	0.0003	0.0215	0.0009	0.0096	0.1190	0.1159	0.1543
link	NaN	NaN	NaN	0.0002	0.0199	0.0280	0.0813
lt	0.0003	0.0999	0.0063	0.0218	0.1428	0.1665	0.1750
lv	0.0013	0.0609	0.0048	0.0140	0.0986	0.1007	0.1073
ma	0.0008	0.0081	0.0009	0.0028	0.0206	0.0330	0.0515
md	0.0005	0.0168	0.0016	0.0034	0.0358	0.0423	0.0518
me	0.0000	0.0586	0.0367	0.0557	0.3156	0.2101	0.1814
mx	0.0786	0.1460	0.0752	0.0897	0.1990	0.1442	0.3178
my	0.0302	0.0464	0.0285	0.0413	0.0787	0.1082	0.1117
net	9.1996	5.4497	3.2460	3.4266	4.3622	3.7144	3.2602
news	NaN	NaN	NaN	0.0017	0.0349	0.0819	0.0930
ng	0.0008	0.0013	0.0008	0.0010	0.0359	0.0577	0.0672
nl	0.0073	1.4577	0.1612	0.4425	1.4042	1.8674	1.6052
no	0.0063	0.2375	0.0612	0.0717	0.2696	0.3570	0.3381
nu	0.0001	0.0661	0.0271	0.0208	0.0746	0.0571	0.0457
nz	0.0322	0.2274	0.0710	0.0815	0.2160	0.0693	0.2601
online	NaN	NaN	NaN	0.0013	0.0661	0.1161	0.1491
org	8.1007	6.0298	9.8259	10.5456	5.4625	6.5200	4.7613
pe	0.0155	0.0288	0.0077	0.0153	0.0462	0.0721	0.0939
ph	0.0157	0.0316	0.0106	0.0096	0.0388	0.0558	0.0584
pk	0.0074	0.0141	0.0109	0.0137	0.0410	0.0694	0.1042
pl	0.1857	1.8376	0.0850	0.2665	1.5359	1.6918	1.6489
pro	0.0000	0.0082	0.0011	0.0019	0.0705	0.0861	0.1051
pt	0.0178	0.1074	0.0414	0.0590	0.2078	0.2814	0.3124
ro	0.0191	0.5854	0.0252	0.0918	0.4786	0.5698	0.6137
rs	0.0002	0.0389	0.0074	0.0186	0.0934	0.1484	0.1632
ru	0.0533	1.7327	0.0891	0.6049	6.1066	4.3307	4.5859
se	0.0019	0.5328	0.1348	0.1918	0.7075	0.6302	0.5803
sg	0.0229	0.0486	0.0190	0.0219	0.0636	0.0838	0.0874
shop	NaN	NaN	NaN	0.0000	0.0243	0.1145	0.2233
si	0.0027	0.0568	0.0071	0.0105	0.0895	0.1519	0.1422
sk	0.0010	0.1600	0.0107	0.0502	0.2656	0.3709	0.3895
store	NaN	NaN	NaN	0.0000	0.0090	0.0503	0.0955
su	0.0001	0.0304	0.0025	0.0052	0.1152	0.0838	0.0888
th	0.0003	0.0217	0.0206	0.0316	0.0680	0.0806	0.1229
tk	0.0000	0.0244	0.0015	0.0021	0.0980	0.0441	0.0029
top	NaN	NaN	NaN	0.0001	0.0404	0.0695	0.1315
tr	0.0623	0.1155	0.0503	0.0769	0.1941	0.0917	0.4300
tv	0.0013	0.2583	0.1454	0.1339	0.2391	0.2081	0.1984
tw	0.0923	0.1091	0.0505	0.0985	0.3120	0.1670	0.3467
ua	0.2189	0.4141	0.0099	0.0538	0.9973	0.3660	0.7888
uk	4.0402	3.5015	1.5930	1.6467	2.5158	0.4001	2.2578
us	0.0046	0.4174	0.3288	0.2699	0.3466	0.2396	0.1839
uy	0.0097	0.0156	0.0025	0.0125	0.0224	0.0330	0.0537
vn	0.0136	0.0797	0.0500	0.0666	0.3594	0.5064	0.5933
ws	0.0006	0.0840	0.0109	0.0081	0.0287	0.0174	0.0176
xyz	NaN	NaN	NaN	0.0008	0.1076	0.1503	0.1149
za	0.0126	0.1613	0.0737	0.1455	0.2096	0.0354	0.2594