Top-Level Domains of Selected Crawls

Just the distribution (percentage / relative frequency) of URLs on top-level domains for few selected crawls, include the latest monthly crawl… Only TLDs which reach at least 0.05% in one of the selected crawls are shown.

crawl	CC-MAIN-2008-2009	CC-MAIN-2012	CC-MAIN-2014-10	CC-MAIN-2016-30	CC-MAIN-2019-09	CC-MAIN-2022-49	CC-MAIN-2026-21
tld
ae	0.0010	0.0102	0.0123	0.0099	0.0266	0.0452	0.0762
ai	0.0000	0.0004	0.0000	0.0000	0.0049	0.0257	0.1546
app	NaN	NaN	NaN	NaN	0.0054	0.0991	0.1432
ar	0.0818	0.2379	0.0991	0.0782	0.2121	0.3143	0.3634
at	0.0025	0.3795	0.0632	0.1555	0.4176	0.4889	0.4960
au	0.6008	0.9930	0.4579	0.5643	0.9371	0.2561	0.8802
az	0.0002	0.0060	0.0012	0.0031	0.0393	0.0407	0.0562
ba	0.0014	0.0101	0.0020	0.0028	0.0244	0.0377	0.0588
be	0.0024	0.3971	0.0564	0.1547	0.4498	0.6205	0.5617
bg	0.0010	0.0379	0.0078	0.0161	0.1108	0.1413	0.1743
biz	0.5548	0.3745	0.0384	0.0532	0.2749	0.1651	0.1355
blog	NaN	NaN	NaN	NaN	0.0886	0.1750	0.0482
br	0.3366	0.7638	0.2175	0.2958	1.1821	0.3424	1.7578
by	0.0023	0.0352	0.0009	0.0138	0.2154	0.1632	0.2300
ca	0.0141	0.6897	0.4689	0.5205	0.7431	0.9765	0.8673
cat	0.0004	0.0495	0.0103	0.0150	0.0926	0.1412	0.1265
cc	0.0035	0.0956	0.0404	0.1105	0.1024	0.1143	0.1811
ch	0.0033	0.5264	0.1018	0.2150	0.5639	0.6393	0.6662
cl	0.0010	0.0834	0.0660	0.0633	0.1189	0.2032	0.2385
club	NaN	NaN	0.0000	0.0004	0.0990	0.0749	0.0652
cn	1.0882	0.4206	0.0157	0.3095	0.8912	0.7130	1.0019
co	0.0165	0.0453	0.0328	0.0638	0.4111	0.4344	0.4588
com	71.2782	55.7784	74.6900	69.1727	46.4958	48.5742	43.5316
cz	0.0065	0.7823	0.0480	0.2278	1.0365	1.1045	1.1566
de	0.0523	4.8423	0.7005	1.5104	4.0367	4.4969	4.5537
dev	NaN	NaN	NaN	NaN	0.0000	0.0189	0.0556
dk	0.0033	0.3703	0.0803	0.1524	0.3844	0.4507	0.5323
edu	1.2782	0.6179	3.0893	2.9473	0.6385	1.5059	0.8014
ee	0.0003	0.0481	0.0058	0.0134	0.1142	0.1539	0.1664
es	0.0339	0.6736	0.1764	0.2350	0.8842	1.0313	0.9528
eu	0.0045	0.4588	0.1181	0.1841	0.7728	0.7488	0.7589
fi	0.0009	0.1756	0.0262	0.0514	0.2874	0.3940	0.3759
fm	0.0001	0.0631	0.0582	0.0879	0.0401	0.0665	0.0438
fr	0.0197	1.3198	0.2698	0.4410	1.6453	1.9844	1.9743
gov	0.3797	0.2691	1.6173	1.5328	0.2410	0.4898	0.4144
gr	0.0014	0.1162	0.0574	0.0765	0.3998	0.5672	0.5130
hk	0.0355	0.0431	0.0170	0.0253	0.0783	0.1074	0.1209
hr	0.0034	0.0683	0.0136	0.0279	0.0949	0.1503	0.1746
hu	0.0025	0.3731	0.0466	0.0971	0.4631	0.5871	0.5169
id	0.0006	0.0648	0.0556	0.0675	0.1580	0.2769	0.4354
ie	0.0017	0.1183	0.0746	0.0920	0.1359	0.2019	0.1473
il	0.0136	0.0864	0.0216	0.0395	0.1694	0.0430	0.2227
in	0.0100	0.2149	0.1058	0.1037	0.4125	0.5466	0.6735
info	1.8063	1.3289	0.1828	0.2468	1.4361	0.7174	0.6045
int	0.0000	0.0135	0.0739	0.0816	0.0166	0.0328	0.0191
io	NaN	0.0049	0.0128	0.0189	0.1391	0.2229	0.3408
ir	0.0007	0.0553	0.0141	0.0144	0.3396	0.3408	0.1456
is	0.0001	0.0345	0.0379	0.0362	0.0396	0.0564	0.0531
it	0.0439	1.3306	0.2254	0.4406	1.6564	2.0825	1.9055
jp	0.0518	1.1744	0.1047	0.6075	2.1451	1.5355	2.4785
kr	0.0009	0.0780	0.0451	0.0846	0.3447	0.3294	0.4206
kz	0.0003	0.0215	0.0009	0.0096	0.1191	0.1160	0.1385
link	NaN	NaN	NaN	0.0002	0.0199	0.0280	0.0537
lt	0.0003	0.0999	0.0063	0.0218	0.1428	0.1666	0.1831
lv	0.0013	0.0609	0.0048	0.0140	0.0987	0.1007	0.1049
md	0.0005	0.0168	0.0016	0.0034	0.0358	0.0423	0.0597
me	0.0000	0.0586	0.0367	0.0557	0.3158	0.2102	0.1823
mx	0.0786	0.1460	0.0752	0.0898	0.1991	0.1443	0.2875
my	0.0302	0.0465	0.0285	0.0413	0.0788	0.1082	0.1302
net	9.1997	5.4505	3.2463	3.4270	4.3645	3.7164	3.0330
news	NaN	NaN	NaN	0.0017	0.0349	0.0820	0.0863
ng	0.0008	0.0013	0.0008	0.0010	0.0359	0.0578	0.0583
nl	0.0073	1.4579	0.1612	0.4426	1.4050	1.8684	1.4804
no	0.0063	0.2376	0.0612	0.0717	0.2697	0.3572	0.3270
nu	0.0001	0.0662	0.0271	0.0208	0.0746	0.0571	0.0510
nz	0.0322	0.2274	0.0710	0.0815	0.2161	0.0694	0.1958
online	NaN	NaN	NaN	0.0013	0.0662	0.1162	0.1312
org	8.1008	6.0307	9.8267	10.5469	5.4654	6.5234	5.5583
pe	0.0155	0.0288	0.0077	0.0153	0.0462	0.0722	0.0854
ph	0.0157	0.0316	0.0106	0.0096	0.0389	0.0558	0.0587
pk	0.0074	0.0141	0.0109	0.0137	0.0410	0.0694	0.0754
pl	0.1857	1.8378	0.0851	0.2665	1.5367	1.6926	1.9216
pro	0.0000	0.0082	0.0011	0.0019	0.0706	0.0862	0.0892
pt	0.0178	0.1074	0.0414	0.0590	0.2079	0.2815	0.3027
ro	0.0191	0.5855	0.0252	0.0918	0.4788	0.5701	0.5765
rs	0.0002	0.0389	0.0074	0.0186	0.0935	0.1485	0.1969
ru	0.0533	1.7329	0.0891	0.6050	6.1098	4.3330	4.8583
se	0.0019	0.5328	0.1349	0.1918	0.7078	0.6305	0.6675
sg	0.0229	0.0486	0.0190	0.0219	0.0636	0.0838	0.0736
shop	NaN	NaN	NaN	0.0000	0.0243	0.1146	0.1601
si	0.0027	0.0569	0.0071	0.0105	0.0895	0.1520	0.1443
sk	0.0010	0.1600	0.0107	0.0502	0.2658	0.3711	0.3963
store	NaN	NaN	NaN	0.0000	0.0090	0.0503	0.0547
su	0.0001	0.0304	0.0025	0.0052	0.1152	0.0839	0.0818
th	0.0003	0.0217	0.0206	0.0316	0.0680	0.0807	0.1147
tk	0.0000	0.0244	0.0015	0.0021	0.0980	0.0441	0.0024
top	NaN	NaN	NaN	0.0001	0.0404	0.0696	0.0898
tr	0.0623	0.1155	0.0503	0.0769	0.1942	0.0918	0.4174
tv	0.0013	0.2583	0.1455	0.1339	0.2392	0.2082	0.2057
tw	0.0923	0.1091	0.0505	0.0985	0.3121	0.1671	0.4359
ua	0.2189	0.4142	0.0099	0.0538	0.9978	0.3662	0.9206
uk	4.0403	3.5020	1.5931	1.6469	2.5171	0.4003	2.0713
us	0.0046	0.4175	0.3289	0.2699	0.3468	0.2397	0.1688
uy	0.0097	0.0156	0.0025	0.0125	0.0224	0.0330	0.0526
vn	0.0136	0.0797	0.0500	0.0666	0.3596	0.5067	0.5758
ws	0.0006	0.0840	0.0109	0.0081	0.0287	0.0174	0.0142
xyz	NaN	NaN	NaN	0.0008	0.1076	0.1504	0.0969
za	0.0126	0.1613	0.0737	0.1455	0.2097	0.0354	0.1986