Top-Level Domains of Selected Crawls

Just the distribution (percentage / relative frequency) of URLs on top-level domains for few selected crawls, include the latest monthly crawl… Only TLDs which reach at least 0.05% in one of the selected crawls are shown.

crawl	CC-MAIN-2008-2009	CC-MAIN-2012	CC-MAIN-2014-10	CC-MAIN-2016-30	CC-MAIN-2019-09	CC-MAIN-2022-49	CC-MAIN-2026-34
tld
ae	0.0010	0.0101	0.0123	0.0099	0.0266	0.0452	0.0787
ai	0.0000	0.0004	0.0000	0.0000	0.0049	0.0257	0.2048
app	NaN	NaN	NaN	NaN	0.0054	0.0990	0.1754
ar	0.0818	0.2379	0.0991	0.0782	0.2121	0.3141	0.3502
at	0.0025	0.3795	0.0632	0.1555	0.4175	0.4887	0.5068
au	0.6008	0.9929	0.4578	0.5643	0.9369	0.2559	0.9293
ba	0.0014	0.0101	0.0020	0.0028	0.0244	0.0376	0.0613
be	0.0024	0.3970	0.0564	0.1547	0.4497	0.6202	0.5572
bg	0.0010	0.0379	0.0078	0.0161	0.1108	0.1412	0.1568
biz	0.5548	0.3744	0.0384	0.0532	0.2749	0.1650	0.1293
blog	NaN	NaN	NaN	NaN	0.0885	0.1749	0.0418
br	0.3366	0.7637	0.2175	0.2958	1.1819	0.3422	1.7884
by	0.0023	0.0352	0.0009	0.0138	0.2154	0.1632	0.2548
ca	0.0141	0.6896	0.4689	0.5205	0.7430	0.9760	0.8378
cat	0.0004	0.0495	0.0103	0.0150	0.0926	0.1412	0.1272
cc	0.0035	0.0956	0.0404	0.1105	0.1023	0.1143	0.1542
ch	0.0033	0.5263	0.1018	0.2150	0.5638	0.6390	0.6729
cl	0.0010	0.0834	0.0660	0.0633	0.1188	0.2031	0.2287
click	NaN	NaN	NaN	0.0001	0.0057	0.0200	0.0544
club	NaN	NaN	0.0000	0.0004	0.0990	0.0749	0.0623
cn	1.0881	0.4206	0.0157	0.3095	0.8910	0.7126	0.9340
co	0.0165	0.0453	0.0328	0.0638	0.4110	0.4342	0.4624
com	71.2774	55.7703	74.6850	69.1667	46.4863	48.5509	42.6231
cz	0.0065	0.7822	0.0480	0.2278	1.0363	1.1040	1.1452
de	0.0523	4.8416	0.7004	1.5103	4.0359	4.4947	4.4977
dev	NaN	NaN	NaN	NaN	0.0000	0.0189	0.0607
dk	0.0033	0.3703	0.0803	0.1524	0.3843	0.4505	0.5245
edu	1.2782	0.6178	3.0891	2.9470	0.6384	1.5051	0.7850
ee	0.0003	0.0481	0.0058	0.0134	0.1142	0.1539	0.1777
es	0.0339	0.6735	0.1764	0.2350	0.8841	1.0308	0.9399
eu	0.0045	0.4587	0.1181	0.1841	0.7726	0.7484	0.7507
fi	0.0009	0.1755	0.0262	0.0514	0.2874	0.3938	0.3697
fm	0.0001	0.0631	0.0582	0.0879	0.0401	0.0665	0.0422
fr	0.0197	1.3196	0.2698	0.4409	1.6450	1.9835	2.0334
ge	0.0005	0.0064	0.0069	0.0089	0.0325	0.0380	0.0542
gov	0.3797	0.2691	1.6172	1.5327	0.2409	0.4896	0.4181
gr	0.0014	0.1162	0.0574	0.0765	0.3997	0.5669	0.5118
hk	0.0355	0.0431	0.0170	0.0253	0.0783	0.1074	0.1195
hr	0.0034	0.0683	0.0136	0.0279	0.0949	0.1502	0.1693
hu	0.0025	0.3730	0.0466	0.0971	0.4631	0.5868	0.5066
id	0.0006	0.0648	0.0556	0.0675	0.1579	0.2768	0.4268
ie	0.0017	0.1182	0.0746	0.0920	0.1359	0.2018	0.1466
il	0.0136	0.0864	0.0216	0.0395	0.1694	0.0430	0.2353
in	0.0100	0.2149	0.1058	0.1037	0.4124	0.5463	0.6697
info	1.8063	1.3287	0.1827	0.2468	1.4358	0.7170	0.5795
int	0.0000	0.0135	0.0739	0.0816	0.0166	0.0328	0.0170
io	NaN	0.0049	0.0128	0.0189	0.1390	0.2228	0.3754
ir	0.0007	0.0553	0.0141	0.0144	0.3395	0.3406	0.4158
is	0.0001	0.0345	0.0379	0.0362	0.0396	0.0564	0.0512
it	0.0439	1.3304	0.2254	0.4405	1.6561	2.0815	1.9104
jp	0.0518	1.1742	0.1047	0.6075	2.1447	1.5348	2.4115
kr	0.0009	0.0780	0.0451	0.0845	0.3447	0.3292	0.4572
kz	0.0003	0.0215	0.0009	0.0096	0.1191	0.1159	0.1986
lt	0.0003	0.0999	0.0063	0.0218	0.1428	0.1665	0.1859
lv	0.0013	0.0609	0.0048	0.0140	0.0987	0.1007	0.1068
ma	0.0008	0.0081	0.0009	0.0028	0.0206	0.0330	0.0524
md	0.0005	0.0168	0.0016	0.0034	0.0358	0.0423	0.0587
me	0.0000	0.0586	0.0367	0.0557	0.3157	0.2101	0.1835
mx	0.0786	0.1460	0.0752	0.0897	0.1990	0.1442	0.2915
my	0.0302	0.0464	0.0285	0.0413	0.0788	0.1082	0.1265
net	9.1996	5.4497	3.2461	3.4267	4.3636	3.7146	2.9608
news	NaN	NaN	NaN	0.0017	0.0349	0.0819	0.0878
ng	0.0008	0.0013	0.0008	0.0010	0.0359	0.0577	0.0564
nl	0.0073	1.4577	0.1612	0.4425	1.4047	1.8675	1.4323
no	0.0063	0.2375	0.0612	0.0717	0.2696	0.3570	0.3274
nu	0.0001	0.0661	0.0271	0.0208	0.0746	0.0571	0.0523
nz	0.0322	0.2274	0.0710	0.0815	0.2160	0.0693	0.1947
online	NaN	NaN	NaN	0.0013	0.0662	0.1161	0.1334
org	8.1007	6.0298	9.8260	10.5459	5.4643	6.5203	5.5938
pe	0.0155	0.0288	0.0077	0.0153	0.0462	0.0721	0.0844
ph	0.0157	0.0316	0.0106	0.0096	0.0388	0.0558	0.0605
pk	0.0074	0.0141	0.0109	0.0137	0.0410	0.0694	0.0836
pl	0.1857	1.8376	0.0850	0.2665	1.5364	1.6918	1.9062
pro	0.0000	0.0082	0.0011	0.0019	0.0705	0.0861	0.0979
pt	0.0178	0.1074	0.0414	0.0590	0.2079	0.2814	0.3008
ro	0.0191	0.5854	0.0252	0.0918	0.4787	0.5699	0.5863
rs	0.0002	0.0389	0.0074	0.0186	0.0934	0.1484	0.2022
ru	0.0533	1.7327	0.0891	0.6049	6.1086	4.3309	5.2142
se	0.0019	0.5328	0.1348	0.1918	0.7077	0.6302	0.6825
sg	0.0229	0.0486	0.0190	0.0219	0.0636	0.0838	0.0753
shop	NaN	NaN	NaN	0.0000	0.0243	0.1145	0.1475
si	0.0027	0.0568	0.0071	0.0105	0.0895	0.1519	0.1453
sk	0.0010	0.1600	0.0107	0.0502	0.2657	0.3709	0.4066
store	NaN	NaN	NaN	0.0000	0.0090	0.0503	0.0598
su	0.0001	0.0304	0.0025	0.0052	0.1152	0.0838	0.0889
th	0.0003	0.0217	0.0206	0.0316	0.0680	0.0806	0.1287
tk	0.0000	0.0244	0.0015	0.0021	0.0980	0.0441	0.0020
top	NaN	NaN	NaN	0.0001	0.0404	0.0695	0.0750
tr	0.0623	0.1155	0.0503	0.0769	0.1942	0.0917	0.5006
tv	0.0013	0.2583	0.1455	0.1339	0.2392	0.2081	0.2071
tw	0.0923	0.1091	0.0505	0.0985	0.3121	0.1670	0.4226
ua	0.2189	0.4141	0.0099	0.0538	0.9976	0.3661	0.9502
uk	4.0402	3.5015	1.5930	1.6468	2.5166	0.4001	2.1128
us	0.0046	0.4174	0.3288	0.2699	0.3467	0.2396	0.1666
uy	0.0097	0.0156	0.0025	0.0125	0.0224	0.0330	0.0528
uz	0.0001	0.0062	0.0001	0.0004	0.0206	0.0257	0.0561
vn	0.0136	0.0797	0.0500	0.0666	0.3595	0.5064	0.6015
ws	0.0006	0.0840	0.0109	0.0081	0.0287	0.0174	0.0137
xyz	NaN	NaN	NaN	0.0008	0.1076	0.1504	0.1038
za	0.0126	0.1613	0.0737	0.1455	0.2097	0.0354	0.2270