Top-Level Domains of Selected Crawls

Just the distribution (percentage / relative frequency) of URLs on top-level domains for few selected crawls, include the latest monthly crawl… Only TLDs which reach at least 0.05% in one of the selected crawls are shown.

crawl	CC-MAIN-2008-2009	CC-MAIN-2012	CC-MAIN-2014-10	CC-MAIN-2016-30	CC-MAIN-2019-09	CC-MAIN-2022-49	CC-MAIN-2025-05
tld
ae	0.0010	0.0102	0.0123	0.0099	0.0267	0.0453	0.0676
ai	0.0000	0.0004	0.0000	0.0000	0.0049	0.0257	0.0671
app	NaN	NaN	NaN	NaN	0.0054	0.0993	0.1232
ar	0.0818	0.2381	0.0991	0.0782	0.2124	0.3149	0.3374
at	0.0025	0.3797	0.0632	0.1556	0.4181	0.4899	0.4378
au	0.6008	0.9935	0.4579	0.5644	0.9384	0.2566	1.1790
be	0.0024	0.3972	0.0564	0.1547	0.4504	0.6218	0.5492
bg	0.0010	0.0379	0.0078	0.0161	0.1110	0.1415	0.1507
biz	0.5549	0.3747	0.0384	0.0532	0.2753	0.1654	0.1509
blog	NaN	NaN	NaN	NaN	0.0887	0.1754	0.0413
br	0.3366	0.7642	0.2175	0.2958	1.1838	0.3431	1.6070
by	0.0023	0.0353	0.0009	0.0138	0.2157	0.1636	0.1801
ca	0.0141	0.6900	0.4690	0.5206	0.7442	0.9785	0.9348
cat	0.0004	0.0496	0.0103	0.0150	0.0928	0.1415	0.1110
cc	0.0035	0.0957	0.0404	0.1105	0.1025	0.1145	0.1365
ch	0.0033	0.5266	0.1018	0.2150	0.5647	0.6406	0.6171
cl	0.0010	0.0834	0.0660	0.0633	0.1190	0.2036	0.2469
club	NaN	NaN	0.0000	0.0004	0.0991	0.0751	0.0663
cn	1.0883	0.4208	0.0157	0.3096	0.8925	0.7144	0.8901
co	0.0165	0.0454	0.0328	0.0638	0.4117	0.4353	0.4537
com	71.2866	55.8056	74.6955	69.1879	46.5618	48.6719	44.6113
cz	0.0065	0.7827	0.0480	0.2279	1.0380	1.1067	1.0323
de	0.0523	4.8447	0.7005	1.5108	4.0425	4.5059	4.2657
dk	0.0033	0.3705	0.0803	0.1525	0.3849	0.4516	0.4852
edu	1.2783	0.6182	3.0895	2.9480	0.6394	1.5089	1.0290
ee	0.0003	0.0482	0.0058	0.0134	0.1144	0.1542	0.1573
es	0.0339	0.6739	0.1764	0.2350	0.8855	1.0334	0.9626
eu	0.0045	0.4590	0.1181	0.1842	0.7739	0.7503	0.7079
fi	0.0009	0.1757	0.0262	0.0514	0.2878	0.3948	0.3521
fm	0.0001	0.0631	0.0582	0.0879	0.0401	0.0666	0.0650
fr	0.0197	1.3204	0.2698	0.4411	1.6476	1.9884	1.8437
gov	0.3797	0.2692	1.6174	1.5331	0.2413	0.4908	0.3878
gr	0.0014	0.1163	0.0574	0.0765	0.4004	0.5683	0.5406
hk	0.0355	0.0431	0.0170	0.0253	0.0784	0.1076	0.1206
hr	0.0034	0.0683	0.0136	0.0279	0.0951	0.1506	0.1731
hu	0.0025	0.3733	0.0466	0.0971	0.4638	0.5883	0.4755
id	0.0006	0.0648	0.0556	0.0675	0.1582	0.2775	0.4281
ie	0.0017	0.1183	0.0746	0.0920	0.1361	0.2023	0.1789
il	0.0136	0.0865	0.0216	0.0395	0.1696	0.0431	0.2302
in	0.0100	0.2150	0.1058	0.1037	0.4131	0.5477	0.6619
info	1.8065	1.3295	0.1828	0.2468	1.4382	0.7188	0.6372
int	0.0000	0.0136	0.0739	0.0816	0.0166	0.0329	0.0214
io	NaN	0.0049	0.0128	0.0189	0.1393	0.2233	0.2648
ir	0.0007	0.0553	0.0141	0.0144	0.3401	0.3414	0.3763
is	0.0001	0.0345	0.0379	0.0362	0.0397	0.0565	0.0622
it	0.0439	1.3313	0.2255	0.4406	1.6587	2.0866	1.8696
jp	0.0518	1.1750	0.1047	0.6076	2.1482	1.5386	2.2997
kr	0.0009	0.0781	0.0451	0.0846	0.3452	0.3300	0.3847
kz	0.0003	0.0215	0.0009	0.0096	0.1193	0.1162	0.1360
lt	0.0003	0.0999	0.0063	0.0218	0.1430	0.1669	0.1749
lv	0.0013	0.0610	0.0048	0.0140	0.0988	0.1009	0.1080
me	0.0000	0.0586	0.0367	0.0557	0.3162	0.2106	0.1770
mx	0.0786	0.1461	0.0752	0.0898	0.1994	0.1446	0.3053
my	0.0302	0.0465	0.0285	0.0414	0.0789	0.1084	0.1201
net	9.2008	5.4532	3.2465	3.4277	4.3707	3.7238	3.3979
news	NaN	NaN	NaN	0.0017	0.0349	0.0821	0.0808
ng	0.0008	0.0013	0.0008	0.0010	0.0360	0.0579	0.0559
nl	0.0073	1.4586	0.1612	0.4427	1.4070	1.8721	1.5989
no	0.0063	0.2377	0.0612	0.0717	0.2701	0.3579	0.3237
nu	0.0001	0.0662	0.0271	0.0208	0.0747	0.0572	0.0491
nz	0.0322	0.2276	0.0710	0.0815	0.2164	0.0695	0.2539
online	NaN	NaN	NaN	0.0013	0.0663	0.1164	0.1569
org	8.1018	6.0336	9.8274	10.5492	5.4732	6.5365	5.4975
pe	0.0155	0.0288	0.0077	0.0153	0.0463	0.0723	0.0901
ph	0.0157	0.0316	0.0106	0.0096	0.0389	0.0559	0.0587
pk	0.0074	0.0141	0.0109	0.0137	0.0411	0.0695	0.0866
pl	0.1857	1.8387	0.0851	0.2666	1.5389	1.6961	1.7386
pro	0.0000	0.0082	0.0011	0.0019	0.0707	0.0863	0.0966
pt	0.0178	0.1075	0.0414	0.0590	0.2082	0.2821	0.3048
ro	0.0191	0.5858	0.0252	0.0918	0.4795	0.5713	0.6217
rs	0.0002	0.0389	0.0074	0.0186	0.0936	0.1488	0.1492
ru	0.0533	1.7338	0.0892	0.6051	6.1185	4.3417	4.6090
se	0.0019	0.5331	0.1349	0.1919	0.7088	0.6318	0.6017
sg	0.0229	0.0486	0.0190	0.0219	0.0637	0.0840	0.0878
shop	NaN	NaN	NaN	0.0000	0.0243	0.1148	0.2245
si	0.0027	0.0569	0.0071	0.0105	0.0897	0.1523	0.1403
sk	0.0010	0.1601	0.0107	0.0502	0.2661	0.3718	0.3624
store	NaN	NaN	NaN	0.0000	0.0090	0.0504	0.0907
su	0.0001	0.0304	0.0025	0.0052	0.1154	0.0840	0.0757
th	0.0003	0.0217	0.0206	0.0316	0.0681	0.0808	0.1183
tk	0.0000	0.0244	0.0015	0.0021	0.0982	0.0442	0.0039
top	NaN	NaN	NaN	0.0001	0.0405	0.0697	0.0843
tr	0.0623	0.1156	0.0503	0.0769	0.1945	0.0920	0.3772
tv	0.0013	0.2584	0.1455	0.1339	0.2396	0.2086	0.1868
tw	0.0923	0.1092	0.0505	0.0986	0.3126	0.1674	0.3633
ua	0.2190	0.4144	0.0099	0.0538	0.9992	0.3670	0.6859
uk	4.0408	3.5037	1.5933	1.6473	2.5207	0.4011	2.2933
us	0.0046	0.4177	0.3289	0.2700	0.3473	0.2402	0.1900
vn	0.0136	0.0797	0.0500	0.0667	0.3601	0.5077	0.5119
ws	0.0006	0.0841	0.0109	0.0081	0.0287	0.0174	0.0159
xyz	NaN	NaN	NaN	0.0008	0.1078	0.1507	0.1630
za	0.0126	0.1614	0.0737	0.1456	0.2100	0.0355	0.2597