Razvoj web-stranica

Robots.txt i disallow dodatnih stranica tagova

CroDexter sri 22.2.2023 11:30

Želim zabraniti crawlanje svih tag stranica koje dolaze nakon prve/osnovne stranice taga

 

Primjer zabrane:

 

/tag/xbox/page/2/

/tag/xbox/page/3/

 

Da li bi ovo bila dobra sintaksa?

 

Disallow: /tag/*/page/*

 

I ako netko ima nekakav prijedlog kako da ih označim kao no-index

 

Koristim Yoast i on naravno kaže za cijeli tag da li je index ili no-index

 

Hvala