pagina's onzichtbaar voor zoekmachines
ik heb deze code:
User-agent: *
Disallow: /*?
alleen hij werkt niet overal staan de pagina's nog.
en de tekst staat in " robots.txt" dat moet toch.
alfast bedankt
Code (php)
1
2
2
User-agent: *
Disallow: /
Disallow: /
dus zo
User-agent: *
Disallow: /*?
User-agent: *
Disallow: /
Toevoeging op 07/06/2011 18:02:43:
en wat dag je van dit:
<head>
<META NAME="robots" CONTENT="noindex">
</head>
dit moet je wel overal op zetten wat je wil blokeren maar het werkt wel zeggen ze er gens anders gezien
Met wat ik heb geplaatst, kan je prima zoekmachines weren. Niets meer en niets minder.
Ook die meta-tag is een optie, hoewel een robots.txt makkelijker werkt.
Code (php)
1
Disallow: /*?
Dit gebruik je om je pagina's die $_GET variabelen hebben, te weren uit de zoekindex, wat dubbele content voorkomt en de basis pagina relevanter maakt.
Voorbeeld:
Als je mod_rewrite, wil je niet dat je /blabla/ ook als ?page=blabla wordt geindexeerd.
Code (php)
1
2
3
2
3
Disallow: /*.php$
Disallow: /*?page=*
Disallow: /*?SID=
Disallow: /*?page=*
Disallow: /*?SID=
Verder kan je hiervoor de canonical meta tag gebruiken. Hierdoor weten zoekmachine's, als ze perongeluk (bv: door een externe linkje) op ?page=blabla terecht komen, dat ze toch /blabla/ moeten indexeren.
Code (php)
1
<link rel="canonical" href="http://www.website.nl/blabla/" />
http://en.wikipedia.org/wiki/Canonical_meta_tag
Is dit ook je bedoeling?
Je vraagt hulp bij een zelfbedachte oplossing, maar misschien dat je ook onderliggende je probleem moet uitleggen. Wat wil je bereiken. (Want wellicht zijn er makkelijkere methoden).
Disallow: / volstaat als je alle pagina's van je indexatie wilt onthouden.