robots.txt en SSL
Arnold C
03/10/2009 20:18:00Hallo,
Ik wil een robots.txt maken met daarin een aantal regels welke bestanden en mappen niet geïndexeerd moeten worden voor een goede weergave in de zoekmachines.
Nu staat er een heel gedeelte van de website achter een beveiligde inlog, welke over een SSL vebinding loopt.
Op m'n VPS staat de 'gewone' website in "public_html", en de beveiligde SSL-inhoud in "private_html".
Ik wil de gehele inhoud van die privat_html (inlog en SSL) buiten de zoekmachine houden.
Mijn vragen:
Hoe zet ik dit in een robots.txt
Waar (welke locatie) plaats ik die robots.txt?
Ik dank maar weer bij voorbaat voor goed advies!
Ik wil een robots.txt maken met daarin een aantal regels welke bestanden en mappen niet geïndexeerd moeten worden voor een goede weergave in de zoekmachines.
Nu staat er een heel gedeelte van de website achter een beveiligde inlog, welke over een SSL vebinding loopt.
Op m'n VPS staat de 'gewone' website in "public_html", en de beveiligde SSL-inhoud in "private_html".
Ik wil de gehele inhoud van die privat_html (inlog en SSL) buiten de zoekmachine houden.
Mijn vragen:
Hoe zet ik dit in een robots.txt
Waar (welke locatie) plaats ik die robots.txt?
Ik dank maar weer bij voorbaat voor goed advies!
PHP hulp
24/11/2024 08:13:55Daniel H
03/10/2009 20:46:00Arnold C
03/10/2009 20:55:00Goed artikel. Deze had ik ook al gelezen. Eigenlijk weet ik niet zo goed wat ik als root van mn site moet opvatten. In filezilla zie ik een hele bubs mappen. Waaronder de mappen:
public_html
private_html
Als je www.domein.nl intoetst kom je bij de index.html die staat in de public_html.
Zet ik nu mn robots.txt in die public_html map?
Of, zet ik robots.txt tussen die public_html en private_html mappen?
public_html
private_html
Als je www.domein.nl intoetst kom je bij de index.html die staat in de public_html.
Zet ik nu mn robots.txt in die public_html map?
Of, zet ik robots.txt tussen die public_html en private_html mappen?
Daniel H
03/10/2009 21:30:00je zet je robotx.txt in je public_html map.
en dan doe je geloof ik gwn ../private_html.
als dat niet werkt moet je de hele url, bijvoobeeld:
/var/www/private_html/
en dan doe je geloof ik gwn ../private_html.
als dat niet werkt moet je de hele url, bijvoobeeld:
/var/www/private_html/
Arnold C
03/10/2009 21:40:00@ Daniël: Dank!
Ga ik doen.
Is het verstandig om .htacces ook op disallow te zetten?
Ga ik doen.
Is het verstandig om .htacces ook op disallow te zetten?
Gewijzigd op 01/01/1970 01:00:00 door Arnold C
Marc Cools
03/10/2009 23:12:00Ik heb eens ergens een trukje gelezen waarbij slechte bots 'gevangen' werden. In de robots.txt word een publieke directory als verboden aangeduid. De slechte bots trekken zich daar niets van aan en ... lopen in de val. Ze komen terecht in een oneindige lus.
Alleen weet ik niet meer juist hoe dat werkte. De val zelf dan.
Alleen weet ik niet meer juist hoe dat werkte. De val zelf dan.