Archief - robots.txt

Het archief is een bevroren moment uit een vorige versie van dit forum, met andere regels en andere bazen. Deze posts weerspiegelen op geen enkele manier onze huidige ideeën, waarden of wereldbeelden en zijn op sommige plaatsen gecensureerd wegens ontoelaatbaar. Veel zijn in een andere tijdsgeest gemaakt, al dan niet ironisch - zoals in het ironische subforum Off-Topic - en zouden op dit moment niet meer gepost (mogen) worden. Toch bieden we dit archief nog graag aan als informatiedatabank en naslagwerk. Lees er hier meer over of start een gesprek met anderen.
K

KoenDK

Legacy Member
Eerste vraagje:
waar moet ik deze plaatsen? ik zie hier: /usr/local/webpages/

daaronder zitten onze 6 websites
moet het dan in /usr/local/webpages/ of in /usr/local/webpages/website1/



Tweede vraagje:
PHP: 
User-agent: *
Disallow: /test/

de map test mag niet geïndexeerd worden
de map test bevindt zich hier => /usr/local/webpages/website1/test/



Wat ik zou doen:

robots.txt in de map /usr/local/webpages/website1/
en de inhoud laten zoals hierboven, is dit correct?
Ik vraag dit liever op voorhand want deze map mag NOOIT geïndexeerd worden door google!
e

exxhal

Legacy Member
Ik dacht dat een .htaccess ook kan om inhoud te beschermen.
Dat hoop ik toch.:rofl:
L

Lord Kveldulv

Legacy Member
Er is een groot verschil tussen inhoud 'beschermen' en voorkomen dat het geindexeerd wordt door een bot.

En dat is natuurlijk in website1 dat robots.txt moet komen.
B

Bottom

Legacy Member
Je kan in je robots.txt file direct een sitemap url toevoegen ook (als die vrij makkelijk te maken is natuurlijk), dan weet de robot direct wat hij moet volgen.
Het archief is een bevroren moment uit een vorige versie van dit forum, met andere regels en andere bazen. Deze posts weerspiegelen op geen enkele manier onze huidige ideeën, waarden of wereldbeelden en zijn op sommige plaatsen gecensureerd wegens ontoelaatbaar. Veel zijn in een andere tijdsgeest gemaakt, al dan niet ironisch - zoals in het ironische subforum Off-Topic - en zouden op dit moment niet meer gepost (mogen) worden. Toch bieden we dit archief nog graag aan als informatiedatabank en naslagwerk. Lees er hier meer over of start een gesprek met anderen.
Terug
Bovenaan