Archief - Beveilig een PHP website van zoekmachines

Het archief is een bevroren moment uit een vorige versie van dit forum, met andere regels en andere bazen. Deze posts weerspiegelen op geen enkele manier onze huidige ideeën, waarden of wereldbeelden en zijn op sommige plaatsen gecensureerd wegens ontoelaatbaar. Veel zijn in een andere tijdsgeest gemaakt, al dan niet ironisch - zoals in het ironische subforum Off-Topic - en zouden op dit moment niet meer gepost (mogen) worden. Toch bieden we dit archief nog graag aan als informatiedatabank en naslagwerk. Lees er hier meer over of start een gesprek met anderen.
D

Danet

Legacy Member
Hoe begin ik hieraan?
Ik dacht aan een wachtwoord indien je de website wilt bezoeken ofzo... Eigenlijk is het belangrijkste dat hij uit alle zoekmachines blijft, de rest is bijzaak...

Hoe doe je zo iets?
D

Danet

Legacy Member
jeff_tw zei:
<meta name="robots" content="noindex"> toevoegen?
Klik om te vergroten...

Zat ik ook net te lezen. Tekst dan telkens tussen deze tags zetten? Zal ik er dan uitblijven of moet ik hieraan dan nog een reuze database koppelen die ik regelmatig moet updaten?
b

bugoff

Legacy Member
Je kan ook gebruik maken van een zogenaamd robots.txt bestand, je plaatst dit in uw homedirectory zodat deze beschikbaar is als je naar http://www.uwwebsite.tld/robots.txt surft.

Daarin zet je dan iets als

User-agent: *
Disallow: /


Daarmee zeg je tegen elke robot dat hij de site niet mag indexeren.
D

Danet

Legacy Member
en die luisteren daar naar? die bekijken altijd eerst zo een file?
b

bugoff

Legacy Member
Dat is toch de bedoeling van zo'n bestand, daarmee kan je wel niet tegengaan dat gebruikers of spambots een link leggen naar uw site.
D

Danet

Legacy Member
bugoff zei:
Dat is toch de bedoeling van zo'n bestand, daarmee kan je wel niet tegengaan dat gebruikers of spambots een link leggen naar uw site.
Klik om te vergroten...

das geen probleem, het zou gewoon een systeem zijn waar niet een gewone gebruiker op zou mogen komen laat staan een zoekmachine (onbekenden)

laatste vraag (indien dit werkt ofc):

- public_html/mijnwebsite
- public_html/mijnwebsite/depaginasdieiknietwillatenzien/robots.txt

Dat ga toch niet de bots van mijn gewone website tegen houden? Want dat is natuurlijk ook niet de bedoeling
b

bugoff

Legacy Member
De robots.txt moet altijd in uw root folder staan, dus altijd http://www.uwwebsite.tld/robots.txt

Je kan wel het pad aanpassen die niet geindexeerd mag worden, hiervoor pas je gewoon uw Disallow aan.

Bvb : Disallow: /depaginasdieiknietwillatenzien/
s

scipicore

Legacy Member
Ik heb een flauw vermoeden dat je best ook gebruik maakt van een .htaccess bestand. Ik dacht dat pagina's die beschermd zijn met htaccess ook niet gevonden worden door zoekrobotten?
d

dJeez

Legacy Member
scipicore zei:
Ik heb een flauw vermoeden dat je best ook gebruik maakt van een .htaccess bestand. Ik dacht dat pagina's die beschermd zijn met htaccess ook niet gevonden worden door zoekrobotten?
Klik om te vergroten...
Als je het over basic/digest authentication via .htaccess hebt : de pagina's worden wel gevonden (door links die er naar verwijzen), maar niet geïndexeerd aangezien de inhoud niet te consulteren valt zonder de correcte gebruiker/paswoord...
C

Cycloon

Legacy Member
Ik ben trouwens bijna zeker dat de vele kleine zoekmachines zich totaal niks aantrekken van dat robots.txt bestand.
D

Danet

Legacy Member
Cycloon zei:
Ik ben trouwens bijna zeker dat de vele kleine zoekmachines zich totaal niks aantrekken van dat robots.txt bestand.
Klik om te vergroten...

Das ook zo een beetje mijn vrees, maar kom, google alleen is al een zeer grote stap :p


bugoff zei:
De robots.txt moet altijd in uw root folder staan, dus altijd http://www.uwwebsite.tld/robots.txt

Je kan wel het pad aanpassen die niet geindexeerd mag worden, hiervoor pas je gewoon uw Disallow aan.

Bvb : Disallow: /depaginasdieiknietwillatenzien/
Klik om te vergroten...

merci om dit even te verduidelijken, mijn fout dat ik het allemaal niet zo goed gelezen heb


scipicore zei:
Ik heb een flauw vermoeden dat je best ook gebruik maakt van een .htaccess bestand. Ik dacht dat pagina's die beschermd zijn met htaccess ook niet gevonden worden door zoekrobotten?
Klik om te vergroten...

dat wachtwoord systeem ziet er voor mij wel oke uit. Ga het vanavond eens doornemen, hopelijk is het van een middelmatige moeilijkheidsgraad
Het archief is een bevroren moment uit een vorige versie van dit forum, met andere regels en andere bazen. Deze posts weerspiegelen op geen enkele manier onze huidige ideeën, waarden of wereldbeelden en zijn op sommige plaatsen gecensureerd wegens ontoelaatbaar. Veel zijn in een andere tijdsgeest gemaakt, al dan niet ironisch - zoals in het ironische subforum Off-Topic - en zouden op dit moment niet meer gepost (mogen) worden. Toch bieden we dit archief nog graag aan als informatiedatabank en naslagwerk. Lees er hier meer over of start een gesprek met anderen.
Terug
Bovenaan