Hoe ferwiderje in webstee of har fragminten út de Google yndeks

Neffens it yndeksearjend konsept fêststeld troch de Google, foar rekken fan folsleinens, objektiviteit fan 'e ynformaasje en syn oerienstimming mei de sykfraach yn' e útjefte fan 'e resultaten. As de yndeks falt webside mei yllegale ynhâld, of boarne foar ûnpost, de siden fan dizze side wurde net markearre yn de mienskiplike databank sykmasine. Om ús is it wichtich om te learen hoe om te ferwiderje in side út 'e útjefte fan' e resultaten fan it sykjen tsjinner.

Farianten fan nul yndeksearjend Google

Sadree't it sykjen robot - in programma te sammelje ynformaasje oer nije middels - sil scan de side side by side, dan, doe't ûnder Google belied easken foar it parsen, dan sil wurde yndeksearre. Mar wy ek sjen kinne hoe't te ferwiderjen dyn site of fragminten foar de sykmasjines fia in robots.txt - yndeks en sykje tagelyk halte.

Om útslute út 'e útjefte fan' e boarne as gehiel, en de woartel map fan de tsjinner op dêr't it plak leit, ûntstiet der in bepaalde tekst gebiet - sei robots.txt. Dit sône wurdt behannele mei de sykmasines en hannelje neffens de ynstruksjes lêze.

Hâld yn gedachten dat de Google sykmasine yndeksearret de side, sels as in brûker hat tagong ta werjefte ferbean. Doe't de browser reagearret mei 401 of 403 "Tagong is ûnjildich", dan jildt allinne foar besikers, yn stee fan programma 's dy' sammelje foar dizze sykmasine.

Om begripe hoe te heljen de side fan sykmasine yndeksearjend, in tekst ôflizze moat Fier de folgjende rigels:

Meidogger-agent: Googlebot

Disallow: /

Dit jout oan de crawler nei yndeks it ferbod fan alle ynhâld op 'e site. Hjir is hoe te ferwiderje in side Google, sadat de lêste net ûnhâlde de boarne yn de list mei detektearre.

Embodiments fan skennen foar ferskillende protokollen

As jo moatte list yndividuele kommunikaasje noarmen, dêr't jo wolle jilde bysûndere regels foar Indexing de Google, bygelyks, apart foar hypertext protokollen http / https, is it ek nedich om registrearje yn it robots.txt yn de folgjende wei (foarbyld).

(Http://yourserver.com/robots.txt) - in domein namme fan jo site (gjin)

Meidogger-agent: * - eltse sykmasine

Tastean: / - allow folsleine indexation

Hoe ferwiderje in webstee út de dei hielendal nei it https protokol

(Https://yourserver.com/robots.txt):

Meidogger-agent: *

Disallow: / folsleine ban op yndeksearjend

Expedited removal URL- boarne adressen út Google SERPs

As jo net wolle wachtsjen foar re-indexation, en de side dy't jo wolle ferbergjen lykas, ik riede jo oan om de tsjinst http://services.google.com/urlconsole/controller gau as mooglik. Pre robots.txt moat pleatst wurde yn de haadtafel fan de site tsjinner. It moat wurde foarskreaun gaadlike ynstruksjes.

As de mûsoanwizer foar guon reden kin net bewurke wurde yn de haadtafel, meitsje it genôch yn de map mei doelstellings foar dêr't jo wolle te ferbergjen fan de sykmasines. Sadree't jo dat dogge en ferwize nei de tsjinst automatysk fuortheljen hypertext adressen, Google sil net scan mappen dy't stavere út in flaw yn it robots.txt.

It tiidrek fan dizze invisibility wurdt ynsteld foar 3 moannen. Nei dizze perioade, de triemtafel ôfkeard fan dei, sil wer wurde ferwurke troch Google tsjinner.

H ow fuortsmite in side te scannen part

As in sykje Bot is it lêzen fan de ynhâld fan robots.txt, dat bepaalde besluten wurde makke op basis fan syn ynhâld. Litte we sizze jo wolle útslute út sjocht de hiele map neamd Anatom. It is genôch te foarskriuwe sokke regeljouwing:

Meidogger-agent: Googlebot

Disallow: / Anatom

Of, bygelyks, jo wolle net yndeks alle ôfbylding typen .gif FoH`. Om dit te heakjen de neikommende list:

Meidogger-agent: Googlebot

Disallow: /*.gif$

Hjir is in oar foarbyld. Lit se wiske wurde út it analysearjen fan ynformaasje oer dynamysk oanmakke siden, wylst it tafoegjen oan de yndeks yngong type:

Meidogger-agent: Googlebot

Disallow: / *?

Dat is oer, en spreuken út de regels foar it sykmasines. In oar ding is dat it is folle mear handiger om gewoan gebrûk meitsje fan dizze META tag. En webmasters faak brûke krekt sa'n standert regeljen de wurking fan sykmasines. Mar wy sille beprate dit yn de takomst artikels.