Back to Question Center
0

Semalt alle roboter robots.txt

1 answers:

I mine roboter. txt file Jeg har en liste over roboter som ikke er tillatt å bli indeksert på nettstedet mitt, og for resten må jeg tillate alle andre roboter, men jeg vil gjerne vite den virkelige forskjellen mellom disse to reglene:

     Brukeragent: *
forby:    

og dette:

     Brukeragent: *
Tillat: /    
. - bovegas casino
February 13, 2018