Back to Question Center
0

Semalt alle roboter robots.txt

1 answers:

I mine roboter. txt file Jeg har en liste over roboter som ikke er tillatt å bli indeksert på nettstedet mitt, og for resten må jeg tillate alle andre roboter, men jeg vil gjerne vite den virkelige forskjellen mellom disse to reglene:

  Brukeragent: *
forby: 

og dette:

  Brukeragent: *
Tillat: / 
5 days ago
Semalt alle roboter robots.txt
Reply