Ho notato dai log del webserver che Yandex Bot (un robot russo) scansiona il mio sito consumando una banda enorme. Nel mio caso siamo a poco più di 2Gb al giorno e onestamente ai russi del mio sito penso che poco importi.
Yandex è il motore di ricerca più utilizzato in Russia, basta pensare che circa il 75% delle ricerche è suo; quindi fate attenzione a bloccare questo robot perchè così facendo vi escludete la visibilità verso la Russia. Nel mio caso poco mi importa in quanto non penso che i Russi siano interessati al mio Blog in quanto è scritto solamente in italiano.
Per bloccare questo robot il metodo più veloce e corretto è quello di utilizzare il file robots.txt nella root del proprio host:
# The following allows all robots to visit all files
User-agent: Yandex
Disallow: /
In questo abbiamo evitato che questo Robot abbia accesso al nostro sito, ovviamente questo metodo è valido anche per altri robot, basta cambiare Yandex con il nome del robot che volete escludere.