Google rastrea el archivo robots.txt diariamente

Leo en seroundtable que google rastrea el archivo robots.txt diariamente según lo ha confirmado un googler (JohnMu trabajador de google). Yo pensaba que no lo hacia diariamente tampoco, pero está claro que poco a poco vamos aprendiendo más sobre google.

Ésta es la respuesta que le ha dado JonhMu a un usuario y lo dice claramente en la primera línea:

ver fuente