Amikor a Google meglátogatja a weboldalad, első dolga, hogy ellenőrzi, van-e robots.txt fájlod. Ugyanis ebben tudod szabályozni, hogy melyek azok a részei a honlapodnak, amelyeket szeretnéd, ha indexelné a Google, és melyek azok, amelyeket kifejezetten tiltasz. Megmutatom, hogyan hozd létre és milyen szempontok alapján állítsd be!