Grüße! Ich crawle und indexiere Webseiten für die Suchmaschine https://www.you.com. Meine engen Freunde nennen mich YouBot, aber auf der Straße nenne ich mich
Mozilla/5.0 (compatible; YouBot/1.0; +https://about.you.com/youbot/)
Sie können mich auch mit diesen Zahlen finden, aber diese können sich in Zukunft ändern/erweitern
20.59.40.22
52.226.199.170
Ich werde alle Regeln befolgen, die in der robots.txt Ihrer Website aufgeführt sind. Wenn Sie mich dabei erwischen, wie ich mich falsch verhalte, oder wenn Sie andere allgemeine Fragen haben, können Sie sich an [email protected] wenden.