robots.tsx

Die Datei robots.txt ist eine Textdatei, die Webmaster auf ihren Websites hinterlegen können, um Suchmaschinen mitzuteilen, welche Bereiche ihrer Website von Crawlern indexiert werden dürfen und welche nicht. Diese Datei enthält Anweisungen gemäß dem „Robots Exclusion Standard“, einem Protokoll, das von den meisten Suchmaschinen anerkannt wird. Mit der robots.txt-Datei können bestimmte Seiten, Bilder oder andere Dateien vor der Indexierung durch Suchmaschinen geschützt werden. Außerdem kann damit gesteuert werden, wie oft ein Crawler die Website besucht. Webmaster sollten sich jedoch darüber im Klaren sein, dass die robots.txt-Datei keinen absoluten Schutz bietet. Es besteht immer die Möglichkeit, dass Inhalte trotz eines Ausschlusses in der robots.txt-Datei von der Suchmaschine indexiert werden.