OrcaduBot
OrcaduBot ist der Crawler der Suchmaschine Orcadu (aktuell in geschlossener Beta - mehr dazu bald!). Der Bot meldet sich mit diesem User-Agent:
Mozilla/5.0 (compatible; OrcaduBot/0.1; +https://orcadu.com/bot)
Was er tut
- Er liest Feeds und Sitemaps und ruft Seiten ab, die neu sind oder sich geändert haben könnten.
- Er respektiert
robots.txt, auch dieCrawl-delayAnweisung, und fragt bedingt an (If-None-Match,If-Modified-Since), damit unveränderte Seiten nicht erneut übertragen werden müssen. - Ist
robots.txtnicht erreichbar, crawlt er die Website nicht.
OrcaduBot sperren
Mit diesem Eintrag in Ihrer robots.txt ruft OrcaduBot keine Seiten Ihrer Website mehr ab:
User-agent: OrcaduBot
Disallow: /
Kontakt
Bei Fragen zu OrcaduBot oder Problemen schreiben Sie uns an info@tibush.com.
OrcaduBot
OrcaduBot is the crawler of the Orcadu search engine (currently in closed beta - more soon!). It identifies itself with this user agent:
Mozilla/5.0 (compatible; OrcaduBot/0.1; +https://orcadu.com/bot)
What it does
- It reads feeds and sitemaps and fetches pages that are new or may have changed.
- It honours
robots.txt, includingCrawl-delay, and sends conditional requests (If-None-Match,If-Modified-Since) so unchanged pages don't need to be transferred again. - If
robots.txtcan't be reached, it doesn't crawl the site.
Blocking OrcaduBot
With this entry in your robots.txt, OrcaduBot won't fetch any pages of your site:
User-agent: OrcaduBot
Disallow: /
Contact
If you have questions about OrcaduBot or problems, please write to info@tibush.com.