Robot Information

Deutsch / German

Sie sind wahrscheinlich auf dieser Seite, weil Sie in Ihren Server-Logfiles den User-Agent von DeuSu gefunden haben, und nun wissen möchten, was es damit auf sich hat.

DeuSu ist eine privat betriebene Suchmaschine, welche über einen eigenen Suchindex verfügt. Um diesen Suchindex zu erstellen, müssen die Inhalte von mehr als einer Milliarde Webseiten erfasst werden. Dies ist die Aufgabe des DeuSu Robots.

Um Ihren Server nicht übermäßig zu belasten, wartet der DeuSu Robot jeweils mindestens 60 Sekunden zwischen zwei Seitenabfragen.

Zur Zeit kommen (fast) alle Abfragen des DeuSu Robots von den IP-Adressen 85.93.91.84 oder 130.180.122.35. Ausgenommen hiervon sind lediglich sehr kleine Tests, die ich nicht von einem der Server, sondern von meinem Computer zu Hause aus vornehme.

Sie möchten nicht, dass Ihre Seiten bei DeuSu erfasst werden?

Dies geht ganz einfach mit der robots.txt Datei auf Ihrem Server. Falls Sie nicht wissen, was das ist, empfehle ich diese Seite zur Information.

Um nun speziell dem DeuSu Robot zu sagen, dass er bei Ihnen keine Seiten erfassen soll, müssten Sie Ihrer robots.txt folgende Zeilen hinzufügen:


  User-agent: DeuSu
  Disallow: /

Oder, falls Sie nur bestimmte Verzeichnisse für den DeuSu Robot sperren möchten, dann geht das wie folgt:


  User-agent: DeuSu
  Disallow: /HierNicht/
  Disallow: /HierAuchNicht/

Eine Änderung Ihrer robots.txt bewirkt nicht unmittelbar, dass Ihre Seiten nicht mehr bei DeuSu gelistet werden. Sie beinflusst nur den gerade laufenden Robot. Wenn Sie Ihre Seite (oder Teile davon) für den DeuSu Robot sperren, kann es auch bis zu 24 Stunden dauern, bis der Robot Ihre robots.txt erneut abfragt. Erst danach weiß der Robot was gesperrt ist, und wird sich ab da auch daran halten.

Aus dem Suchindex verschwinden gesperrte Seiten jedoch erst, nachdem der Suchindex komplett neu erfasst wurde. Je nachdem zu welchem Zeitpunkt in einem Robot-Lauf Sie ihre robots.txt ändern, kann es bis zu drei Monaten dauern, bis von Ihnen gesperrte Seiten tatsächlich nicht mehr bei DeuSu gefunden werden können.

Sie haben Fragen zum Robot oder Probleme damit?

Falls Sie weiter gehende Fragen zum Robot haben, oder falls der Robot etwas macht, was er Ihrer Meinung nach nicht machen sollte, wenden Sie sich bitte per Email an diese Adresse:

  webmaster  ( ä t )  deusu.de

Ich werde mich dann bemühen Ihre Fragen so schnell wie möglich zu beantworten, bzw. eventuelle Probleme schnellstmöglich abzustellen.

English

You probably came to this page because you found the DeuSu user-agent in your webserver-logfiles and would like to know what exactly it is.

DeuSu is my personal project. It is a search-engine which has its very own search-index. To create this search-index, over a billion web-pages have to be crawled. The DeuSu robot is the software used to do this.

To keep your server-load low, the DeuSu robot will wait for at least 60 seconds between page-requests to your server.

Currently (almost) all requests of the DeuSu robot are coming from the IP-addresses 85.93.91.84 and 130.180.122.35. The only exception are some very small tests for which I don't use either of these servers, but for which I actually use my computer at home.

You don't want your pages to be indexed by DeuSu?

This can easily be done with the robots.txt file on your server. If you don't yet know what that is, then I suggest you take a look at this page for further information.

To specifically tell the DeuSu robot NOT to index your pages you will need to add a few lines to your robots.txt:


  User-agent: DeuSu
  Disallow: /

Or if you only want certain directories not to be indexed you can do that like this:


  User-agent: DeuSu
  Disallow: /NotThisOne/
  Disallow: /AndNeitherThisOne/

Any changes you make to your robots.txt will NOT purge the search-index immediately of your pages. It will only influence the currently running robot. And even then it can take up to 24 hours for the robot to re-check your robots.txt and see your changes. Only after that, will the robot be able to act on any additional "disallows" you have added to your robots.txt.

Pages that had already been crawled at that time will only be removed from the search-index after the next complete run of the robot. Depending on when in the crawling-cycle you make your changes, it may take up to three months for pages to be removed from the index.

You have additional questions or have encountered problems with the DeuSu robot?

If you have questions which weren't already answered in the above text, or if you problems with the robot, like for example it does something which you think it shouldn't do, please send me an email to the following address:

  webmaster  ( a t )  deusu.de

I will do my best to answer your questions as soon as possible and to fix any problems with the robot as quickly as I can.