Deusu.de Blog

6.11.2015

Ein Web-Robot, CERT-Bund, und angebliche Malware

In den letzten 7 Tagen hat mein Hosting-Provider dreimal Email von CERT-Bund bekommen. In den Emails wurde jeweils mitgeteilt, dass aufgrund von Informationen "aus vertrauenswürdigen externen Quellen" davon ausgegangen wird, dass ein von mir betriebener Server mit der Malware Zeus infiziert ist.

Natürlich ist der Server nicht infiziert. Ich habe das inzwischen zweimal überprüft.

Was ist also passiert? Nun, auf dem Server läuft der Web-Robot von DeuSu. Irgendwo wird der Robot also auf Links gestoßen sein, die auf Control-Server von Zeus verweisen. Und dann hat der Robot diese auch abgerufen.

Nur dass diese Control-Server inzwischen nicht mehr unter der Kontrolle der Betreiber von Zeus stehen, sondern unter der Kontrolle von AntiVirus-Firmen. Diese sehen dann welche IP-Adressen auf diese Server zugreifen, und melden diese IPs dann offenbar an die jeweils zuständige nationale Stelle. In diesem Fall ist das CERT-Bund. Und CERT-Bund gibt das dann ohne jegliche Prüfung an den jeweils zuständigen ISP oder Hosting-Provider weiter.

Und darüber bin ich stinksauer!

Nicht darüber, dass diese Control-Server jetzt benutzt werden um mit Zeus infizierte Systeme zu finden. Nein, das ist sehr nützlich.

Aber man sollte dabei die notwendige Sorgfalt nicht außer Acht lassen. Mein Robot gibt sich per User-Agent als "Mozilla/5.0 (compatible; DeuSu/5.0.2; +https://deusu.de/robot.html)" zu erkennen. Er ruft vor der eigentlich abgerufenen Seite die robots.txt ab. Ein Reverse-Name-Lookup der IP-Adresse ergibt robot.deusu.de.

Für jede fachlich kompetente Person wäre also leicht zu erkennen gewesen, dass hier offenbar ein Fehlalarm vorliegt. Aber bei CERT-Bund verschickt man ja lieber einfach vollautomatisiert irgendwelche Beschuldigungen.

Mich hat das eine Menge Zeit gekostet. Mein Hosting-Provider wird auch Arbeitszeit darauf verwendet haben müssen. Aber wie es für Behörden üblich ist, wird erst einmal beschuldigt. Soll der Beschuldigte doch einfach seine Unschuld beweisen.

Diese Vorgehensweise KOTZT MICH AN!!!

Ich habe es in den letzten 20 Jahren insgesamt 9x erlebt (soweit ich mich erinnern kann), dass irgendwelche Behörden völlig haltlose Beschuldigungen gegen mich erhoben haben. In jedem einzelnen Fall habe ich hieb- und stichfest beweisen können, dass diese Vorwürfe haltlos sind.

Und drei dieser Fälle waren sogar strafrechliche Ermittlungsverfahren. Ich glaube nur jemand, der so etwas schon einmal selbst miterlebt hat, kann nachvollziehen wie viel Stress so etwas verursacht. Mal ganz abgesehen davon wie viel Zeit und Geld damit verschwendet wird solche Vorwürfe entkräften zu müssen.

Ich habe seit einiger Zeit eine Grundregel: "Einmal ist Zufall, zweimal ist Pech, ab dem dritten Mal gehe ich von Vorsatz aus."

Ich glaube nicht mehr daran, dass es einfach nur Zufall ist, dass ich beschuldigt werde. Ich glaube auch nicht dass Pech die Ursache dafür ist. Ich gehe davon aus, dass man bei den Behörden einfach vorsätzlich zu faul ist. Zu faul um erst einmal seine Fakten zu überprüfen bevor man Vorwürfe erhebt. Denn für die Behörden ist es natürlich viel zeitsparender darauf zu verzichten. Den dabei entstehenden Kollateralschaden nimmt man billigend in Kauf.

Ich habe CERT-Bund eben eine in höflichem Ton verfasste Email geschickt, in der ich die Sachlage erkläre, und darum bitte die IP meines Servers auf eine Whitelist zu setzen damit so etwas nicht mehr vorkommt. Ich habe aber keine Hemmungen notfalls auch rechtliche Schritte gegen CERT-Bund einzuleiten, falls man sich da uneinsichtig zeigt.

Ich bin mal gespannt wie die Reaktion ausfällt. Ich werde hier davon berichten.

Update 7.11.2015 09:20
Heute kam ein vierter Abuse-Report von CERT-Bund. Selber blödsinniger Vorwurf.

Update 11.11.2015
Ich habe heute Antwort von CERT-Bund bekommen. Die IP-Adresse des Robots ist jetzt auf einer Whitelist. Ich bin dann jetzt fürs Erste wieder mit der Welt versöhnt. :)

Kommentare:
Von: (Unbekannt)
6.11.2015, 16:19
 

Interessanter Beitrag! Ich betreibe seit einiger Zeit selbst eine Nischen-Suchmaschine (noch nicht öffentlich erreichbar), halte mich brav an robots.txt, crawl-delay ist 5 Sekunden und ich habe trotzdem bereits häufig Beschwerden erhalten.

Ein sehr großes Berliner Krankenhaus *Hüstel* hat sogar eine giftige Email geschrieben, dass sie meinen Crawler als kritischen Angriff auf Ihre IT-Infrastruktur ansehen, und mit strafrechtlichen Konsequenzen gedroht, wenn das nicht sofort eingestellt wird.

Über 24 Stunden habe ich aber gerade mal auf 3000 URLs zugegriffen, Mindestabstand zwischen den Aufrufen 5 Sekunden. Und so noch zahlreiche andere Beschwerden.

Aber das hier geschilderte ist natürlich schon nochmal um einiges krasser!

Von: Michael Schöbel
6.11.2015, 16:28
 

5 Sekunden sind etwas kurz. Ich würde mehr empfehlen. 60 Sekunden sind ratsam.

Bei großen Seiten wie Wikipedia sind 5 Sekunden aber völlig Ok.

Ich hatte vor Jahren (damals noch mit einem anderen Projekt) mal jemand, der sich beschwert hat, weil ich auf seine robots.txt zugegriffen habe. Da hat er mir dafür bereits eine Denial-of-Service Attacke unterstellt.

Es gibt leider eine Menge Idioten da draußen. Man darf nie vergessen, dass per Definition die Hälfte aller Menschen einen IQ von *unter* 100 hat... :)

-- Michael Schöbel

Von: (Unbekannt)
6.11.2015, 16:40
 

hm die fünf Sekunden sind bei nutch z.B. default. Aber ok, werde ich wohl besser noch etwas hochsetzen (kann der Webmaster ja eigentlich auch über robots.txt festlegen, aber wissen 99 % nicht).

Ja, man lernt in der Tat viele "Wirrköpfe" (um es möglichst freundlich zu formulieren) kennen, wenn man einen Crawler betreibt :)

Viel Erfolg noch, hab gerade eine kleine Bitcoin-Spende gesendet.

Von: Michael Schöbel
6.11.2015, 17:34
 

Danke!

War die allererste Spende via Bitcoin. Jetzt weiß ich endlich dass es wirklich funktioniert. :)

-- Michael Schöbel

Von: (Unbekannt)
11.11.2015, 20:32
 

Wenn Behörden nicht bewiesene Vorwürfe machen, kommt doch nur noch mehr Arbeit mit Prozessen und Rechtsanwälten auf sie zu, oder nicht?

Außerdem müssen sie mit den Mühlen der Presse rechnen. Meiner Meinung nach wäre/ist so ein Verhalten von Behörden verantwortungslos und Dumm

Von: (Unbekannt)
19.11.2015, 14:05
 

Hallo Michael!

Deine Suchmaschine ist bei mir vor einiger Zeit in die Robot-Falle gegangen - sie hatte den einzigen Link der durch die robots.txt gesperrt ist aufgerufen. Übrigens eine globale Sperre. [User-agent: *]

Das heißt: "Deine deusu hat sich nicht an die Regeln der robots.txt gehalten!" google und alle anderen, bis auf wenige böse, tun dies jedoch.

Bevor du dich weiter über irgendwelche Anschuldigungen ärgerst, wie aus deinem Blog ersichtlich ist, solltest du deine deusu so einstellen, dass sie sich an die Regeln hält.

Die Sperre habe ich im Übrigen wieder aufgehoben. Übrigens, der verbotene leere Link findet sich bei mir nur auf der Startseite.

MfG esoist

http://esoist.bplaced.net/

ps: ich wünsche dir alles Gute, obwohl ich von deinem Projekt nicht viel halte

Von: Michael Schöbel
19.11.2015, 17:03
 

Ich habe es eben getestet, und die Software hat die Sperre des /robottrap/ Verzeichnisses korrekt erkannt.

Es gibt einen Fall, bei dem das aber passieren kann: Wenn aus irgendeinem Grund die robots.txt nicht gelesen werden kann (DNS-Lookup schägt fehl oder zu langsam, Connect nicht möglich, Server verweigert Zugriff), dann geht meine Software davon aus, dass keine robots.txt vorhanden ist, und merkt sich das für bis zu 24 Stunden. Geht dann also davon aus, das *nichts* gesperrt ist!

Zwar wird ein sofort danach erfolgender Zugriff auf eine URL wahrscheinlich ebenso fehlschlagen. Aber wenn in der Crawl-Liste gerade nicht nur diese eine, sondern noch andere URLs von diesem Server stehen, dann könnten diese einige Minuten, oder bis zu 24 Stunden später dann doch erfolgen. Dann aber natürlich unter der irrigen Annahme, dass keine robots.txt vorhanden ist.

Wird ein sehr seltener Fall sein. Ich habe jetzt in den letzten 1,5 Monaten über 1 Milliarde Seiten gecrawlt. Wenn in der Behandlung der robots.txt ein genereller Fehler wäre, dann hätte ich noch viele, VIELE andere Beschwerden bekommen.

-- Michael Schöbel

Von: (Unbekannt)
19.11.2015, 23:22
 

Hallo Michael,

dass bei mir Bots in die Falle gehen ist auch äußerst selten, darum ist mir die deusu halt besonders aufgefallen. So gesehen passt ja dann alles.

MfG esoist

Sie möchten einen Kommentar zu diesem Blog-Posting abgeben? Falls ja, tragen Sie Ihren Kommentar bitte einfach in dem unten stehenden Feld ein, und klicken dann auf "Absenden".

Kommentare erscheinen erst nach manueller Kontrolle. Leider gab es sonst zu viel Spam.


Zurück zur Blog-Übersicht