Deusu.de Blog

28.10.2016

Zwei Jahre DeuSu in Zahlen

Heute vor genau zwei Jahren ging DeuSu an den Start. Ich glaube das ist eine gute Gelegenheit mal die Entwicklung in Zahlen zu betrachten.

 

Suchindex

Anfangs waren circa 320 Millionen Seiten im Suchindex. Jetzt sind es mehr als 2,1 Milliarden Seiten.

Der fertige Index belegt circa 1,2tb verteilt auf drei SSDs mit jeweils 500gb Kapazität. Für die Suchabfragen wird ein Windows-Server mit zwei SSDs, und ein Linux-Server mit einer SSD eingesetzt. Beide haben jeweils 32gb RAM.

Gebildet wird der Suchindex aus circa 2,8tb an bereits "vorgekauten" Daten. Diese enthalten für jede Seite die URL, Überschrift, Kurzzusammenfassung und alle auf der Seite vorkommenden Seiten.

Der Hauptindex besteht aus 32 Teilen die relativ unabhängig voneinander sind. Einen dieser 32 Teile neu zu crawlen dauert jeweils circa 3 Tage. Darin enthalten sind 3 Stunden die jeweils benötigt werden um aus den "vorgekauten" Daten den Index zu berechnen.

Zusätzlich zum Hauptindex kommen noch drei kleinere Indizes mit jeweils weniger als einer Million Seiten. Diese Indizes enthalten aktuelle Nachrichten, Blogbeiträge, manuell angemeldete Seiten, und besonders ausführlich gecrawlte Seiten wie Wikipedia und StackOverflow.

 

Crawler

Der Crawler hat pro Tag circa 1,5tb an eingehenden Daten, die dann sofort geparst (=vorgekaut) werden. Jeder der 32 Teilindizes wird in mehreren Durchläufen bearbeitet. Jeder Durchlauf fängt relativ langsam an mit circa 400 URLs/s, wird dann aber zum Ende hin schneller bis hin zu mehr als 1000 URLs/s.

Obwohl ein Teilindex am Ende nur aus 65-70 Millionen Seiten besteht, müssen für die Erstellung jeweils etwas über 100 Millionen Seiten gecrawlt werden. Die Differenz entsteht, weil viele irgendwann mal gefundene Links inzwischen nicht mehr existieren, oder andere Fehler auftreten.

Insgesamt hat der Crawler bis jetzt über 500tb an Daten abgerufen und verarbeitet.

 

Webseite

DeuSu.de ging am 28.10.2014 online. Am 12.12.2014 folgte dann die englische Ausgabe auf deusu.org.

Zusammen hatten diese bis jetzt 276.000 Besucher. Insgesamt wurden circa 1,45 Millionen Seiten angezeigt, davon circa 830.000 Suchergebnisseiten. Dieses Blog allein kommt inzwischen jeden Monat auf circa 3.000 Aufrufe.

 

Blog

Es gab bisher 56 Blogposts in Deutsch und 20 in Englisch (dieses Posting nicht mitgezählt).

Diese 76 Blogposts haben zusammen zu 286 Kommentaren geführt. Und auch zu 257 Spam-Kommentaren, die ich entfernen musste. :)

 

API

Das API von DeuSu ist jetzt seit etwas über einem Monat aus der Beta-Phase raus. Seitdem gab es circa 116.000 Suchabfragen über das API.

Aktuell kommen circa 60-65% aller Suchabfragen über das API. Es gibt also bereits mehr Suchabfragen über das API, als über die Webseite von DeuSu.

 

Spenden

Im ersten Jahr kamen knapp €1200 an Spenden zusammen. Im zweiten Jahr waren es circa €2.750.

Es gab insgesamt 140 Spenden von - soweit ich das sagen kann - 92 unterschiedlichen Personen. Die größte Einzelspende betrug €500.

Der häufigste Spender hat insgesamt 25x gespendet, mit einer Gesamtsumme von €458. Es gibt 7 Personen, die bis jetzt jeweils €100 oder mehr gespendet haben, entweder als Einzelspende oder über mehrere Spenden zusammen genommen.

 

Danke

Meinen herzlichen Dank an alle die DeuSu unterstützt haben. Entweder durch Spenden, oder indem sie anderen von DeuSu erzählt haben, oder einfach nur durch ermunternde Kommentare im Blog bzw. in Emails.

VIELEN DANK EUCH ALLEN !!!

Kommentare:

Sie möchten einen Kommentar zu diesem Blog-Posting abgeben? Falls ja, tragen Sie Ihren Kommentar bitte einfach in dem unten stehenden Feld ein, und klicken dann auf "Absenden".

Kommentare erscheinen erst nach manueller Kontrolle. Leider gab es sonst zu viel Spam.


Zurück zur Blog-Übersicht