Deusu.de Blog

14.11.2015

Suchindex jetzt mit mehr als 770 Millionen Seiten

Ich habe eben ein großes Update des Suchindex eingespielt. Damit sind jetzt über 770 Millionen Seiten durchsuchbar. Dies ist etwas mehr als das Doppelte von dem was vorher erfasst war.

Mit diesem Update einher ging auch eine wesentliche Änderung wie der Suchindex aufgebaut ist. Bisher war es so, dass der Hauptindex (es gibt noch kleine Nebenindizes z.B. für Nachrichten und neu angemeldete Seiten) ein einziger Index war, und auch nur als Ganzes upgedatet werden konnte.

Jetzt besteht der Hauptindex aus 32 Teilen, die alle einzeln upgedatet werden können. Dazu kommt, dass die Suche jetzt nicht mehr Single-Threaded abläuft, sondern durch die Aufteilung des Index mit 32 Threads läuft. Ein Nebeneffekt davon ist auch noch, dass durch das Multi-Threading die mögliche Datentransferrate der SSDs viel besser ausgenutzt wird. Ich sehe hier bei Suchabfragen wie von zwei SSDs gleichzeitig mit jeweils über 500 Megabyte/s gelesen wird.

Ich habe noch ein paar weitere Ideen was verbessert werden kann. So habe ich vor die Indizes zu komprimieren, damit ich noch mehr Daten erfassen kann. Der Trick dabei wird sein, das ohne Geschwindigkeitsverlust zu erreichen. Ich habe aber bereits eine gute Vorstellung davon, wie das zu machen sein wird.

Ich werde auch an der Qualität der Suchergebnisse arbeiten. Da gibt es sicherlich noch eine Menge Potential zur Verbesserung.

Kommentare:

Sie möchten einen Kommentar zu diesem Blog-Posting abgeben? Falls ja, tragen Sie Ihren Kommentar bitte einfach in dem unten stehenden Feld ein, und klicken dann auf "Absenden".

Kommentare erscheinen erst nach manueller Kontrolle. Leider gab es sonst zu viel Spam.


Zurück zur Blog-Übersicht