Deusu.de Blog

2.1.2016

Fazit Dezember 2015 - Vorschau auf Januar 2016

Spenden:

Im Dezember kamen durch Spenden nur €55 zusammen. Eine Spende kam direkt am 1. Dezember und die andere kam dann am 28. Dezember. Meinen herzlichen Dank an euch beide!

Insgesamt ist das natürlich sehr wenig. Und vor allem eine große Enttäuschung und auch Überraschung für mich nachdem der November so gut lief, und leztes Jahr der Dezember auch hervorragend lief. In der Vorweihnachtszeit sind die Menschen eigentlich am spendenfreudigsten... dachte ich...

Benötigt werden für den Betrieb von DeuSu eigentlich €250 pro Monat. Nur im Zusammenhang mit dem Überschuß aus dem November - da kamen €389 zusammen - sind die €55 vom Dezember noch verkraftbar.

Ich hatte Anfang November ja schon geschrieben, dass ich noch bis Jahresende abwarte ob die Spenden die laufenden Kosten endlich decken. Die Spenden haben die Kosten im November und Dezember nicht gedeckt. Aber fast. Insgesamt kamen im November und Dezember fast 90% der Kosten über Spenden wieder rein.

Ich werde den Januar daher auch noch weiter machen. Ich werde aber auch schon Vorbereitungen treffen hier alles runterzufahren falls die Kosten weiterhin nicht gedeckt werden können.

Im Notfall kann ich alles bei mir zu Hause hosten. Das würde aber bedeuten, dass die Internet-Anbindung des Servers deutlich schlechter ist (nur 20mbit/s statt 1gbit/s), und dass ich den Index nicht mehr aktualisieren kann. Denn das braucht zwingend einen zweiten Server als Crawler.

Ich werde jetzt was die Veröffentlichung der Spenden angeht auch mal das genaue Gegenteil von dem machen, was ich in den letzten beiden Monaten gemacht habe. Bei jedem Spendeneingang werde ich die Liste der Spenden sofort aktualisieren, und tweeten werde ich auch direkt auf @DeuSu_DE. Mal schauen ob dieses direkte Feedback etwas bewirkt. Im Dezember könnten nach den sehr guten Zahlen vom November doch einige gedacht haben "Warum soll ich spenden, wenn auch so schon mehr rein kommt als nötig?".

Benutzerzahlen:

Die Benutzerzahlen sind im Tagesdurchschnitt um 4% gegenüber dem November zurück gegangen. Das war angesichts der üblicherweise sehr niedrigen Zugriffszahlen an Weihnachten und Sylvester auch nicht anders zu erwarten. Weihnachten und Sylvester haben die Leute einfach bessere Dinge zu tun als im Internet zu surfen.

Die Anzahl der Suchabfragen, die pro Benutzer gemacht wurden, ist hingegen deutlich angestiegen, und zwar von 2,59 im November auf jetzt 3,24. Und das ist immerhin ein Anstieg um 25%.

Technik:

Wie ich in meinem Zwischenbericht Dezember bereits geschrieben habe, hat es Verbesserungen bei den Suchergebnissen gegeben. Sowohl bei der Geschwindigkeit der Suche als auch bei der Qualität der Ergebnisse.

Die Aktualisierung des Suchindex ist im Dezember auch noch fertig geworden. Aber nur um Haaresbreite. Als ich gestern nachgeschaut habe, sah ich, dass die letzte Datei ein Änderungsdatum vom 31.12. um 23:59:02 Uhr hat. Gerade mal 58 Sekunden vor Mitternacht. Knapper ging es ja kaum noch. :)

Vorschau auf Januar:

Eines habe ich gestern bereits gemacht. Das SSL-Zertifikat von DeuSu ist jetzt nicht mehr von StartSSL, sondern von LetsEncrypt. StartSSL hatte noch ein Intermediate-Zertifikat welches mit dem veralteten SHA-1 Algorithmus signiert war. Bei LetsEncrypt ist alles mit dem moderneren und sichereren SHA-256 signiert. Dass sich das positiv auswirkt sieht man deutlich an dem Testergebnis von SSLLabs zu deusu.de, welches jetzt noch etwas besser ist als es vorher schon war.

Kleiner positiver Nebeneffekt für mich persönlich ist, dass jetzt alle meine Domains mit einem einzigen Zertifikat abgesichert sind. Da brauche ich jetzt nicht mehr mit mehreren Zertifikaten für alle meine diversen Webseiten rumzuhantieren. Das vereinfacht alles. Auch das Erneuern des Zertifikats ist jetzt einfacher, weil das weitgehend automatisiert ist. Bei StartSSL war doch einiges an manueller Arbeit notwendig.

HTTPS-Unterstützung im Crawler

Was kommen wird - wenn ich auch nicht weiß wie lange es dauern wird - ist dass ich dem Crawler endlich HTTPS beibringen werde. Im Moment kann DeuSu nur HTTP-Seiten erfassen. Und das macht sich bei der Qualität der Suchergebnisse doch recht negativ bemerkbar.

Leider ist das nicht so einfach, weil die Software damit bisher in keinster Weise umgehen kann. Es wird einfach nirgendwo gespeichert. Es wird immer von HTTP ausgegangen. Hier sieht man leider, dass die Software inzwischen etwas überaltert ist. Die ersten Anfänge machte ich schon vor über 15 Jahren und damals wurde HTTPS nur ganz selten benutzt. Seiten welche nur mit HTTPS zu erreichen waren gab es praktisch nicht. Daher ziehen sich die für HTTPS notwendigen Änderungen durch einen Großteil der Software.

Deutsch, Englisch und noch mehr

Ich habe in den letzten Tagen noch mal intensiv darüber nachgedacht, wie ich die Server effizienter nutzen könnte.

Hierzu habe ich mir zunächst mal genau angeschaut wonach eigentlich gesucht wird. Und mehr als 95% aller Suchabfragen beziehen sich auf Inhalte in Deutsch oder Englisch, wobei beide Sprachen fast gleich häufig vorkommen.

Dann habe ich mir angeschaut wie sich der Suchindex zur Zeit zusammensetzt. Und da sieht es anders aus. Circa 45% der Seiten im Suchindex sind in Englisch, circa 5% in Deutsch, und die restlichen 50% verteilen sich auf die diversen anderen Sprachen. Das entspricht sehr gut dem was ich vom Bauchgefühl her erwartet hatte.

Wenn ich mich mit DeuSu also auf die 95% der Suchabfragen konzentriere, die in Deutsch oder Englisch sind, dann sind 50% des derzeitigen Suchindex völlig überflüssig. Also warum nicht einfach weg damit?

Ich könnte die Software so ändern, dass ausschließlich Seiten in Deutsch oder Englisch in den Suchindex aufgenommen werden. Mir schwebt eine Verteilung von 60% Englisch und 40% Deutsch vor. Dadurch würden dann bei gleichbleibender Größe des Suchindex 1/3 mehr englischsprachige Seiten als jetzt im Index sein, und die Anzahl der deutschsprachigen Seiten würde 8x so groß sein wie jetzt.

Die 5% der Suchabfragen, die weder in Deutsch noch in Englisch sind... tja... sorry. Aber insgesamt gesehen wäre es wahrscheinlich besser wenn ich mich - zumindest für eine Weile - auf die große Mehrheit der 95% konzentriere.

Hier hätte ich aber gerne Feedback was ihr dazu meint. Würde es jemand ernsthaft stören wenn nur noch Seiten in Deutsch oder Englisch im Suchindex wären? Schreibt mir bitte in den Kommentaren was ihr davon haltet.

Kommentare:
Von: (Unbekannt)
3.1.2016, 12:19
 

Wieviele Besucher hat die Suchmaschine eigentlich? Wie hat sich das verändert in den Jahren?

Von: Michael Schöbel
3.1.2016, 12:32
 

Durchschnittliche Besucher pro Tag:

11/2014: 382
12/2014: 487
01/2015: 420
02/2015: 400
03/2015: 336
04/2015: 339
05/2015: 328
06/2015: 323
07/2015: 297
08/2015: 278
09/2015: 270
10/2015: 299
11/2015: 318
12/2015: 306

-- Michael Schöbel

Von: (Unbekannt)
3.1.2016, 17:44
 

Und vor 10 Jahren? Mehr? Weniger?

Von: Michael Schöbel
3.1.2016, 17:49
 

Damals gab es deusu.de noch nicht. Die Seite ging erst am 28.10.2014 an den Start.

Die Software wurde davor für ein kommerzielles Projekt benutzt.

-- Michael Schöbel

Von: (Unbekannt)
3.1.2016, 18:18
 

Kann man die Werte von Acoon nicht vergleichen?

Von: Michael Schöbel
3.1.2016, 18:26
 

Nicht wirklich. Acoon wurde damals aktiv beworben. Das hat natürlich für eine Menge zusätzlichen Traffic gesorgt.

-- Michael Schöbel

Von: (Unbekannt)
3.1.2016, 18:42
 

Wieviele Suchanfragen sind es denn von den jetzigen Besuchern im Verhältnis? z.b. 300 Besucher, 200 Anfragen?

Von: Michael Schöbel
3.1.2016, 18:48
 

Gestern sah es z.B. so aus:

Besucher: 363
PageViews Homepage: 689
PageViews Suchergebnisseite: 1185

Als Besucher zähle ich auch nur welche, die die Suchergebnisseite aufrufen. Hat technische Gründe. Es wäre einfach zu aufwändig das Zählverfahren für die Homepage zu implementieren. Dafür müsste die genau wie die Suchergebnisseite dynamisch generiert werden damit das funktioniert.

-- Michael Schöbel

Von: (Unbekannt)
4.1.2016, 23:23
 

hallo... wie kommt man auf die Idee eine Suchmaschine zu betreiben ? Idealismus?

Von: Michael Schöbel
5.1.2016, 08:15
 

Zum Teil Idealismus.

Aber mir geht Werbung auch selber gewaltig auf die Nerven. Insofern mache ich es natürlich auch zu einem großen Teil für mich selbst.

Und mich hat es schon immer gereizt aus Hardware möglichst viel raus zu holen. Und da bietet sich so etwas natürlich an.

-- Michael Schöbel

Von: (Unbekannt)
12.1.2016, 11:26
 

Ja aber ehrlich gesagt findet deusu so gut wie garnix was ich suche, meistens muss ich sogar noch die Url anmelden. Damit ich es beim nächsten Mal finde. Eine echte Alternative ist deusu leider nicht!

Von: Michael Schöbel
12.1.2016, 11:31
 

Hängt stark davon ab, wonach gesucht wird. Bei IT-Themen werde ich meistens fündig.

1 Mrd. Seiten im Suchindex ist auch nicht sehr viel. Die Software könnte deutlich mehr. Aber dafür fehlt leider das Geld. :(

-- Michael Schöbel

Von: (Unbekannt)
23.3.2016, 12:48
 

Hallo Michael,

Würde es jemand ernsthaft stören wenn nur noch Seiten in Deutsch oder Englisch im Suchindex wären?

Sorry for my choice: allthough it's easy to read German. I'm not good at writing it, for that reason I'm responding in English.

Yes it would in the long run.

As a big opportunity, I would like to see a lot more German sites indexed indeed. That's the first reason I found and use your site.

And I need more specific results outside IT related sites, nice to read you're working on that.

But I also need those search results for scandinavian languages as well. Although I don't speak the northern languages, most sites do use some english terms in the fields I'm looking for.

In the long run that would let you stand out from the other alternatives.

But in the long run speaking: it might be an idea to let different languages be handled by persons in those countries? And somehow combine the index of those installs from several countries?

Let's say I would run a server for the Danish and Dutch langauges. If you could combine the indexes or maybe even better: use that Danish/Dutch index seperately, independent of your own english/german index, yet present the searchresult in one go. And vice versa, could save the day and in the long run be a european alternative for the american searchengines?

Von: Michael Schöbel
23.3.2016, 13:04
 

At the moment I'm increasing the overall size of the index. Probably going to reach 2 billion pages in early May. And 4 billion by the end of the year.

I'm also increasing the number of German pages in the index by more heavily crawling sites on .de, .at and .ch domains.

I don't think it would work to have different people handle separate indeces for their countries. As soon as one external index would be included in the search-results, I would have to totally trust that person.

I would have to be sure that no spam was inserted. And that nothing was left out intentionally. Example: Boost ones own website, but completely exclude the competition from the index.

Having someone else run a separate index would mean that that person would know which query was made at which exact time. That could - probably *would* - be problematic when it comes to ensuring the privacy of the users.

BTW: If you search primarily for English words, then you may want to try deusu.org instead of deusu.de. The ranking is a bit different as deusu.de gives .de, .at and .ch domains a slight ranking-boost. Deusu.org doesn't do that.

-- Michael Schöbel

Sie möchten einen Kommentar zu diesem Blog-Posting abgeben? Falls ja, tragen Sie Ihren Kommentar bitte einfach in dem unten stehenden Feld ein, und klicken dann auf "Absenden".

Kommentare erscheinen erst nach manueller Kontrolle. Leider gab es sonst zu viel Spam.


Zurück zur Blog-Übersicht