Deusu.de Blog

6.2.2017

Fazit Januar 2017

 

Spenden:

Im Januar sind €310,55 an Spenden eingegangen. Etwas mehr als das Soll.

Meinen herzlichen Dank an alle Spender!!! Ohne euch wäre DeuSu nicht möglich!

 

Den ganzen Artikel lesen und/oder kommentieren...

4.1.2017

Fazit 2016

 

Anstatt nur eines Monatsrückblicks, gibt es diesmal auch einen Rückblick auf das ganze Jahr 2016.

 

Spenden:

Im Dezember sind €336,26 an Spenden eingegangen. Diesmal also sogar etwas mehr als das Soll. Das 4. Quartal lag insgesamt bei €899,86, und damit gerade mal 14 Cent unter dem Soll. Also praktisch eine Punktlandung.

Insgesamt gab es in 2016 €2.962,09 an Spenden, 2,4x so viel wie in 2015.

Meinen herzlichen Dank an alle Spender!!! Ohne euch wäre DeuSu nicht möglich!

 

Den ganzen Artikel lesen und/oder kommentieren...

4.12.2016

Fazit November 2016

 

Spenden:

Im November sind €285,55 an Spenden eingegangen. Ganz, ganz knapp unter dem Soll, aber gut genug.

Meinen herzlichen Dank an alle Spender!!!

 

Besucherzahlen:

Die durchschnittliche Zahl an Besuchern pro Tag lag im November 17% über dem Wert vom Oktober.

 

Den ganzen Artikel lesen und/oder kommentieren...

22.11.2016

Wonach Deutschland in 2016 wirklich gesucht hat

Ich weiß, es ist noch etwas früh jetzt schon eine Statistik für ganz 2016 zu veröffentlichen. Aber ich wollte diesmal Google und Bing zeitlich schlagen, in der Hoffnung, dass die Medien diesmal über meine echte Liste berichten, anstatt sich zu sagen "Oh, wir haben ja schon über Google und Bing berichtet, da hat es jetzt keinen Nachrichtenwert mehr über die Liste von DeuSu zu schreiben".

Oder um es anders auszudrücken: Erster !  :)

Jedes jahr aufs Neue muss ich mit ansehen wie Google und Bing ihre stark geschönten Listen veröffentlichen wonach Deutschland angeblich gesucht hat. Alles gelogen!

Denn in Wirklichkeit sind die häufigsten Suchabfragen nicht über Prominente, Sportereignisse oder allgemeine Nachrichten. Diese kommen zwar auch vor, machen aber nur einen kleinen Teil der Top-100 Liste aus.

In Wirklichkeit wird sehr konzentriert nach einer Sache gesucht: Sex

 

Den ganzen Artikel lesen und/oder kommentieren...

7.11.2016

Demokratien weltweit bedroht von der Macht der etablierten Medien

 

Dieser Artikel ist meine Antwort auf eine Pressemitteilung der VG-Media vom heutigen Tag mit dem Titel "Demokratien weltweit bedroht von Macht der Suchmaschinen".

 

Wir befinden uns im Jahr 2016. Das ganze Internet ist von Suchmaschinen besetzt. Das ganze Internet? Nein! Denn eine von unbeugsamen Verlagen beherrschte Verwertungsgesellschaft hört nicht auf, das veraltete Geschäftsmodell dieser Verlage auf Teufel komm raus zu verteidigen.

Dumm nur, dass im Gegensatz zu den Galliern aus den Asterix-Heften, die Verlage hier nicht die Guten sind.

Verlage, die den Wandel der Zeit verpasst haben und jetzt mit Hilfe vom Staat ihr veraltetes Geschäftsmodell quasi unter Artenschutz gestellt haben wollen.

In ihrer aktuellen Pressemitteilung schreibt die VG-Media, das Sprachorgan der am Leistungsschutzrecht interessierten Verlage, großmundig davon, dass Suchmaschinen die Demokratie gefährden würden.

Hallo? Angebote, die die Informationen der Welt auffindbar, und damit überhaupt erst allgemein zugänglich machen, sollen die Demokratie gefährden? Bisher war ich immer der Meinung, dass es für die demokratische Meinungsbildung unabdingbar ist gut informiert zu sein...

 

Den ganzen Artikel lesen und/oder kommentieren...

3.11.2016

Fazit Oktober 2016

 

Spenden:

Im Oktober sind €278,05 an Spenden eingegangen. Ganz knapp unter dem Soll, aber trotzdem sehr gut.

Meinen herzlichen Dank an alle Spender!!!

 

Den ganzen Artikel lesen und/oder kommentieren...

30.10.2016

Es wird doch keine Crawl- und Index-Daten geben

Ich hatte eigentlich vor sämtliche Crawl- und Index-Daten von DeuSu zu veröffentlichen. Ich war jedoch gezwungen es mir noch einmal anders zu überlegen.

Die derzeitige Gesetzeslage macht mir Sorgen. Es bräuchte unter den etlichen Millionen von Seiten nur eine dabei zu sein dessen Betreiber laut "Urheberrechtsverletzung" schreit, oder typisch Deutsch "Leistungsschutzrecht", anschließend Klage einreicht oder auch nur eine Abmahnung schickt.

Denn dann wäre sofort das Gesamtprojekt DeuSu in Gefahr, weil ich mir die Kosten mich gegen eine (unberechtigte!) Klage zu verteidigen kaum aufbringen könnte. Ganz zu schweigen von dem Zeitaufwand der dafür nötig wäre.

Und weil die ganze Verlags- und Urheberrechtslobby gerade hier in Deutschland völlig am Rad zu drehen scheint, ist die Wahrscheinlichkeit leider recht hoch, dass genau das passieren könnte.

Und das Risiko ist es mir einfach nicht wert.

Sorry.

 

Den ganzen Artikel lesen und/oder kommentieren...

28.10.2016

Zwei Jahre DeuSu in Zahlen

Heute vor genau zwei Jahren ging DeuSu an den Start. Ich glaube das ist eine gute Gelegenheit mal die Entwicklung in Zahlen zu betrachten.

 

Suchindex

Anfangs waren circa 320 Millionen Seiten im Suchindex. Jetzt sind es mehr als 2,1 Milliarden Seiten.

Der fertige Index belegt circa 1,2tb verteilt auf drei SSDs mit jeweils 500gb Kapazität. Für die Suchabfragen wird ein Windows-Server mit zwei SSDs, und ein Linux-Server mit einer SSD eingesetzt. Beide haben jeweils 32gb RAM.

Gebildet wird der Suchindex aus circa 2,8tb an bereits "vorgekauten" Daten. Diese enthalten für jede Seite die URL, Überschrift, Kurzzusammenfassung und alle auf der Seite vorkommenden Seiten.

 

Den ganzen Artikel lesen und/oder kommentieren...

5.10.2016

Die Zukunft von DeuSu

Ende diesen Monats, am 28.10.2016, wird DeuSu sein zweijähriges Bestehen feiern können.

In diesen zwei Jahren ist der Suchindex von DeuSu von anfänglich 300 Millionen Seiten auf über 2,1 Milliarden Seiten angewachsen. Das Ranking der Suchergebnisse ist besser geworden, es gab ein neues Webdesign, seit kurzem gibt es ein kostenloses API, und demnächst kommt noch die Veröffentlichung aller Crawl- und Index-Daten.

Aber es gibt auch noch eine Menge zu tun. Es müssen noch viel mehr Seiten in den Suchindex. Ich gehe davon aus, dass mindestens 15 Milliarden Seiten notwendig sein werden um Ergebnisse liefern zu können die mit Google oder Bing mithalten können. Und dafür muss auch das Ranking der Ergebnisse weiter verbessert werden.

 

Den ganzen Artikel lesen und/oder kommentieren...

1.10.2016

Fazit September 2016

 

Spenden:

Im September sind €238,91 an Spenden eingegangen. Immer noch etwas unter dem Soll, aber deutlich besser als die Monate davor. Ich denke mal die Sommerflaute ist jetzt vorbei.

Meinen herzlichen Dank an alle Spender!!!

Ich werde in den nächsten Tagen noch mal ein Blog-Posting zur Finanzierung und allgemein zur Zukunft von DeuSu machen. Da steht eine Weichenstellung an.

 

Den ganzen Artikel lesen und/oder kommentieren...

23.9.2016

DeuSu's Such-API bereit für den Normalbetrieb

 

Nach einer 2-monatigen Testphase ist das Such-API von DeuSu jetzt bereit für den Normalbetrieb. Die Dokumentation gibt es hier. Allerdings nur auf Englisch, weil ich offen gesagt einfach zu faul bin um die gleich in zwei Sprachen zu verfassen. :)

Die Benutzung des Such-API ist kostenlos und völlig frei. Nicht einmal eine Anmeldung ist nötig. Benutzt es für was auch immer ihr wollt.

 

Nächster Schritt: Veröffentlichung aller Crawl- und Index-Daten

Ich bin im Moment dabei die Veröffentlichung aller Crawl- und Index-Daten vorzubereiten.

 

Den ganzen Artikel lesen und/oder kommentieren...

1.9.2016

Fazit August 2016

 

Spenden:

Im August sind €104,17 an Spenden eingegangen. Fast identisch mit letztem Monat und leider immer noch gar nicht gut. Noch kann ich das auf die Sommerferien schieben. Wenn das diesen Monat so bleibt, wird mir das aber nicht noch mal gelingen...

Meinen herzlichen Dank an alle Spender!!!

 

Den ganzen Artikel lesen und/oder kommentieren...

1.8.2016

Fazit Juli 2016

 

Spenden:

Im Juli sind €100,55 an Spenden eingegangen. Leider nicht so gut. Aber ich schiebe das einfach mal auf die Sommerferien...

Meinen herzlichen Dank an alle Spender!!!

 

Den ganzen Artikel lesen und/oder kommentieren...

18.7.2016

API jetzt im Testbetrieb

Lange geplant, lange angekündigt und endlich so weit, dass ich es in den externen Testbetrieb schicken kann... das API von DeuSu.

Ich habe noch keine ausführliche Dokumentation fertig, also gebe ich hier einfach mal eine Kurzanleitung. Fragen bitte einfach in den Kommentaren stellen. Ich werde diese dann beantworten und wahrscheinlich auch den Artikel mit anpassen.

 

Den ganzen Artikel lesen und/oder kommentieren...

4.7.2016

Fazit Juni 2016

Etwas verspätet und wegen akutem Zeitmangel diesmal nur sehr kurz...

 

Spenden:

Im Juni sind €360,55 an Spenden eingegangen. Ein sehr guter Wert.

Meinen herzlichen Dank an alle Spender!!!

 

Den ganzen Artikel lesen und/oder kommentieren...

20.6.2016

Suchergebnisse als RSS-Feed

 

Ich hatte auf Twitter und Facebook schon vor knapp einer Woche erwähnt, dass ich daran arbeiten würde die Suchergebnisse auch als RSS-Feed anzubieten.

Und seit einigen Tagen funktioniert das auch schon. Ich habe seitdem noch an einigen Feinheiten gearbeitet um diese Funktion noch zu verbessern.

Den Link zum RSS-Feed gibt es rechts oben auf jeder Suchergebnisseite. Zur Zeit ist der Text des Links "RSS (beta)". Das "beta" wird aber irgendwann entfallen können.  :)

 

Den ganzen Artikel lesen und/oder kommentieren...

19.6.2016

Zum Ausfall von DeuSu am 14. + 15.6.2016

 

Vorwort:

Ich wollte eigentlich schon eher über dieses Thema bloggen, hatte mich dann aber entschieden ein paar Tage zu warten, damit meine Verärgerung Zeit hat etwas abzuflauen.

Ich versuche hier mich weitgehend auf die Fakten zu beschränken, und werde lediglich am Ende kurz meine Meinung dazu äußern.

 

Den ganzen Artikel lesen und/oder kommentieren...

2.6.2016

Was im Mai war und was im Juni wird

 

Spenden:

Im Mai sind €240,55 an Spenden eingegangen. Ein sehr guter Wert. Besonders gefreut hat mich, dass auch recht viele unterschiedliche Personen gespendet haben. Das stellt die Spenden auf eine breitere Basis. Je mehr unterschiedliche Spender es gibt, um so weniger wahrscheinlich sind größere Schwankungen in der gesamten Spendenhöhe pro Monat.

Meinen herzlichen Dank an alle Spender!!!

 

Den ganzen Artikel lesen und/oder kommentieren...

16.5.2016

2 Milliarden Seiten im Suchindex

Heute hat der Suchindex das Ziel von 2 Milliarden Seiten erreicht.

Aber der Crawl ist noch nicht ganz fertig. Am Ende werden wohl ganz knapp über 2,1 Mrd. Seiten im Suchindex sein.

Mit ein wenig Glück könnte das bereits morgen Abend der Fall sein. Spätestens aber am Mittwoch müsste der Crawl fertig sein.

Seit dem Start von DeuSu Ende Oktober 2014 ist der Suchindex damit von ursprünglich circa 320 Millionen Seiten auf das mehr als 6-fache angewachsen.

 

Den ganzen Artikel lesen und/oder kommentieren...

1.5.2016

Fazit April 2016 und Vorschau auf den Mai

 

Indexgröße:

Der Suchindex ist inzwischen auf 1,86 Milliarden Seiten angewachsen.

Noch circa zwei Wochen und der Index wird die angestrebte Größe von 2 Milliarden Seiten erreicht haben.

 

Besucherzahlen:

Bei den Besucherzahlen gab es im April im Vergleich zum März so gut wie keine Änderung.

 

Den ganzen Artikel lesen und/oder kommentieren...

2.4.2016

Fazit März 2016 - Spenden, Indexgröße und Facebook

 

Spenden:

Die Spendeneinnahmen lagen im März bei insgesamt €129,85. Das war zwar wieder weniger als eigentlich pro Monat benötigt wird, aber der Spendenüberschuß vom Januar reichte immer noch aus um den Fehlbetrag ausgleichen zu können. Lange wird das aber nicht mehr gut gehen, denn bald werden die Reserven aufgebraucht sein.

Vielen, VIELEN herzlichen Dank an alle Spender. Ohne Eure Spenden wäre das hier nicht möglich!

 

Besucherzahlen:

Bei den Besucherzahlen musste DeuSu im März leider einen Rückgang hinnehmen. Denn im März gab es im Gegensatz zu den Vormonaten keine Sondereffekte wie prominente Erwähnungen auf besucherstarken Webseiten.

 

Den ganzen Artikel lesen und/oder kommentieren...

7.3.2016

Der Suchindex wächst und gedeiht

 

1,1 Milliarden Seiten und steigend

Seit heute Mittag sind mehr als 1,1 Milliarden Seiten im Suchindex. In den letzten Tagen habe ich drei Teilindizes mit jeweils zwischen 60,5 und 64,3 Millionen Seiten aktiviert. Diese haben drei alte Teilindizes ersetzt die jeweils nur halb so groß waren.

Ab jetzt wird der Suchindex alle 7-8 Tage jeweils um weitere 100 Millionen Seiten anwachsen bis das Ziel von 2 Milliarden Seiten erreicht sein wird.

Die neuen Teilindizes enthalten einen deutlich größeren Anteil an deutschsprachigen Seiten als bisher. Da wird also die größte Verbesserung zu spüren sein.

 

Größe des Index wird auf den Suchergebnisseiten angezeigt

Ebenfalls ab heute Mittag wird die jeweilige Größe des gesamten Suchindex auf den Suchergebnisseiten angezeigt.

 

Den ganzen Artikel lesen und/oder kommentieren...

1.3.2016

Fazit Februar 2016 und Vorschau

Spenden:

Die Spendeneinnahmen lagen im Februar bei insgesamt €190,55. Eigentlich weniger als benötigt, aber der Spendenüberschuß im Januar war so groß, dass das ohne Belang ist.

Was mich im Februar sehr gefreut hat, war dass die Spenden von insgesamt 11 unterschiedlichen Leuten kamen. Das ist die höchste Anzahl an Spendern seit Dezember 2014.

Vielen, VIELEN herzlichen Dank an alle Spender. Ihr macht das alles hier erst möglich!

 

Besucherzahlen:

Bei den Besucherzahlen konnte DeuSu im Februar enorm von einem Artikel auf der n-tv Webseite profitieren. Dort war DeuSu als eine der "5 besten Google-Alternativen" erwähnt worden. Soweit ich weiß, war das die erste Erwähnung von DeuSu in den Mainstream-Medien.

 

Den ganzen Artikel lesen und/oder kommentieren...

18.2.2016

Die Geschwindigkeit von Suchabfragen

Mir war schon vor einer Weile aufgefallen, dass einige wenige Suchabfragen sehr langsam waren, während sie im Durchschnitt eigentlich recht flott sind. Aber ich hatte keine genauen Zahlen dazu. Das hat sich jetzt geändert.

 

Den ganzen Artikel lesen und/oder kommentieren...

3.2.2016

Fazit Januar 2016 - Vorschau auf die kommenden Monate

Spenden:

Im Januar kamen durch Spenden sagenhafte €671,55 zusammen. Eine Einzelspende über €500 hat einen neuen Rekord aufgestellt. Als ich das gesehen habe ist mir direkt die Kinnlade runtergeklappt. :) Mit so etwas hatte ich nicht gerechnet.

Vielen, VIELEN herzlichen Dank an alle Spender. Ihr macht das alles hier erst möglich!

Besucherzahlen:

Die Besucherzahlen sind im Tagesdurchschnitt um fast 30% gegenüber dem Dezember gestiegen. Das hatte verschiedene Gründe...

 

Den ganzen Artikel lesen und/oder kommentieren...

4.1.2016

TV-Tipp: "Weltmacht Google" heute um 19:25 im ZDF

Ich habe eben gesehen, dass das ZDF heute um 19:25 Uhr die Dokumentation "Weltmacht Google - Wie ein Konzern unser Leben beeinflusst" bringt.

Aus der Beschreibung: "Wenige Konzerne sind in so kurzer Zeit so mächtig geworden und wissen so viel über uns wie Google. Der Verantwortung, die damit einhergeht, werde der Konzern nicht immer gerecht, sagen Kritiker."

Anhand der Teaser, die das ZDF heute schon gebracht hat, und die ich in der ZDF-Mediathek finden konnte, setzt sich der Film recht kritisch mit Google auseinander.

Auf die Zugriffszahlen bei DeuSu hat das schon jetzt einen nicht zu übersehenden Einfluß. Mit Stand von 15:00 Uhr liegen die Zugriffszahlen circa 40% über dem Durchschnitt des Montags der vergangenen sieben Wochen.

Ich bin mal gespannt was nach Ausstrahlung des Films passieren wird...

 

Den ganzen Artikel lesen und/oder kommentieren...

2.1.2016

Fazit Dezember 2015 - Vorschau auf Januar 2016

Spenden:

Im Dezember kamen durch Spenden nur €55 zusammen. Eine Spende kam direkt am 1. Dezember und die andere kam dann am 28. Dezember. Meinen herzlichen Dank an euch beide!

Insgesamt ist das natürlich sehr wenig. Und vor allem eine große Enttäuschung und auch Überraschung für mich nachdem der November so gut lief, und leztes Jahr der Dezember auch hervorragend lief. In der Vorweihnachtszeit sind die Menschen eigentlich am spendenfreudigsten... dachte ich...

Benötigt werden für den Betrieb von DeuSu eigentlich €250 pro Monat. Nur im Zusammenhang mit dem Überschuß aus dem November - da kamen €389 zusammen - sind die €55 vom Dezember noch verkraftbar.

Ich hatte Anfang November ja schon geschrieben, dass ich noch bis Jahresende abwarte ob die Spenden die laufenden Kosten endlich decken. Die Spenden haben die Kosten im November und Dezember nicht gedeckt. Aber fast. Insgesamt kamen im November und Dezember fast 90% der Kosten über Spenden wieder rein.

Ich werde den Januar daher auch noch weiter machen. Ich werde aber auch schon Vorbereitungen treffen hier alles runterzufahren falls die Kosten weiterhin nicht gedeckt werden können.

 

Den ganzen Artikel lesen und/oder kommentieren...

19.12.2015

Zwischenbericht Dezember

Seit Beginn des Monats hat sich einiges getan. Suchabfragen sind schneller geworden, das Ranking der Suchergebnisse wurde besser, und die Aktualisierung des Suchindex läuft planmäßig.

 

Den ganzen Artikel lesen und/oder kommentieren...

3.12.2015

Alle Jahre wieder - Wonach Deutschland wirklich gesucht hat

Jedes Jahr veröffentlichen die großen Suchmaschinen ihre (angebliche) Statistik dazu, wonach Deutschland im abgelaufenen Jahr gesucht hat.

Und jedes Jahr wieder muss ich ungläubig den Kopf schütteln, wenn ich dieses reingewaschene Marketing Blabla lese, dass mit der Wirklichkeit nur sehr wenig zu tun hat.

Denn nicht etwa Prominente, Todesfälle, Sportergebnisse, Nachrichten oder Filme sind das wonach am häufigsten gesucht wird.

 

Den ganzen Artikel lesen und/oder kommentieren...

1.12.2015

Fazit November 2015 - Vorschau auf Dezember

Ich werde das bisherige monatliche Spendenfazit mal ab jetzt zu einem allgemeineren Rückblick auf den abgelaufenen Monat ausbauen, und mit einer Vorschau auf den kommenden Monat versehen. Dadurch wird dieses Posting deutlich länger, aber auch informativer...

Spenden:

Im November kamen durch Spenden €389 zusammen. Das ist der beste Wert bisher. Die Spenden haben sich also vom allerschlechtesten Wert im Oktober zum allerbesten Wert im November gesteigert.

Oder mit einem Wort: WOW!!!

 

Den ganzen Artikel lesen und/oder kommentieren...

24.11.2015

Crawl komplett - 1,08 Milliarden Seiten im Suchindex

Der Crawl für den neuen Suchindex ist abgeschlossen. Insgesamt sind jetzt 1,08 Milliarden Seiten im Suchindex.

Hier ist aber vorerst das Ende des Wachstums erreicht. Die Serverhardware ist voll ausgelastet. Um den Suchindex weiter wachsen zu lassen wären zusätzliche Server nötig. Aber da im Moment nicht einmal die Kosten für die jetzigen Server durch die Spenden gedeckt werden können...

Ich habe auch noch eine weitere Feineinstellung am Ranking vorgenommen. Im Wesentlichen habe ich einen Fehler korrigiert, den ich vor ein paar Tagen gemacht hatte. Dadurch wurden aktuelle Meldungen viel zu weit nach vorne sortiert. Auch wenn sie gar nicht soooo relevant für die Suchabfrage waren.

Jetzt mache ich mich erst mal wieder an das neue Webdesign. Das will ich bis zum Monatsende endlich fertig bekommen.

 

Den ganzen Artikel lesen und/oder kommentieren...

19.11.2015

Jetzt 915 Millionen Seiten im Suchindex

Das Wachstum des Suchindex geht weiter. Auf 915 Millionen Seiten ist der Index inzwischen angewachsen.

In vier Tagen wird voraussichtlich die Marke von 1 Milliarde Seiten überschritten.

[Update: Mit Stand vom 22.11.2015 17:00 beträgt der Datenbestand über 1 Milliarde Seiten]

Zwei Tage danach wird der Crawl dann komplett durch sein. Ich rechne damit, dass dann circa 1,08 Milliarden Seiten erfasst sein werden.

An dem Punkt ist dann aber erst einmal Schluß. Mehr geht mit den derzeitigen Servern einfach nicht. Mit zusätzlichen Servern wäre aber ein größerer Index ohne weiteres machbar. Bis circa 8 Milliarden Seiten würde die Software ohne Änderungen funktionieren.

Darüber hinaus müssten Änderungen an der URL-Datenbank vorgenommen werden. Bei 8 Mrd. Seiten im Index würde die nämlich knapp 2tb Platz einnehmen. Und da wird es dann eng auf der Festplatte. :)

Übrigens, die Index-Komprimierung, die ich vor ein paar Tagen angekündigt hatte, konnte ich in nur zwei Tagen fertig stellen. Jetzt wird für den fertigen Index pro erfasster Seite circa 25-30 Prozent weniger Speicherplatz auf den SSDs benötigt. Ohne die Index-Komprimierung hätte ich beim Stand von 770 Millionen Seiten Schluß machen müssen. Die SSDs waren schon fast voll.

Ich habe auch am Ranking ein wenig gearbeitet. Die Auswirkungen sind da aber nicht berauschend. Ich habe zwar den Eindruck, dass die Suchergebnisse ein wenig besser geworden sind, aber das ist nur mein subjektiver Eindruck.

Und was das schon längst überfällige neue Webdesign angeht, habe ich mich entschlossen erst einmal nur kleinere Änderungen zu machen. Das bedeutet ein neues Logo und ein daran angepasstes Farbschema.

 

Den ganzen Artikel lesen und/oder kommentieren...

14.11.2015

Suchindex jetzt mit mehr als 770 Millionen Seiten

Ich habe eben ein großes Update des Suchindex eingespielt. Damit sind jetzt über 770 Millionen Seiten durchsuchbar. Dies ist etwas mehr als das Doppelte von dem was vorher erfasst war.

Mit diesem Update einher ging auch eine wesentliche Änderung wie der Suchindex aufgebaut ist. Bisher war es so, dass der Hauptindex (es gibt noch kleine Nebenindizes z.B. für Nachrichten und neu angemeldete Seiten) ein einziger Index war, und auch nur als Ganzes upgedatet werden konnte.

Jetzt besteht der Hauptindex aus 32 Teilen, die alle einzeln upgedatet werden können. Dazu kommt, dass die Suche jetzt nicht mehr Single-Threaded abläuft, sondern durch die Aufteilung des Index mit 32 Threads läuft. Ein Nebeneffekt davon ist auch noch, dass durch das Multi-Threading die mögliche Datentransferrate der SSDs viel besser ausgenutzt wird. Ich sehe hier bei Suchabfragen wie von zwei SSDs gleichzeitig mit jeweils über 500 Megabyte/s gelesen wird.

Ich habe noch ein paar weitere Ideen was verbessert werden kann. So habe ich vor die Indizes zu komprimieren, damit ich noch mehr Daten erfassen kann. Der Trick dabei wird sein, das ohne Geschwindigkeitsverlust zu erreichen. Ich habe aber bereits eine gute Vorstellung davon, wie das zu machen sein wird.

Ich werde auch an der Qualität der Suchergebnisse arbeiten. Da gibt es sicherlich noch eine Menge Potential zur Verbesserung.

 

Den ganzen Artikel lesen und/oder kommentieren...

6.11.2015

Ein Web-Robot, CERT-Bund, und angebliche Malware

In den letzten 7 Tagen hat mein Hosting-Provider dreimal Email von CERT-Bund bekommen. In den Emails wurde jeweils mitgeteilt, dass aufgrund von Informationen "aus vertrauenswürdigen externen Quellen" davon ausgegangen wird, dass ein von mir betriebener Server mit der Malware Zeus infiziert ist.

Natürlich ist der Server nicht infiziert. Ich habe das inzwischen zweimal überprüft.

Was ist also passiert?

 

Den ganzen Artikel lesen und/oder kommentieren...

2.11.2015

Spendenfazit Oktober 2015

Im Oktober kamen durch Spenden nur €20 zusammen. Das ist der schlechteste Wert bisher. Ich bin im Moment kurz davor hier alles hin zu schmeißen. So geht es einfach nicht weiter.

Ich werde bis zum Jahresende noch abwarten. Und ich werde bis dahin auch noch weitere Verbesserungen an DeuSu vornehmen. Aber wenn bis dahin die Kosten nicht gedeckt werden können, dann war es das. Denn ich kann es mir finanziell einfach nicht leisten die Kosten auf Dauer selber zu tragen.

Auf der positiven Seite sind die Benutzerzahlen um fast 14% gegenüber dem September gestiegen. Ok, es gab einen Tag mehr im Oktober als im September, aber selbst der Tagesdurchschnitt lag im Oktober noch um 10% höher als im September.

Und wenn ich mir nur die letzten 14 Tage anschaue, dann liegt der Tagesdurchschnitt aktuell sogar fast 60% über dem vom September.

Der Anstieg bei den Benutzerzahlen kam übrigens von einem Tag auf den anderen und ohne dass ich bisher einen Grund dafür finden konnte.

Traurigerweise lassen die gestiegenen Benutzerzahlen die Spendensituation noch schlechter erscheinen. Mehr Benutzer, aber trotzdem weniger Spenden. Offenbar ist die Kostenlos-Mentalität im Internet inzwischen viel zu sehr verbreitet.

Ich habe bisher im Laufe des Monats immer über bereits eingegangene Spenden berichtet. Das werde ich diesen Monat mal nicht machen. Ich werde lediglich nach Ablauf des Monats die Gesamtsumme nennen. Ich habe nämlich die Befürchtung, dass wenn lange Zeit "Bisher sind €0 der benötigten €250 eingegangen" angezeigt wird, dass das potentielle Spender eher abhält. Weil die sich denken es bringt ja doch nichts, und alle anderen spenden ja auch nicht. Mal schauen, ob diese Änderung etwas bewirkt...

 

Den ganzen Artikel lesen und/oder kommentieren...

28.10.2015

DeuSu.de wird heute 1 Jahr alt

Heute vor genau einem Jahr ging DeuSu.de an den Start. Ein Jahr, in dem sich leider nicht so viel getan hat, wie ich mir erhofft hatte.

Die Zugriffszahlen sind immer noch ziemlich mau, was größtenteils daran liegt, dass es mir bisher nicht gelungen ist genug Aufmerksamkeit für DeuSu zu erregen.

Ein großer Teil der Benutzer kommt von Google, weil sie dort nach "Suchmaschine" gesucht haben. Ein Begriff zu dem DeuSu derzeit bei Google auf Platz 5 gelistet wird.

 

Den ganzen Artikel lesen und/oder kommentieren...

24.10.2015

Neuer Suchindex online

Die Neuerfassung des Suchindex ist jetzt abgeschlossen, und der neue Suchindex wird seit heute morgen für die Suche benutzt.

Der Suchindex ist größer geworden als geplant. Es sind circa 375 Millionen Webseiten (genau: 375.896.531) erfaßt.

Der Index kennt 403.834.531 unterschiedliche Wörter. Im Durchschnitt enthielt jede Seite circa 140 unterschiedliche Wörter.

In der Zeit vom 8.10.2015 bis zum 23.10.2015 wurden für die Erfassung des Index insgesamt 23,5tb an Daten von den diversen Web-Servern abgefragt und analysiert. Der fertige Index ist dagegen mit 363gb verhältnismäßig klein.

Ich werde jetzt hier aber nicht Halt machen. Ich werde den Index weiter vergrößern. Dies ist absolut notwendig, damit auch bei Suchabfragen, zu denen es nur wenige passende Seiten gibt, gute Ergebnisse oder überhaupt irgendwelche Ergebnisse gefunden werden können.

Ich hoffe bis Anfang Dezember mehr als 1 Milliarde Seiten im Suchindex zu haben. Ich bin mir noch nicht 100%-ig sicher, ob das möglich sein wird, aber ich werde es auf jeden Fall versuchen.

 

Den ganzen Artikel lesen und/oder kommentieren...

21.10.2015

Entwürfe für das neue Webdesign

Ich habe hier mal Screenshots vom aktuellen Stand des neuen Webdesigns für euch:

Homepage:
Homepage Entwurf

Suchergebnisseite:
Suchergebnisseite Entwurf

Während mir die Homepage schon ziemlich gut gefällt, glaube ich, dass die Suchergebnisseite noch etwas Arbeit braucht. Sieht irgendwie langweilig aus. Ja, ich weiß, sie soll letzten Endes funktionell sein. Aber sie kann dabei ja trotzdem auch gut aussehen. Und das fehlt irgendwie noch.

 

Den ganzen Artikel lesen und/oder kommentieren...

15.10.2015

Entwürfe für ein neues Logo

Ich hatte ja schon berichtet, dass ich an einem neuen Webdesign für DeuSu arbeite. Und der erste Schritt dafür ist für DeuSu ein neues Logo zu machen.

Ich habe mich also als blutiger Anfänger im Logo-Design hingesetzt und einfach ein paar Entwürfe gemacht. Und über einen Bekannten habe ich auch ein paar Entwürfe von einem professionellen Designer bekommen.

Und hier sind die gesammelten Entwürfe (auf das Bild klicken für volle Auflösung):

Logo Entwürfe

Ich habe hier ganz klar einen Favoriten. Aber ich würde gerne auch eure Meinung haben. Und nein, dies soll keine Abstimmung sein. Die Entscheidung treffe am Ende ich allein, aber ich werde eure Meinung da mit einfließen lassen.

 

Den ganzen Artikel lesen und/oder kommentieren...

6.10.2015

Neuerfassung des Suchindex

Ich hatte in einem früheren Blogposting angekündigt, dass eine Neuerfassung des Suchindex ansteht. Es hat etwas länger gedauert bis ich damit beginnen kann, aber in den nächsten paar Tagen geht es endlich los.

Ich habe gerade eben einen weiteren Server dafür angemietet. Im Moment bin ich dabei diesen Server komplett einzurichten, was 1-2 Tage dauern wird. Danach beginnt dann die Neuerfassung des Suchindex.

Der komplette Crawl wird knapp einen Monat in Anspruch nehmen. Der neue Suchindex wird also Ende Oktober oder Anfang November fertig sein. Ich hoffe, dass ich es bis zum 28.10.2015 schaffe. Das wäre dann nämlich der 1. Geburtstag von DeuSu. :)

Was jetzt als nächstes ansteht ist ein neues Webdesign für DeuSu. Dazu werde ich in den nächsten Tagen ein weiteres Blogposting schreiben.

 

Den ganzen Artikel lesen und/oder kommentieren...

3.10.2015

Spendenfazit September 2015

Im September kamen durch Spenden €98,39 zusammen. Deutlich weniger als die eigentlich benötigten €250, aber doch deutlich mehr als in den Vormonaten.

Meinen herzlichen Dank an die Spender!

Die Benutzerzahlen gingen Anfang des Monats deutlich zurück. Gegen Ende des Monats gingen sie aber wieder rauf. Insgesamt lag der Tagesdurchschnitt im September circa 3% unter dem vom August.

 

Den ganzen Artikel lesen und/oder kommentieren...

3.9.2015

Spendenfazit August 2015

Im August kamen durch Spenden nur €25 zusammen. Der einzige Lichtblick ist, dass am 1. September direkt die nächsten €20 kamen.

Meinen herzlichen Dank an die Spender!

Und wie schon jeweils in den letzten Monaten waren die Benutzerzahlen wieder fast identisch mit denen vom Vormonat.

 

Den ganzen Artikel lesen und/oder kommentieren...

5.8.2015

Spendenfazit Juli 2015

Im Juli kam durch Spenden eine Summe von €45 zusammen. Immer noch sehr, sehr wenig, aber immerhin etwas besser als der Juni. Die Sommerferien nähern sich auch dem Ende, so dass ich hoffe, dass das im August wieder deutlich besser wird.

Meinen herzlichen Dank an alle Spender!

Die Benutzerzahlen waren wieder einmal fast identisch mit denen vom Vormonat.

Mein im letzten Monat angekündigter Umzug ist inzwischen fast fertig. Ich bin zwar immer noch von einer Menge noch nicht ausgepackter Umzugskartons umgeben, aber meine IT ist voll einsatzbereit. Ich arbeite auch schon an den im letzten Posting angekündigten Verbesserungen der Software.

 

Den ganzen Artikel lesen und/oder kommentieren...

31.7.2015

Vorschau (Neudeutsch: Roadmap)

Ich will hier mal einen Überblick geben, was ich für die nächste Zeit bei DeuSu so geplant habe.

Ich werde zunächst einmal an der Software ein paar Änderungen vornehmen. Zur Erklärung muss ich erst mal etwas ausholen.

DeuSu besteht zur Zeit nicht nur aus einem Suchindex, sondern aus insgesamt vier. Ein Suchindex erfasst sehr gründlich ausgewählte Websites wie Wikipedia oder StackOverflow. Ein anderer erfasst Nachrichtenseiten wie Tagesschau, Heise, Golem und andere. Ein dritter kümmert sich um Seiten, die über die AddUrl-Funktion angemeldet wurden.

 

Den ganzen Artikel lesen und/oder kommentieren...

7.7.2015

Spendenfazit Juni 2015

Mit etwas Verspätung kommt hier das Spendenfazit für den Juni.

Grund der Verzögerung ist, dass ich gerade dabei bin in eine andere Wohnung umzuziehen und daher ziemlich beschäftigt bin. In 1-2 Wochen wird das erledigt sein, und dann habe ich wieder mehr Zeit für DeuSu. Und eine Internet-Bandbreite von 200/20mbit/s (down/up) statt 128/10. :)

Im Juni kam durch Spenden eine Summe von €35 zusammen. Das ist der niedrigste Wert der jemals in einem vollem Monat zusammen kam. Aber wir haben auch Sommer. Viele sind im Urlaub und/oder geben ihr Geld deshalb für andere Dinge aus.

Meinen herzlichen Dank an die beiden Spender!

Die Benutzerzahlen waren übrigens wieder fast identisch mit denen vom Vormonat.

 

Den ganzen Artikel lesen und/oder kommentieren...

2.6.2015

Spendenfazit Mai 2015

Im Mai kam durch Spenden eine Summe von €105 zusammen. Etwas weniger als im April. Aber immer noch im "normalen" Rahmen.

Meinen herzlichen Dank an alle Spender!

Die Benutzerzahlen waren übrigens fast identisch mit denen vom April.

 

Den ganzen Artikel lesen und/oder kommentieren...

5.5.2015

Serverumzug abgeschlossen

DeuSu läuft jetzt wie angekündigt auf einem neuen Server.

Und natürlich lief nicht alles so wie ich es erwartet hatte. Was aber allein meine Schuld war. Mir waren da einige Fehler passiert, die zeitweise dazu geführt hatten, dass Suchabfragen langsam, fehlerhaft oder gar nicht funktionierten.

Ich werde offenbar einfach zu alt um nachts um 2:30 Uhr noch konzentriert arbeiten zu können. :)

Auf der positiven Seite sind Suchabfragen jetzt wirklich deutlich schneller als vorher.

 

Den ganzen Artikel lesen und/oder kommentieren...

1.5.2015

Spendenfazit April 2015

Die für den Betrieb von DeuSu pro Monat benötigte Summe von €250 wurde mit Einnahmen von €131,70 zwar wieder nicht erreicht, aber die Einnahmen waren doch deutlich höher als noch im März.

Meinen herzlichen Dank an alle Spender!

 

Den ganzen Artikel lesen und/oder kommentieren...

30.4.2015

Bevorstehender Serverumzug

In den nächsten Tagen wird DeuSu auf einen neuen Server umziehen.

Obwohl der Umzug wahrscheinlich völlig problemlos ablaufen wird, kann ich es dennoch nicht völlig ausschließen, dass es vorübergehend zur Nichterreichbarkeit der Webseite kommen kann.

Der neue Server wird die Internet-Anbindung von DeuSu erheblich verbessern. Auch die Suchabfragen werden ersten Tests zufolge 2-3x so schnell sein wie jetzt.

Ich werde erneut in diesem Blog posten sobald der Umzug auf den neuen Server abgeschlossen ist.

 

Den ganzen Artikel lesen und/oder kommentieren...

1.4.2015

Spendenfazit März 2015

Die für den Betrieb von DeuSu pro Monat benötigte Summe von €250 wurde mit Einnahmen von lediglich €105 wieder nicht erreicht. Positiv sehe ich hier aber, dass die Höhe der Spenden zumindest einigermaßen stabil ist.

Meinen herzlichen Dank an alle Spender. Ganz besonders an denjenigen mit der Einzelspende über €50, welche zudem auch noch mit einem sehr motivierenden Brief kam. Danke, der Brief hat mich wirklich sehr gefreut!

 

Den ganzen Artikel lesen und/oder kommentieren...

31.3.2015

Werbung getestet - und wieder entfernt

Ich hatte in meinem Spendenfazit für Februar 2015 geschrieben, dass ich augrund der immer noch nicht kostendeckenden Spenden mal versuchen würde Werbung auf DeuSu einzubinden.

Der Gedanke Werbung einzubinden gefiel mir eigentlich gar nicht, aber irgendwie muss das alles hier ja auch bezahlt werden. Ich habe im März daher mal zeitweise Werbung auf den Suchergebnisseiten ausprobiert.

Die damit erzielten Einnahmen waren aber so niedrig, dass ich die Werbung nach wenigen Tagen wieder entfernt habe. Selbst auf einen ganzen Monat hochgerechnet hätte es nur etwa €15 eingebracht.

Das war es mir nicht Wert. Das "Experiment Werbung" ist damit beendet.

 

Den ganzen Artikel lesen und/oder kommentieren...

19.3.2015

Verbesserung am Ranking

In meinem gestrigen Blog-Posting hatte ich eine Verbesserung beim Ranking angekündigt. Und diese Verbesserung ist seit gestern Abend auch bereits da.

Des öfteren hat es mich geärgert, dass ich in den Suchergebnissen Seiten fand, die in Sprachen waren, die kaum jemand hier in Deutschland versteht.

Zwar verstehen Benutzer einer deutschen Suchmaschine in der Regel Deutsch und mit recht hoher Wahrscheinlichkeit auch noch Englisch, danach geht es mit den Sprachkenntnissen aber bergab. Französisch-Kenntnisse sind schon deutlich weniger gut vertreten (meine Französisch-Note in der Schule schwankte übrigens immer zwischen 5 und 6), und Russisch-Kenntnisse noch weniger.

 

Den ganzen Artikel lesen und/oder kommentieren...

18.3.2015

Verbesserung am Suchindex

Vor ein paar Tagen habe ich begonnen bestimmte Domains mit einem separaten Crawler intensiv zu erfassen. Dies sind unter anderem die deutsche und englische Wikipedia, StackOverflow, TechCrunch, WebdesignerDepot und einige andere Blogs, überwiegend zum Thema Webdesign und Programmierung.

Gerade Wikipedia war bisher im Suchindex nur mit relativ wenigen Seiten vertreten. Der Grund dafür ist, dass ich bisher zwischen zwei Zugriffen auf einen Server immmer mindestens 60 Sekunden Pause eingelegt habe. Schließlich will ich die Betreiber von Servern nicht verärgern, indem ich einen Server mit Abfragen regelrecht bombardiere.

 

Den ganzen Artikel lesen und/oder kommentieren...

2.3.2015

Gespendet werden kann jetzt auch via Bitcoin

Die Überschrift sagt schon alles. Spenden an DeuSu sind jetzt auch via Bitcoin möglich.

Bitcoin-Adresse: 1AhcEuoGqFWvMUkxfCxfJ38euo28n9tHb3

 

Den ganzen Artikel lesen und/oder kommentieren...

1.3.2015

Spendenfazit Februar 2015

Die für den Betrieb von DeuSu pro Monat benötigte Summe von €250 wurde mit Einnahmen von lediglich €102,50 (abzüglich €1,84 PayPal Gebühren) wieder nicht erreicht.

Allerdings hatte der Februar nur 28 Tage gegenüber den 31 Tagen im Januar. Es macht hier also mehr Sinn die durchschnittliche Anzahl der Besucher pro Tag zu betrachten. Da liegt der Februar bei 309 und der Januar bei 314. Diese beiden Zahlen sind fast gleich.

 

Den ganzen Artikel lesen und/oder kommentieren...

1.2.2015

Spendenfazit Januar 2015

Die für den Betrieb von DeuSu pro Monat benötigte Summe von €250 wurde mit Einnahmen von lediglich €117 nicht einmal annähernd erreicht.

Im Januar hatte DeuSu circa 9.700 Besucher, was gegenüber dem Dezember mit 11.200 Besuchern einen Rückgang um 13% darstellt.

Von den 9.700 Besuchern haben 7 gespendet. Zum Vergleich: Im Dezember gab es 18 Spender.

 

Den ganzen Artikel lesen und/oder kommentieren...

26.1.2015

URL-Anmeldefunktion

Es gibt ab sofort wieder ein Formular, über das Sie Seiten bei DeuSu anmelden können: https://deusu.de/addurl.html

Ich habe für den Moment noch auf die Einbindung eines Captcha verzichtet. Sollte aber auch hier wieder überwiegend Spam angemeldet werden, dann wird sich das ändern.

 

Den ganzen Artikel lesen und/oder kommentieren...

11.1.2015

Mein privates Developer-Blog: geekregator.com

Ich habe jetzt ein - englischsprachiges - privates Developer-Blog auf geekregator.com.

Zu lesen gibt es dort einen Einblick in meine Programmiertätigkeit. Aktuell schreibe ich dort z.B. über die Software mit der dieses Blog arbeitet.

Den Sourcecode für diese von mir geschriebene Blog-Software findet Ihr jetzt übrigens auf GitHub.

 

Den ganzen Artikel lesen und/oder kommentieren...

2.1.2015

Feature-Diskussion: URL-Anmeldeformular / URLs speichern

Update 26.1.2015: Es gibt jetzt wieder eine URL-Anmeldefunktion.

Ich möchte hier gerne eine Diskussion starten um ein oder möglicherweise zwei Funktionen, die für DeuSu vorgeschlagen wurden. Beide Vorschläge könnten eventuell als eine zusammenhängende Funktion angesehen werden. Es wäre aber auch möglich, dass es zwei getrennte Funktionen sind. Das würde ich gerne hier herausfinden.

 

Den ganzen Artikel lesen und/oder kommentieren...

1.1.2015

Spendenfazit Dezember 2014

Die für den Betrieb von DeuSu pro Monat benötigte Summe von €250 wurde mit Einnahmen von insgesamt €302,11 (von denen €1,60 an PayPal-Gebühren abgingen) deutlich überschritten.

Vielen herzlichen Dank an alle Spender!!!

Im Dezember hatte DeuSu circa 11.200 Besucher, was gegenüber dem November mit nur 8.800 Besuchern eine Steigerung um 27% darstellt. Zwar hatte der Dezember einen Tag mehr als der November, aber dafür gab es im Dezember mit Weihnachten und Silvester Tage, an denen die Zugriffszahlen deutlich unter dem sonst Üblichem lagen.

Von den 11.200 Besuchern haben 18 gespendet. Zum Vergleich: Im November gab es nur fünf Spender.

Auch die durchschnittliche Höhe einer Spende lag mit €16,78 circa 25% über dem Wert vom November mit €13,40.

 

Den ganzen Artikel lesen und/oder kommentieren...

1.1.2015

Wonach wirklich gesucht wurde

Jedes Jahr wieder sehen wir schöne Listen der großen Suchmaschinen mit den häufigsten Suchabfragen des Jahres.

Was den meisten Lesern nicht bewußt ist, ist dass diese Listen ganz massiv zensiert sind.

Denn was dort wirklich steht, das möchten die PR-Abteilungen der großen Suchkonzerne natürlich nicht an die Öffentlichkeit dringen lassen.

Die unten stehende Liste der 50 häufigsten Suchabfragen auf DeuSu ist hingegen NICHT von einer PR-Abteilung "verschönert" worden.

 

Den ganzen Artikel lesen und/oder kommentieren...

31.12.2014

Kommentarfunktion im Blog

Dieses Blog hat jetzt eine Kommentarfunktion. Und es hat wie erhofft wirklich nur ein paar Tage gedauert dies zu implementieren. :)

 

Den ganzen Artikel lesen und/oder kommentieren...

29.12.2014

Spendenziel für Dezember 2014 erreicht

Mit den heute eingegangen zwei Spenden über €15 bzw. 25€ ist das Spendenziel von €250 für diesen Monat jetzt erreicht und sogar leicht überschritten!

Vielen Dank an alle Spender!!!

 

Den ganzen Artikel lesen und/oder kommentieren...

28.12.2014

Willkommen im Blog von Deusu.de

Vor fast zwei Monaten sagte ich in meinem Blogposting "Acoon ist tot - Es leube DeuSu.de", dass ich in Kürze ein neues Blog starten würde. Nun, die "Kürze" war dann doch etwas länger als ich dachte. :)

Aber das neue Blog ist jetzt endlich am Start. Leider aber noch längst nicht fertig. Es fehlt noch die Kommentarfunktion. Aber das kommt schon noch. In Kürze... was auch immer das heißen mag. :) Aber ich arbeite bereits daran... (Update 31.12.2014: Die Kommentarfunktion ist jetzt fertig)

Was könnt ihr jetzt hier in diesem Blog erwarten?

Ich werde euch in ein paar Tagen informieren, sobald die Kommentarfunktion funktioniert. (Und ab jetzt hoffen, dass es wirklich nur ein paar Tage sind)

Ich werde euch informieren, wenn es bei DeuSu allgemein etwas Neues zu berichten gibt.

Ich werde euch neue Ideen vorstellen um DeuSu zu verbessern. Ideen, die entweder von mir selber, oder aus Emails und/oder Blog-Kommentaren von euch stammen. Über diese Ideen können wir dann gemeinsam in den Kommentaren diskutieren. Sobald die Kommentarfunktion da ist... :)

 

Den ganzen Artikel lesen und/oder kommentieren...