Deusu.de Blog

23.9.2016

DeuSu's Such-API bereit für den Normalbetrieb

 

Nach einer 2-monatigen Testphase ist das Such-API von DeuSu jetzt bereit für den Normalbetrieb. Die Dokumentation gibt es hier. Allerdings nur auf Englisch, weil ich offen gesagt einfach zu faul bin um die gleich in zwei Sprachen zu verfassen. :)

Die Benutzung des Such-API ist kostenlos und völlig frei. Nicht einmal eine Anmeldung ist nötig. Benutzt es für was auch immer ihr wollt.

 

Nächster Schritt: Veröffentlichung aller Crawl- und Index-Daten

Ich bin im Moment dabei die Veröffentlichung aller Crawl- und Index-Daten vorzubereiten.

Dies wird ein paar Wochen in Anspruch nehmen. Hauptsächlich weil ich erst noch die Dateiformate dokumentieren muss. Sonst würde nämlich außer mir niemand in der Lage sein mit den Daten etwas anzufangen.

Die Index-Daten sind genau die selben Dateien, die auch von DeuSu für die Bearbeitung der Suchabfragen benutzt werden. Die Crawl-Daten sind die Ausgangsdaten für den Suchindex, und beinhalten für jede erfasste Seite die URL, Überschrift, Kurzzusammenfassung (Snippet) und die vorkommenden Begriffe.

Die downzuloadende Datenmenge beträgt 1,75TB für die Crawl-Daten (3TB entpackt), und 1TB für die Index-Daten (1,1TB entpackt). Der Download wird via Bittorrent erfolgen.

 

Auf dem Weg zum Offenen Web Index

Die Bereitstellung des API und die kommende Veröffentlichung der Daten sollen DeuSu zu einem Offenen Web Index machen.

Es gibt übrigens bereits eine Initiative mit dem Namen "Open Web Index", die sich für eine Förderung eines solchen Index durch die EU ausspricht. Obwohl DeuSu nicht Teil dieser Initiative ist, wäre es durchaus in der Lage diese Rolle zu erfüllen. Und zwar für einen Bruchteil der Kosten die von dieser Initiative angesetzt werden.

Laut deren eigener Planung würde es z.B. mit 24 Leuten ein Jahr dauern und €3,8 Millionen kosten um einen Index mit 10 Milliarden Seiten zu erstellen. I weiß, dass ich das ganz allein in der selben Zeit für etwa 2 Prozent dieses Preises machen könnte.

Oh, und während die in den letzten zwei Jahren eine Menge Vorträge gehalten und Pressemitteilungen verschickt haben - ansonsten aber offenbar nichts vollbracht haben - verfügt DeuSu inzwischen über einen Suchindex mit 2 Milliarden Seiten dessen Technik derzeit gerade mal €300/Monat kostet.

Kommentare:
Von: (Unbekannt)
23.9.2016, 20:03
 

Hallo Michael,

ich habe mir zwischenzeitlich das technische Realisierungskonzept des geplanten "Open Web Indexes" angesehen. Was dort NICHT aufgeführt ist, wie gedenkt diese Initiative des Bewußtsein der User dahingehend zu erweitern daß es auch andere Suchmaschinen außer den "Großen" gibt. Dazu müßte es auch ein überzeugendes Konzept geben...

Die Mittel für die Erstellung des "Open Web Index" sollen aus öffentlichen Mitteln stammen. Vielleicht kannst Du Dich auch um diese öffentlichen Mittel bewerben? Immerhin hast Du mit Deusu.de schon einiges vorzuweisen!

Gruß Alex

Von: Michael Schöbel
23.9.2016, 20:11
 

Soweit ich deren Konzept verstanden habe, wollen die lediglich die Infrastruktur für Suchmaschinen bereitstellen ohne selber ein Frontend zu betreiben. Das würde anderen überlassen werden.

Ich vermute (oder hoffe) aber mal, dass die zumindest ein Demoportal erstellen werden.

Ich glaube nicht dass ich eine Chance auf solche Fördermittel hätte. Soweit ich das sehe gehen solche Mittel doch immer an etablierte Firmen, die diese Mittel eigentlich gar nicht nötig hätten. Klingt zwar zynisch, entspricht aber meiner Lebenserfahrung.

Ich habe auch arge Bedenken mich oder das Projekt DeuSu von staatlichen Fördermitteln abhängig zu machen.

Und es ist eh noch völlig offen ob es überhaupt jemals wieder Fördermittel von der EU für Suchtechnik geben wird.

-- Michael Schöbel

Von: (Unbekannt)
26.9.2016, 19:49
 

"Und es ist eh noch völlig offen ob es überhaupt jemals wieder Fördermittel von der EU für Suchtechnik geben wird."

Wenn ich den resignierten Digitalkommissar Oettinger so höre befinden wir uns schon im technologischen Ödland...

Sieh hier ->
http://deutsche-wirtschafts-nachrichten.de/2016/09/26/technologie-europa-hat-kaum-chancen-gegen-us-dominanz/

Gruß Alex

Von: Michael Schöbel
26.9.2016, 20:40
 

Man kann den Feind bekämpfen oder man kann sich mit ihm ins Bett legen. Ich gedenke ihn zu bekämpfen.

(Leicht abgewandeltes Zitat von Doris Day in "Ein Pyjama für zwei")

-- Michael Schöbel

Sie möchten einen Kommentar zu diesem Blog-Posting abgeben? Falls ja, tragen Sie Ihren Kommentar bitte einfach in dem unten stehenden Feld ein, und klicken dann auf "Absenden".

Kommentare erscheinen erst nach manueller Kontrolle. Leider gab es sonst zu viel Spam.


Zurück zur Blog-Übersicht