Fuzzy Search und "Meinten Sie?" in Apache Solr

In unserer Enterprise 2.0 Plattform setzen wir die Volltextsuchmaschine Apache Solr, die auf Basis der Such-Bibliothek Lucene arbeitet, mit Begeisterung ein. Dieser Beitrag soll beschreiben, wie dem Benutzer mit einfachen Mitteln bei Tippfehlern geholfen werden kann.

Spellchecker Komponente
Mit der SpellCheckComponent [1] teilt Solr Vorschläge zu den vom Benutzer abgesandten Suchtermen mit. Als Grundlage dieser Vorschläge kann ein Feld aus dem Such-Index herangezogen werden.

Die Konfiguration der Komponente ist bereits in der standardmäßigen schema.xml enthalten. So gilt es nur noch das Vorschläge-Verzeichnis aufzubauen. Solr erledigt dies automatisch, wenn der Parameter spellcheck.build=true an die Anfrage angehängt wird. Ein Beispiel wäre:

http://localhost:8983/solr/spell?q=test%20cotent&spellcheck=true&spellcheck.collate=true&spellcheck.build=true

Das muss selbstverständlich nicht bei jeder Abfrage gemacht werden.

Die eigentliche Suchabfrage sieht genau gleich - nur ohne den Parameter - aus. Bemerkenswert ist der Parameter spellcheck.collate=true, der nicht nur das falsch geschriebene Wort, sondern auch gleich die komplett korrigierte Suchabfrage zurück liefert. So liefert die SpellCheck-Abfrage nach "test cotent" als Vorschlag "test content" zurück.

Fuzzy Search
Ein weiteres Mittel, das Apache Solr (genauer gesagt: Apache Lucene) bietet, ist die "Fuzzy Search". "Fuzzy Search" steht für Suche mit einer gewissen Unschärfe.
Durch Anhängen einer Tilde an den eigentlichen Suchterm wird angegeben, dass der Suchterm mit Unschärfe betrachtet werden soll. Dies korrigiert zum Beispiel automatisch Tippfehler, liefert aber auch ähnliche Suchtreffer, die möglicherweise passen könnten, als Ergebnis zurück.
Während bei uns die Suche nach "exnsio" keinerlei Treffer hat, findet die Fuzzy Search nach "exnsio~" alle Dokumente, in denen "exensio" auftaucht.

Verwendung in unserer Enterprise 2.0 Plattform
Sowohl die SpellCheck-Komponente als auch die "Fuzzy Search" bieten eine einfache Möglichkeit, um den Benutzer bei der Suche zu unterstützen und eventuelle Tippfehler (sogar automatisch) zu korrigieren.
In unserer Enterprise 2.0 Plattform verwenden wir beide Möglichkeiten: Wir bieten dem Benutzer Vorschläge wie "Meinten Sie? ..." à la Google und führen gleichzeitig bei wenig Treffern eine Fuzzy Search zum eingegeben Suchterm aus, um dem Benutzer sofort passende Ergebnisse anzeigen zu können.


[1] Ausführliche Beschreibung zur SpellCheck-Komponente: http://wiki.apache.org/solr/SpellCheckComponent

Grails Quick-Start

Ich bekomme des öfteren die Frage gestellt, wie man sich am besten in das Thema Grails einarbeitet. Aus diesem Grund möchte ich hier kurz zwei Empfehlungen geben, die sich sehr gut für einen Einstieg in das Grails-Framework [1] eignen.

"Getting started with Grails" - der Klassiker von Jason Rudolph liegt in der zweiten Version vor. Dieses Buch gibt es als PDF (Login bei InfoQ ist nötig) und kann von folgendem Link heruntergeladen werden. 

Folgende YouTube Videos können ebenfalls empfohlen werden:

Getting Started with Grails - Teil 1

Getting Started with Grails - Teil 2

Getting Started with Grails - Teil 3

[1] Homepage Grails Framework

Links

Facebook und die Problematik mit der Sicherheit für Unternehmen

Im Oktober letzten Jahres meldete die Wirtschaftswoche, dass Porsche den Zugang zu Facebook gesperrt hat. Als Grund wurde Angst vor Wirtschaftsspionage angegeben. Auf Veranstaltungen zum Thema Social Media wird dieses Vorgehen immer als Negativbeispiel angeführt. Und meistens höre ich Sätze, wie „Porsche hat Social Media nicht verstanden“ oder „Dann greifen halt die Mitarbeiter mit Ihrem Smartphone auf Facebook zu“. Mit diesem Blog möchte ich die Informationen zusammenfassen, die ich bei meiner Internetrecherche zu diesem Thema gefunden habe.

Was macht Soziale Netzwerke in Bezug auf Cyberattacken so gefährlich?
Symantec [2] warnt im Internet Security Thread Report aus dem Jahre 2010 vor Problemen, die für Unternehmen dadurch entstehen, dass Mitarbeiter gerne ihren Arbeitgeber oder ihre Rolle innerhalb des Unternehmens in sozialen Netzwerken preisgeben. Neben Symantec warnt auch das BSI [3] (Bundesamt für Sicherheit in der Informationstechnik) davor Angaben über den Arbeitgeber in sozialen Netzwerken zu veröffentlichen. Aber warum ist dies so gefährlich? In diesem Artikel der VDI Nachrichten [4] ist dies - meiner Meinung nach - sehr schön dargestellt.

Was macht Facebook besonders riskant?
Zunächst einmal ist es die Größe von Facebook. Wie bei Windows ist es auch hier viel wahrscheinlicher, einem Angriff ausgesetzt zu sein. So sehen die Security-Experten von Sophos [5] vor allem folgende Verbesserungsmöglichkeiten bei Facebook:

1. Kein Informations-Sharing ohne Zustimmung.
2. Prüfung von App-Entwicklern. Durch die vielen Apps [6] unterscheidet sich Facebook von den anderen sozialen Netzwerken. Aber leider sind sie auch ein Sicherheitsrisiko.
3. Verschlüsselung als Regelfall. Die vor kurzen eingeführte HTTPS Option sollte der Regelfall sein.

Fazit
Ich möchte hier nicht gegen soziale Netzwerke wettern. Ich selbst benutze sehr gerne Xing. Aber auf der anderen Seite sollte man auch nicht die Gefahren unterschätzen. So kann ich Porsche durchaus verstehen, wenn dort Facebook gesperrt wurde. Benutzt ein Mitarbeiter sein Smart-Phone für den Zugriff auf Facebook können zumindest keine Schadprogramme in das Firmennetzwerk gelangen. Für Firmen, die nicht so restriktiv sein möchten, gäbe es noch die Möglichkeit die BitBox [7] zu benutzen. In diesem Fall läuft der FireFox-Browser in einer virtuellen Maschine, die auf einem abgespeckten Linux-Kernel basiert. Die BitBox wurde von der Sirrix AG in Zusammenarbeit mit dem BSI (Bundesamt für Sicherheit in der Informationstechnik) entwickelt, um ein sicheres Surfen zu ermöglichen.

[1] http://www.wiwo.de/unternehmen-maerkte/porsche-sperrt-facebook-443688/
[2] http://www.zdnet.de/news/41551384/symantec-soziale-netzwerke-heizen-cyberattacken-an.htm
[3] https://www.bsi-fuer-buerger.de/BSIFB/DE/SicherheitImNetz/KommunikationUeberInternet/SozialeNetzwerke/Schutzmassnahmen/schutzmassnahmen_node.html
[4] http://www.vdi-nachrichten.com/artikel/Unfreiwillige-Spione-im-eigenen-Haus/52543/4
[5] http://business.chip.de/news/Facebook-Security-Experten-fordern-mehr-Schutz_48514422.html
[6] http://www.zdnet.de/news/41541354/neuer-facebook-wurm-verbreitet-sich-ueber-schaedliche-apps.htm
[7] http://www.sirrix.de/content/pages/BitBox