Kategorien
Administration / Webmaster Datenschutz English Linux OccuSearch SearX

Daemonize and control SearX with the service command

Under several Linux distributions, including Debian and Ubuntu, we have the service command to controll daemons, e.g. service apache2 restart. In this article, we learn how to create a service-command for the standalone version of the SearX meta search engine. We build upon the default installation as prescribed within the quick start guide of the project documentation. We include both, searX and filtron.

Introduction

First we need a possibility to start SearX as a daemon, so we install the daemonize command:

sudo apt-get install daemonize

With daemonize, we can have an error-log, a std-out log and some pid that takes care about having only one instance running. With SearX installed at the default destination /opt/searx, we can execute the following command to start a SearX daemon:

daemonize -a -e /var/log/searx.error.log -o /var/log/searx.log -p /var/run/searx.pid -l /var/lock/subsys/searx /opt/searx/searx-ve/bin/python /opt/searx/searx/webapp.py

In a similar way, we can start a filtron instance (assuming the filter rules at /etc/filtron/rules.json):

daemonize -a -e /var/log/filtron.error.log -o /var/log/filtron.log -p /var/run/filtron.pid -l /var/lock/subsys/filtron /root/go/bin/filtron -rules /etc/filtron/rules.json

Usually, we will start filtron first and then start SearX.

We furthermore need some kill commands to stop filtron and SearX. We use ps, grep, awk and kill.

Stopping filtron:

kill $(ps -aux | grep filtron | awk '{print $2}')

Stopping SearX:

kill $(ps -aux | grep /opt/searx/searx/webapp.py | awk '{print $2}')

Realizing the service commands

We usually have three options following the service command: service searx start, service searx stop and service searx restart. This results in the following code snippet for the searx.sh file stored at /etc/init.d/searx.sh:

#! /bin/sh
sleep 3
case "$1" in
  start)
        daemonize -a -e /var/log/filtron.error.log -o /var/log/filtron.log -p /var/run/filtron.pid -l /var/lock/subsys/filtron /root/go/bin/filtron -rules /etc/filtron/rules.json
        daemonize -a -e /var/log/searx.error.log -o /var/log/searx.log -p /var/run/searx.pid -l /var/lock/subsys/searx /opt/searx/searx-ve/bin/python /opt/searx/searx/webapp.py
        ;;
   stop)
        kill $(ps -aux | grep filtron | awk '{print $2}')
        kill $(ps -aux | grep /opt/searx/searx/webapp.py | awk '{print $2}')
        ;;
  restart)
        kill $(ps -aux | grep filtron | awk '{print $2}')
        kill $(ps -aux | grep /opt/searx/searx/webapp.py | awk '{print $2}')
        daemonize -a -e /var/log/filtron.error.log -o /var/log/filtron.log -p /var/run/filtron.pid -l /var/lock/subsys/filtron /root/go/bin/filtron -rules /etc/filtron/rules.json
        daemonize -a -e /var/log/searx.error.log -o /var/log/searx.log -p /var/run/searx.pid -l /var/lock/subsys/searx /opt/searx/searx-ve/bin/python /opt/searx/searx/webapp.py
        ;;
        *)
        ;;
esac
exit 0

In some cases we have issues with uswgi. Therefore, consider to uninstall uswgi.

sudo apt-get remove uswgi

Now, reinitialize the service command with the following command:

systemctl daemon-reload

Now it is possible to controll filtron and SearX in a comfortable way. Try the following:

service searx start
service searx stop
service seary restart

You will see SearX and filtron starting, stopping or restarting.

Final Remarks

Have some fun with this comfortable solution!

Do it! Build your own search engine! Go go go!

For an example instance, have a look at https://occusearch.net. Feel free to use and recommend this instance to your family, friends and colleagues.

Kategorien
Datenschutz German OccuSearch

OccuSearch überarbeitet und in neuer Version

Kürzlich habe ich bei OccuSearch ein Update auf Searx 0.16.0 auf 0.17.0 durchgeführt. Dabei handelt es sich um eine Open-Source Metasuchmaschine, die von quasi jedem Serverbetreiber selbst aufgesetzt und für private Zwecke oder auch die Öffentlichkeit zur Verfügung gestellt werden kann.

Das stellte sich nicht ganz so einfach heraus, da anscheinend Python 2 nicht mehr unterstützt wird. Anmerkung: Das ist prinzipiell auch gut so, da Python 2 eine alte Leiche im Keller ist und schon viel zu lange gelebt hat. Also Update auf Python 3. Ein inkrementelles Upgrade habe ich damit leider nicht hinbekommen, sodass ich Searx schlussendlich komplett neu aufgesetzt habe.

Auch da bin ich auf die ein oder anderen Unwegsamkeiten gestoßen. Leider haben meine Skripte wie etwa „service searx start“ leider nicht mehr so funktioniert und ich musste sie anpassen (dazu in einem anderen Artikel).

Neue Features

Zuerst ein mal gibt es neue Suchengines. Darunter wären die Folgenden:

  • eTools
  • Wikibooks
  • Wikinews
  • Wikiquote
  • Wikisource
  • Wiktionary
  • Wikiversity
  • Wikivoyage
  • Rubygems

Interessant ist insbesondere eTools, da diese Suchmaschine zum Teil sogar mehr finden soll als Google es tut. So schreibt zumindest Digitalcourage (Quelle).

Auch wurden einige Suchmaschinen gefixed: Google, Google Images, Startpage, Gigablast und YaCy. Außerdem wurde die Dokumentation wesentlich überarbeitet, was Betreiber freuen wird. Kleinere Änderungen im Oscar-Theme haben leider mein selbst gestaltetes Design etwas kaputt gemacht. Ich bin nun wieder bei „Simple“-Design, zumindest vorübergehend. Außerdem wurde eine Reihe von Design- und Usabilityverbesserungen durchgeführt. Es gibt nun einige weitere Anbieter zur Autovervollständigung von Sucheingaben. Dazu zählen nun „dbpedia“, „duckduckgo“, „google“, „startpage“, „swisscows“, „qwant“ und „wikipedia“. Bei OccuSearch setzen wir standardmäßig auf DuckDuckGo, da die Ergebnisse relativ gut sind und wir gerne eine Alternative zu google haben möchten. Unter der Haube gibt es noch viele weitere Änderungen, die ihr den Changelogs entnehmen könnt.

Suchmaschinen: Unsere Auswahl

Außen vor lassen möchten wir Google, da die Interessen der Weltbevölkerung schon genug durch Google gelenkt werden. Abgesehen von der Marktmacht ist es Google so sehr einfach möglich bestimmte Meinungen besonders zu pushen. In wie fern das gezielt getan wird, ist umstritten, aber zumindest geben uns die Algorithmen vor, was wir sehen und was nicht.

Wir haben aktuell folgende Suchmaschinen per Default eingebunden:

  • Wikipedia – Die freie Datenquelle. Einfach sinnvoll.
  • Bing – Der größte Konkurrenz von Google im internationalen Vergleich. Wird von Microsoft betrieben. Die gute Durchmischung der Resultate macht es aber durchaus ok diesen Anbieter hier hinzuzufügen. Die Auswahl wird so nicht einseitig.
  • Wikidata – Eine frei bearbeitbare Wissensdatenbank mit dem Ziel Wikipedia zu unterstützen.
  • DuckDuckGo – Eine Suchmaschine die einen eigenen Suchindex betreibt, aber auch Ergebnisse von einigen anderen Suchanbietern einschließt (insbesondere Bing)
  • ETools – Ansich schon eine Metasuchmaschine, wie diese hier auch, die aber den Ruf besitzt seltene Webseiten zu finden, die selbst nicht von Google gefunden werden.
  • MetaGer – Eine deutschsprachige Metasuchmaschine mit schon ganz guten Suchergebnissen. Insbesondere für deutschsprachiges Publikum von Relevanz. Hält sehr hohe Ansprüche an Datenschutz ein.
  • Qwant – Eine französische Suchmaschine mit ebenfalls eigenem Index. Nach eigenen Angaben ist der Suchindex aber noch nicht vollständig und wird von Bing ergänzt. Zu begrüßen sind eigene Suchindizes aber auf jeden Fall!
  • Wikibooks – Ist ein Wiki zur Erstellung von Lehr-, Sach- und Fachbüchern unter der Creative Commons Attribution/Share-Alike Lizenz 3.0 und GNU-Lizenz für freie Dokumentation. Die deutschsprachige Variante hat 746 Bücher mit insgesamt 28.000 Buchkapiteln – immerhin!
  • Wictionary – Ein Wörterbuch ähnlich dem Duden aber basieren auf freiem Wissen, wie auch die Wikipedia. Mit cA. 1.000.000 deutssprachigen Einträgen.
  • dictzone – Ein Wörterbuch nicht nur für Deutsch-Englisch / Englisch-Deutsch.

Fußnote

So viel zu meiner Aktualisierung von Searx auf OccuSearch und die letzten Anpassungen an den vorbelegten Suchmaschinen. Ich wünsche weiterhin viel Spaß beim Nutzen von OccuSearch. Empfehlt es gerne an Freunde und Bekannte weiter. Die Suche lässt sich in den meisten Browsern auf einfach in die Adressleiste hinzufügen – schlechte Browser mit wenig Freiheiten wie der von Samsung auf Android mal außen vorgelassen. Nutzt lieber Firefox oder einen anderen privatsphärenfreundlichen Browser mit Addons zu eurem Schutz. Das soll es nun für heute hier gewesen sein. Ich wünsche noch eine schöne Woche.

Kategorien
Datenschutz German Mailserver OccuMail

Ein Spamfreies Postfach mit OccuMail ZeroSpam

Heute soll es um unseren Maildienst OccuMail gehen, für den auch du eine kostenlose Adresse bekommen kannst. Typischerweise vergeben wir etwa 1GB Speicher kostenlos. Mehr Speicher können wir gerne zur Verfügung stellen, aber wir bitten dann um eine geringfügige Beteiligung an den Serverkosten. Für mehr Informationen, bitte anfragen!

Mögliche, kostenlose Mailaliase sind:

  • nickname@occumail.net
  • nickname@new-visual-dimension.de
  • nickname@the-digital-native.de
  • nickname@the-digital-native.net
  • nickname@your-domain.tld (zum Selbstkostenpreis)

Unser Dienst ist Datenschutzfreundlich, Werbefrei und deine Mailinhalte werden von uns nicht eingesehen oder kontrolliert. Außerdem geben wir deine Mailinhalte niemals an Behörden oder sonstige staatliche Institutionen heraus. Im Zweifelsfall würden wir es auf einen Gerichtsprozess ankommen lassen. Glücklicherweise gab es eine solche Anfrage bis heute noch nie.

Bei OccuMail gibt es keinen Spamfilter

Einige Nutzer von OccuMail fragten mich bereits, warum es denn keinen Spam-Ordner in Ihrem Postfach geben würde. Die Antwort ist einfach: Wir bieten keinen Spamfilter an. Warum das so ist? Weil man seine E-Mailadresse Spamfrei halten kann. Ich habe meine aktuelle E-Mailadresse seit Oktober 2013, also knapp 7 Jahre, und erhalte immernoch keinerlei Spam.

Dafür muss man jedoch ein paar Regeln einhalten:

  • Poste deine E-Mailadresse niemals öffentlich im Internet auf irgendeiner Website.
  • Wenn du deine E-Mailadresse doch irgendwo publizieren musst (z.B. Impressum), dann nimm dafür, wenn möglich, einen Alias, der auf deine E-Mailadresse weiterleitet. Du kannst diesen Alias dann im Notfall einfach deaktivieren, ohne deine Hauptadresse zu verlieren.
  • Wenn du deine E-Mailadresse publizierst, tue dies niemals im Klartext, sondern als Privacy Captcha. Als Bild, oder besser als Privacy Captcha, kann deine E-Mailadresse nicht durch Bots gefunden und für Spam missbraucht werden. Solche Bots durchsuchen tagtäglich so gut wie alle Webseiten und schnüffeln E-Mailadressen auf!
  • Wann immer du dich bei irgendeinem Service oder Dienstleister mit einer E-Mailadresse registrierst, tue dies mit OccuMail ZeroSpam.

Über OccuMail ZeroSpam

Die Idee ist, wann immer du dich irgendwo mit einer E-Mailadresse registrierst, eine neue Mailadresse zu benutzen. Diese E-Mailadresse ist dann ausschließlich für diesen einen Anbieter bestimmt. Der Hintergrund: Meist wird deine E-Mailadresse nicht durch Freunde und Bekannte an Spammer und Phisher gegeben, sondern durch irgendeinen Serviceanbieter oder Dienstleister.

Wie funktioniert das bei OccuMail ZeroSpam?

Wenn du bei uns eine Adresse nickname@occumail.net hast, kannst du selbst über unsere Administrationsoberfläche Postfix Admin E-Mailadressen der Form alias@nickname.occumail.net anlegen. Wenn du deine eigene Top-Level Domain hast, dann natürlich auch alias@your-domain.tld. Wir empfehlen, sprechende Namen zu verwenden.

Erstelle dir z.B. eine der folgenden E-Mailadressen:

  • amazon@nickname.occumail.net
  • buch7@nickname.occumail.net
  • facebook@nickname.occumail.net
  • diaspora@nickname.occumail.net
  • twitter@nickname.occumail.net
  • mastodon@nickname.occumail.net

Das sieht in unserer Administrationsoberfläche wie folgt aus:

Wenn du Spam erhältst, kannst du einen Mailalias nun jederzeit wieder löschen. Wir empfehlen jedoch den Eintrag einfach zu deaktivieren. Dann kommen auch keine Mails mehr an, aber du hast den Überblick von wo schon mal Spam- oder Phishingmails kamen.

Tritt den Übeltätern auf die Füße!

Eine weitere tolle Eigenschaft dieser Methode: Erhältst du Mails auf eine Adresse, weißt du ja wo du diese Adresse benutzt hast. Von daher hast du die Möglichkeit dem Verantwortlichen auf die Füße zu treten. Entweder dieser hat die Daten selbst an Spammer oder Phisher weitergegeben, oder es gab ein Sicherheitsleck, über das die Kundendaten entwendet wurden. Auch letzteres gilt es zu Verfolgen, da die Kunden darüber informiert werden müssen. Das gilt sogar qua Gesetz!

Der Fall Foto Erhardt

Tatsächlich hatte ich schon mal einen solchen Fall, wo bei mir persönlich ein Phishingversuch auf meinen PayPal Account stattgefunden hat und das sogar unter Angabe meines Namens und meiner kompletten Adresse. Dank OccuMail ZeroSpam konnte ich den Ursprung des Ganzen nachverfolgen. An dieser Stelle nehme ich auch kein Blatt vor den Mund und sage, dass dieser Fall Foto Erhardt betraf, wo ich einige Zeit zuvor eine Onlinebestellung getätigt hatte. Ich ging zunächst von keiner böswilligen Absicht aus und unterstellte ein Sicherheitsleck, also dass die Daten gestohlen wurden. Ich informierte Foto Erhardt sofort telefonisch, wo man sich wenig zu interessieren schien und man mir sagte, ich sollte doch eine E-Mail schreiben. Das tat ich auch. Diese blieb jedoch unbeantwortet. Es gab auch keine Information der Kunden über ein Datenleck, sodass Foto Erhardt seinen gesetzlichen Pflichten nicht nachgekommen ist. Ich entschied mich deswegen damals, zumindest den Fall publik zu machen. Ich postete den Vorfall in einigen Foren für Fotografie. Angesichts dieses Verhaltens, sollte man doch noch mal überdenken, ob man denn gerade bei diesem Anbieter bestellen möchte (sei es auch gerade der günstigste).

Fazit

Mit ein paar grundlegenden Regeln und OccuMail ZeroSpam kann man den Spammern und Phishern ein Schnippchen schlagen. Möglich wird dies durch das Prinzip „eine Adresse pro Dienst“. Als Zusatznutzen kann man die Schuldigen identifizieren. Ich selbst habe übrigens inzwischen etwa 370 Aliase, wovon 40 deaktiviert sind. Das Prinzip hat mein Postfach also wirkungsvoll geschützt.

Wer noch keinen Adresse von OccuMail hat, der darf sich nun gerne melden und in den Genuss von OccuMail ZeroSpam kommen. Wer schon einen Account hat und ZeroSpam noch nicht nutzt, der möge sich zwecks Einrichtung kurz bei mir melden. Ich wünsche ein Spamfreies Wochenende!