Systemd und die Limits

„Jedes System kommt irgendwann an seine Grenzen.“ Einer meiner Server hatte die Grenze heute überschritten. Die Folge, der Apache stieg mit dieser Meldung aus :

„apache (24)Too many open files: couldn’t spawn child process:“

Jetzt können Sie soviel googlen wie Sie wollen, alles was zu dem Fehler kommt ist nicht hilfreich. Alle Hinweise  von RedHat zu limitfiles auf  /etc/security/limits.conf  oder /proc/sys/fs/file-max können Sie getrost vergessen, die greifen in dem Fall gar nicht.

Wenn Sie jetzt ein System V haben, ist /etc/init.d/httpd für Sie da. Tragen Sie dort einfach ulimit -n 100000 ein und starten Sie den Apache neu. Fall erledigt.

Für den Systemd, wie ihn Fedora seit FC 16 einsetzt, sieht die Sache ähnlich einfach aus, wenn man weiß wo man suchen muß. Aber mal ehrlich, würden SIe als Linuxer darauf kommen, daß „man systemd.exec“ die Hilfeseite zum Systemd öffnet? Ich nicht, .exe oder ähnliche Erweiterungen sind Windows Extentions.

Die Manpage liefert eine Übersicht zu den Variblen  die man im Unitfile benutzen kann und eine davon ( immerhin 5 Bildschirmseiten voll davon gibt es ) ist Ihr Freund: „LimitNOFILE

Suchen Sie mit „locate httpd.service“ ihr Unitfile, das ist üblicherweise unter /usr/lib/systemd/system/httpd.service zu finden. Tragen Sie dort im Servicebereich die Variable ein :

[Service]
Type=forking
PIDFile=/var/run/httpd/httpd.pid
LimitNOFILE=1000000
EnvironmentFile=/etc/sysconfig/httpd

Führen Sie noch die zwei Zeilen aus :

systemctl –system daemon-reload
systemctl restart httpd

und Ihr Apache rennt wieder 🙂

Ursachenanalyse:

Jedes Apache Child öffnet alle Domainlogs auf dem Server. Wenn Sie nun einen Multidomainwebserver haben, so wie meine Kunden, dann kommen dort schnell 1000 Vhosts zusammen. Das macht 1000 Files pro httpd-Child und damit viel mehr offene Files als Fedora defaultmäßig bereitstellt.

Hier wäre natürlich ein Logfilebroker für Apache die richtige Lösung, aber da brauchen wir wohl seitens Apache nicht drauf hoffen.

 

Wenn man nicht weis, wer man ist .. oder wie der 1und1 Trojaner versagte

Für einen kurzen Moment wußte ich heute meinen Namen nicht mehr, denn der neueste Zugang in meiner Mailbox konnte oder wollte mich nicht mehr daran errinnern:

Ihre Kundennummer: 228551940
Sehr geehrter,

heute erhalten Sie Ihre Rechnung vom 05.04.2013 im PDF-Format.
Der Betrag wird in den 7 Tagen von Ihrem Konto abgebucht.

Wichtige Information zu Ihrem Einzelverbindungsnachweis (EVN)
Ihre Einzelverbindungsdaten finden Sie ab sofort unter Ihrer jeweiligen Rechnungsnummer
in Ihrer RechnungsFCbersicht http://login.1und1.de.

Bestimmt wundern Sie sich, weshalb die Einzelverbindungsdaten in Ihrer 1&1
Rechnung fehlen und wir Sie heute auf das Control-Center aufmerksam machen.
Damit Ihre Daten demn4chst noch sicherer sind, hat der BfDI - Bundesbeauftragter FCr den Datenschutz und die Informationsfreiheit - die 1&1 Internet AG aufgefordert, den unverschlCsselten E-Mail-Versand der Einzelverbindungsdaten direkt einzustellen. 1&1 ist der Schutz Ihrer persnlichen Daten besonders wichtig. Ab jetzt stehen Ihnen daher alle Einzelverbindungsdaten ausschlie Flich online bereit.

Da ich nun zufällig tatsächlich mal „Opfer“ einer Trojanerattacker geworden bin, die zielführend hätte sein können, kann ich aus eigener Erfahrung sagen, daß es doch auf den ersten Blick schockt, wenn die Mail kommt. Aber ebend nur für eine halbe Microsekunde, denn sofort fallen die vielen Fehler ins Auge. Da wäre als prägnantestes Merkmal der fehlende Name in der Anrede. Ein deutliches Zeichen, daß jemand ohne Sinn und Verstand eine echte Mail als Vorlage kopiert hat, aber nicht wußte was da wirklich steht. „Sehr geehrter“ gibt solo einfach keinen Sinn 🙂

Danach wars natürlich ganz leicht, das übliche ZIP File , statt des PDFs in der echten Rechnung. Dazu kommen die wirklich auffällig falschen Umlaute in dem Text und zu dem soll das dann noch von „handbookz1@1und1.de“ stammen, was ja schon nach Leetspeek riecht. Elite war das übrigens nicht Jungs, ganz im Gegenteil ! Wie fast immer möchte man anfügen, daß wenn die Verbrecher helle wären, wären sie ja Bänker geworden.

Zu allem Überfluß haben die Herren die Email dann auch gleich zweimal mit anderen Inhalten geschickt. Solche Mitarbeiter braucht man, um erfolgreich zu sein 😉 .

Also, wie immer verfahren : Sie verfrachten die Mail wenn sie bei Ihnen eingeht in den Mülleimer, ich stell den Trojaner der Antivirencommunity zur Verfügung.

PS: Bevor jemand auf Ideen kommt, nur weil ich bei 1und1 residiere, die Mails gehen an ein spezielles Mailkonto. Kommen die EMails dort nicht an, ist es definitiv nicht von 1und1 . So sollten Sie das übrigens auch machen. Mit den Produkten der Evolution Hosting können Sie sich so viele EMail-Konten anlegen, wie Sie möchten.

Gestern noch Lufthansa, heute schon Condor..

Gar nicht mal so schlecht. Wenn da nicht die falschen Umlaute wären und der Umstand, daß ich grade gar nicht mit Condor fliegen wollte, man könnte versucht sein die EMail zu öffnen. Aber so ? Wie üblich, ab in die Tonne damit.

Einen kleinen Lapsus gab es natürlich: „P�nktlichfliegen: “ also selbst wenn das richtig kodiert gewesen wäre, hätte es „pünktlich Fliegen“ oder am besten gleich „Rechtzeitig am Gate sein:“ lauten sollen.

Lieber Passagier,

im Anhang dieser Mail finden Sie in Form eines PDF Dokumentes, die von Ihnen angeforderte(n) Bordkarte(n). Bitte drucken Sie Ihre Bordkarte(n) im DIN A4 Format aus, Sie ben�tigen Ihre Bordkarte(n) bei den Sicherheitskontrollen, am Abflugsteig (Gate) bzw. wenn Sie mit Gep�ck reisen bereits am Baggage Drop-off.

P�nktlichfliegen: Finden Sie sich sp�testens 45 Minuten vor der geplanten Abflugzeit am Abflugsteig (Gate) ein! Planen Sie unbedingt ausreichend Zeit f�r Pass- und Sicherheitskontrollen ein!

Zur Darstellung von PDF-Dateien benoetigen Sie den Adobe Reader. Sollten Sie den Adobe Reader noch nicht auf Ihrem Computer installiert haben, koennen Sie diesen unter http://get.adobe.com/de/reader kostenlos herunterladen und installieren.

Condor w�nscht Ihnen einen angenehmen Flug.

Diese E-Mail wurde Ihnen von Condor Flugdienst GmbH zugestellt. ... {gekürzt}... 

Gestern haben wir gelernt, daß ZIP Archive genutzt werden, um die Antispam und Antivirenprogramme auszutricksen. Im Gegensatz zu gestern, wo ein Doppelendungfilename benutzt wurde und dieser von den Antivirenprogrammen bereits als Viruserkannt wird, handelt es sich bei der Condoremail um eine reine ZIP Datei:

Content-Type: application/zip; name="BoardingPasses_61539376_373467_01 NEC 38813277 ACE 03.zip"
Content-Transfer-Encoding: base64

Natürlich haben wir uns dieses Zip näher angesehen. Herausgefallen wäre das File „BoardingPasses_61539376_373467_01 NEC 38813277 ACE 03.pdf.exe“ . Hier hätten wir wieder dieses typische Muster mit der doppelten Dateiendung „.pdf.exe“. Als erfahrener Leser dieses Blogs, würden Sie natürlich nicht mehr auf dieses Konstrukt hereinfallen, oder? 😉

Zu allem Überfluß wird der eigentliche Virus derzeit nur von wenigen Antivirenprogrammen erkannt, praktisch gar nicht.

CLAMAV erkennt immerhin das Archiv als verdächtig: Suspect.DoubleExtension-zippwd-15 FOUND