Aus Freiheit statt Angst!

Version vom 09:59, 29. Nov. 2008

Mailman Update

Eventuell könnte ein Update von Mailman Verbesserungen bringen? Veränderungen seit der hier benutzten Version 2.1.5 -> http://pastebin.com/m2b64da2 (oder in der NEWS Datei der aktuellen version)

Mailman Optimierung

Wurden schon "performance monitoring & analysis" und entsprechende Optimierungen durchgeführt? (z.B.: local DNS caching -> http://www.python.org/cgi-bin/faqw-mm.py?req=show&file=faq06.008.htp, usw.)

Wenn ich mir die Seite zu maximale Mailman Listengröße unter http://www.python.org/cgi-bin/faqw-mm.py?req=show&file=faq01.015.htp anschaue und dazu lese

For example, one mailing list managed
by Mailman has had up to 3000 subscribers, and often receives
100 messages in a day (i.e., hundreds of thousands of daily
deliveries). The list runs on a low-end Pentium with 48MB of
RAM. The machine runs sendmail on GNU/Linux."

...

If you're going to be running lists with more than a few thousand members, then you need to have a thorough  
understanding of how your MTA and Mailman work, and a deep and intimate familiarity with Internet e-mail in  
general. And of course, you will have to carefully consider how best to tune your MTA and Mailman to work best 
together. If you're missing any of these prerequisites, you're in for a difficult time."

scheint eine Optimierung des bestehenden Systems eine echte Alternative zum Umzug zu sein. Exc 21:45, 31. Mai 2008 (CEST)

Technik-Diskussion von der Arbeisgruppen-Hauptseite verschoben: ValiDOM 17:08, 20. Nov. 2008 (CET)

Moderatoren-Team

Was ist genau die Aufgabe des Moderatoren-Teams? (ausser Begrüssungstexte etc. erstellen)--rka 10:57, 29. Nov. 2008 (CET)

Technik

Der Mailinglistenserver hat große Lags, was kann man tun?

Beschreibung der aktuellen Situation

• Derzeitige Hardware: 1&1 Rootserver XL => AMD 4000 Dualcore, 2GB RAM
• Mehrere Projekte auf dem Server, AK Vorrat wohl das größte.
• Mailverzögerung derzeit ca. 2h
• Systemprotokolle? Munin-Graphen?

Evaluieren der Ursache

Beispiel von "normalen" Laufzeiten im Oktober:

Received: from d-s-c.biz ([212.227.104.134] helo=p15198016.pureserver.info) 
  by xxx (envelope-from <>) id 1KvCpJ-0003KM-46
  for xxx; Wed, 29 Oct 2008 16:19:18 +0100
Received: (qmail 12353 invoked from network); 29 Oct 2008 16:32:21 +0100
Received: from localhost (HELO p15198016.pureserver.info) (127.0.0.1)
  by localhost with SMTP; 29 Oct 2008 16:32:21 +0100
Delivered-To: 
Received: (qmail 12106 invoked from network); 29 Oct 2008 16:32:19 +0100
Received: from moutng.kundenserver.de (212.227.126.187)
  by ak-vds.de with SMTP; 29 Oct 2008 16:32:19 +0100

(hier dürften allerdings leichte Uhrzeit-Unterschiede noch mitspielen)

aktuell sieht es so aus:

Received: (qmail invoked by alias); 16 Nov 2008 16:31:16 -0000
Received: from d-s-c.biz (EHLO p15198016.pureserver.info) [212.227.104.134]
  by mx0.gmx.net (mx068) with SMTP; 16 Nov 2008 17:31:16 +0100
Received: (qmail 27018 invoked from network); 16 Nov 2008 14:09:06 +0100
Received: from localhost (HELO p15198016.pureserver.info) (127.0.0.1)
  by localhost with SMTP; 16 Nov 2008 14:09:06 +0100
Delivered-To: 
Received: (qmail 26471 invoked from network); 16 Nov 2008 14:09:05 +0100
Received: from foxtrot372.server4you.de (85.25.141.154)
  by ak-vds.de with (DHE-RSA-AES256-SHA encrypted) SMTP;
  16 Nov 2008 14:09:05 +0100

Es müßte also sinnvollerweise mal geprüft werden, wie die Mailqueue auf dem Server selber aussieht - vielleicht sind mitlerweile einfach so viele Leute in den Mailinglisten, daß es zu einer großen Verzögerung kommt. Andere Gründe könnten aber auch in Fehlern in den DNS-Einträgen zu suchen sein, die aber allem Anschein nach ausgeschlossen sein sollten ...

Optimierungsmöglichkeiten gibt es ggf. im Rahmen der Timeouts des Mail-Dienstes, damit nicht unnötig bei der Zustellung (zB bei greylisting-Servern etc.) gewartet wird, statt dessen halt später probiert wird ...

Evaluieren des Bedarfs

• Wieviele Mails gehen pro Stunde über den Server?

• für AK-Vorrat: ca. 150 Mails pro Tag mal ca. 1000 Subscriber ~ 150.000/Tag ~ 6.000/Stunde

• • Das sind deutlich mehr, dass es ja über 20 Listen sind, die für den AK auf dem Maillinglistenserver laufen

• Werden sie auf Viren und auf Spam gecheckt?

• Nein, da ja nur Mails von Listenmitgliedern (und ausdrücklich erlaubten AbsenderInnen) verteilt werden, alle anderen werden automatisch verworfen.

• Woran liegt es dann, dass auf der berlin@ täglich duzende Spammails aufschlagen?

Lösungsmöglichkeiten

• Kernfrage: Was ist zwischen Ende Oktober und jetzt passiert, was die Zustellung so ausbremst? --Garry

• Kann man Spam- oder Virenchecks bei einigen oder allen Listen unnötig machen, indem man z. B. keine Anhänge zulässt oder nur eingetragene Mitglieder Schreibrechte haben?

• Das ist ja bereits so?

• Kann man den Server dahingehend optimieren, dass er die Checks nur bei eingehenden Mails vornimmt?

• Ist vielleicht ein dedizierter Server angebracht, etwa in Form eines Vservers (oder ggf. noch größere Kapazität)?

• Wieso sollte ein VServer mehr Kapazität haben, als ein Rootserver, der zu 98 % dem AK zur Verfügung steht.

• Das ja doch ne ganze Menge Mails die der da verschicken muss, ich würde behaupten, dass da nen VServer auch schon stark in die Knie geht. Eine Auslastungsgraph vom CPU wäre sicherlich mal interessant, besonders wenn man irgendwie den Mailserver Prozess dabei betrachtet.
• Die CPU-Auslastung in Vservern ist meistens nicht das, was einen Vserver in die Knie zwingt. Meistens sind es Resourcen wie gleichzeitig offene Verbindungen, gleichzeitig geöffnete Dateien / Sockets / Prozesse. Bei Server4free (Virtouzzo Vserver-Technologie) ist das alles auf 500 begrenzt. Das wird schnell verbraucht. Daher würde ich für den Mailinglisten_Server von der Vserver-Idee wirklich abraten. -ValiDOM

• Es wäre denkbar, Provider anzusprechen, die bekennende Unterstützer des AK Vorrats sind (jpb, prima, ...)
• unschöne Variante: non digit ausschalten - jeder bekommt nur noch die Zusammenfassung am Tag

• Keine Lösung, da dann die Verzögerung ja noch länger ist

• sofern die Kapazitäten was Speicher/CPU angeht, noch ausreichend Reserven hat, könnte man mehrere Queue-Prozesse parallel laufen lassen --Garry
• Prüfen, ob einzelne Ziele die Zustellung unnötig lang verzögern - gestaffelte Queue-Verzeichnisse mit jeweils reduzierten Queuing-Frequenzen könnten in dem Fall die Zustellung der anderen Mails beschleunigen --Garry