CH Internet Szene

von Fredy Künzler

Am Dienstag gabs für uns keine Mittagspause. Was Blogger und viele Kunden von Init7 leider feststellen mussten, hat es in unserem Backbone zwischen ca. 12 und 17:15 Uhr ziemlich gekracht. Und wir müssen statuieren, dass unsere Notfallszenarien noch der Verbesserung bedürfen.

Moniert von unseren Kunden (und Bloggern) wurde, dass es Stunden dauerte, bis unsere Statusseite einen aktuellen Eintrag bekam. Grund dafür: init7.com ist zwar auf einem Server ausserhalb unseres Backbones gehostet (gut), allerdings war das Passwort für die Ticketdatenbank kürzlich verändert worden, und natürlich lag das Passwort verschlüsselt in einem nicht grad greifbaren File statt gespeichert im Webbrowser. Zitat von mir am Dienstag um ca. 13:00 Uhr:

... ich habe jetzt wirklich wichtigeres zu tun als Passwörter zu suchen!

Zu diesem Zeitpunkt war unser Backbone ziemlich instabil, und wir wussten auch warum. Ein "no redistribute bgp route-map xy" auf dem Cisco Router in Basel verhält sich nicht korrekt. Wenn man diesen Befehl eintippt, verbleibt in der OSPF-Config gemeinerweise ein "redistribute bgp" drin, und sofern sich eine volle BGP Tabelle im Router befindet, kracht es. Wir hatten dieses Verhalten vor zwei Jahren oder so mal im Labor simuliert. Leider hat sich das zuständige technische Team nicht daran erinnert, respektive erst nachher. Also ein klares menschliches Versagen, da gibt es nichts schönzureden. Dafür kann man uns bashen oder Verständnis zeigen.

Der betroffene Cisco-Router hat also ein paar zehntausend Routen (statt ein paar Hundert) an die anderen Router redistribuiert und sich dann nach dem zugehörigen Memory-Overflow rebootet, um ein paar Minuten von neuem mit dem tödlichen Verhalten zu starten. OSPF verteilt munter falsche Routing-Einträge an weitere Router im Backbone, die ihrerseits crashen und neu starten. Und so weiter, der Teufelskreis dreht immer schneller. Die neueren Core-Router des Init7-Backbones von Foundry waren übrigens nicht gecrasht, haben allerdings trotzdem ein unangenehmes Verhalten: sind einmal zuviele Routen im OSPF Prozess gewesen, funktioniert die Redistribution nicht mehr korrekt, auch wenn die fehlerhafte Ursache behoben ist. Helfen tut bloss ein "clear ip ospf *", aber auf diese Idee muss man erst einmal kommen. Die Folge war, dass etliche Kunden-Netze im Init7-Backbone nicht oder nur zeitweise erreichbar waren.

Bis wir Remote Hands von iwb bâldata aufgeboten hatten, um den "bösen" Router in Basel (wo übrigens auch Cyon angeschlossen ist) ausschalten zu lassen, dauerte es bis ca. 14:30 - man war dort in der Mittagspause. So bis ca. 16:00 Uhr hat sich der grösste Teil des Backbones wieder stabilisiert, doch in Basel (und damit bei Cyon) dauerte es etwas länger, weil ein Techniker mit dem Zug hinfahren und die fehlerhafte Konfiguration vor Ort reparieren musste. Logischerweise ging das erst, nachdem die Kabel zum restlichen Init7-Backbone getrennt waren.

Natürlich denken wir intensiv darüber nach, wie wir solche Fehler künftig vermeiden können. Unser Team hat in der Krise vorbildlich zusammengearbeitet, beispielsweise musste die Telefonzentrale an einem Nachmittag etwa soviele Anrufe beantworten wie sonst während eines Monats. Die Operations wird sicher Lehren aus dem Vorfall ziehen und für verbesserte Procedures sowie verbesserte technische Hilfsmittel sorgen. In Basel wird in den nächsten ein bis zwei Monaten ein neuer Foundry Netiron XMR in Betrieb gehen, wir warten auf die schon vor Wochen bestellte Box.

Transparenz für die Kunden ist das Wichtigste, sonst geht das angekratzte Vertrauen schnell ganz verloren. Wir hoffen, dass wir - wenn auch nicht schnell genug - so doch ehrlich genug kommuniziert haben. Wir und alle anderen kochen mit Wasser, auch wenn kravattierte Sales-Leute manchmal etwas anderes zu behaupten versuchen.

Die Überlegungen in einem grösseren Kontext: Das funktionierende Internet ist in der heutigen Zeit so existenziell, dass ein hustender Router in der Blogger-Welt zur veritablen Internet-Grippe hochstilisiert wird. Läuft Bluewin-ADSL mal nicht für ein paar Stunden, dann kommt das in den Radionachrichten. Ist Init7 offline, sind ein paar 10000 Webhosts offline, zählt man jene hinter Multihoming mit, sind es ein paar 100000, von all den Business- und Cable-Netzen ganz zu schweigen. Notabene: Fusionen von ISPs und die Konsolidierung der Backbones, politische De-Peerings oder Overbookings aus wirtschaftlichen Überlegungen akzentuieren das Problem zunehmend.

Auch die häufig zitierte "garantierte Verfügbarkeit", die in SLA (Service Level Agreements) so oft beschworen wird. 99.9% Verfügbarkeit ist gleichbedeutend mit knapp 9 Stunden ungeplantem, nicht angekündigtem Ausfall, kumuliert aufs Jahr. Unsere 5 Stunden vom vergangenen Dienstag sind also etwas mehr als 5 Promille, rechnet man über den Monat, sind wir immer noch bei um die 99.3% Verfügbarkeit, sofern kein weiterer Ausfall vorkommt. SLA Garantien sind aus diesem Blickwinkel betrachtet wohl kaum die richtige Kur gegen solche Vorfälle.

Multihoming ist - zumindest meistens - ein wirksames Mittel für erhöhte Verfügbarkeit. Das sage ich übrigens nicht erst seit vorgestern, und inside-it hat freundlicherweise meine Message weiter transportiert. Pech ist bloss, wenns bei Cablecom und Init7 gleichzeitig kracht ...

Wir können den Fehler und die nachfolgende Kettenreaktion nicht ungeschehen machen. Wir können bloss sagen, dass es uns sehr leid tut, und wir geloben Besserung. Wir arbeiten jeden Tag hart für die 99.x Prozent Uptime, und wir versuchen auch mit technischer Innovation unsere Services für unsere Kunden zu verbessern, damit auch prominente Blogs wie jene von Bundesrat Moritz Leuenberger und Dr. Chliitierchnübler weiterhin 24/7 erreichbar sind.

von Fredy Künzler

Seit einigen Tagen und Wochen denken wir intensiv über FTTH (Fibre to the home) nach. Bekanntlich sind ewz mit ihrem Zürinet und Swisscom mit Fibre-Ausbauten in vorerst Zürich, Basel und Genf in den Startlöchern. Swisscom veröffentlichte letzte Woche eine Medienmitteilung, wonach mit 4 Serviceprovidern FTTH-Pilotprojekte vereinbart wurden. Wir sind mit von der Partie, und selbstverständlich begrüssen wir den Schritt von Swisscom Wholesale, dass alternative Serviceprovider schon von Anfang an involviert werden. Das gibt uns die Möglichkeit, an den Produkten für Endkunden mitzuarbeiten und beispielsweise von Anfang an die IPv6-Kompatibilität zu gewährleisten.

Diskutiert haben wir mit unseren Partnern ewz und Swisscom intensiv über die richtige Dimensionierung des Upstreams. Bei ADSL hat das Bandbreitenprofil 5000 down und 500 up einen technischen Hintergrund, d.h. das verfügbare Frequenzspektrum auf dem Kupferkabel verlangt ein asymmetrisches Profil, wenn der für den "Normalverbraucher" wichtigere Downstream einigermassen hoch sein soll. Das selbe Argument gilt für Cable-Anschlüsse über Koaxialkabel, und auch VDSL bleibt asymmetrisch. Demgegenüber steht unser FTTH-Betatest, der seit fast 2 Jahren klaglos seinen Dienst versieht. Es ist ein 10/10M Service und kostet CHF 40.00 pro Monat.

Glasfaseranschlüsse müssen nicht asymmetrisch sein, die Technologie erlaubt heute Bandbreiten bis 10 Gbps in beiden Richtungen - und das Ende der Fahnenstange ist noch nicht in Sicht. Natürlich haben diese Geschwindigkeiten ihren Preis. Für normale Residential-Anschlüsse sind die reinen Materialkosten für ein 10/1M oder 100/100M in etwa gleich teuer. Ein FTTH-Angebot mit asymmetrischer Bandbreite wird deshalb mit politischen und/oder wirtschaftlichen Überlegungen begründet. Salopp gesagt: FTTH Anschlüsse werden künstlich kastriert, damit man weiterhin die teureren symmetrischen Business-Ports verkaufen kann.

Ob das der richtige Weg ist, möchte ich von meiner geschätzten Leserschaft erfahren. Die nebenstehende Umfrage bezieht sich explizit auf Residential FTTH, also Fibre-to-the-Home für Privatkunden, die heute mit ADSL / VDSL oder Cable unterwegs sind. Wie soll künftig ein FTTH Anschluss dimensioniert sein, und wieviel soll er kosten? Braucht es überhaupt FTTH, oder reicht herkömmliches ADSL, Cable oder VDSL vollkommen? Liebe Leserin, lieber Leser: Ihre Meinung ist gefragt, und falls Multiple-Choice nicht ausreicht, steht das Kommentarfeld zur Verfügung.

von Fredy Künzler

Die Welt ist in den letzten Tagen schlechter geworden. Dies müsste man zumindest annehmen, wenn man die DDoS Attacken der letzten paar Tage anschaut. Gab es vor 2 Jahren noch Attacken mit ein paar hundert Megabit pro Sekunde, sind es heute das zehnfache an "bösem" Traffic. In den letzten 10 Tagen stellten wir teilweise mehrfache Attacken auf nicht weniger als vier verschiedene Kunden fest. Diese Häufung gab es, soweit ich mich erinnern kann, noch nie, und vielleicht ist es erst der Anfang einer nie dagewesen Welle. Man stelle sich tagelange Angriffe auf die Online-Bank-Systeme von Postfinance, CS oder UBS vor ... ich wage mal die Behauptung, dass kein Schweizer Finanzinstitut hinreichend gegen DDoS geschützt ist. Vor Jahresfrist ging bekanntlich gemäss offizieller Lesart der ganze Swisscom-Backbone wegen einer DDoS Attacke für mehrere Stunden in die Knie.

Was soll man also tun? Die normalerweise eingesetzten Firewalls der üblich verdächtigen Anbieter (Cisco, Checkpoint etc.) sind nicht als DDoS Protection konstruiert, sondern sollen Netze gegen Einbrecher und unbefugte Nutzung (intern wie extern) schützen. Wer weiss schon, wer alles noch ins Visier der "bösen Buben" da draussen im Internet kommen mag ... der Image-Schaden für eine Online-Trading Plattform wäre immens, können die Kunden in der heutigen hektischen Zeit der Börsen ihre UBS-Pennystocks-Aktien nicht rechtzeitig loswerden.

Bei einem Kunden, der immer mal wieder attakiert wird, haben wir Gegenmassnahmen vorbereitet und konnten letzte Woche bis zu 5.5 Gbps DDoS abwehren. Trifft man jedoch keine speziellen Massnahmen, kann eine DDoS-Attacke massiv Kollateralschaden verursachen. Sie wird nicht nur für das NOC des Serviceproviders zum Albtraum, sondern auch für nicht direkt betroffene Kunden, die zufällig an der selben Infrastruktur angeschlossen sind.

Solange es DDoS Attacken wie dieser gestern und heute gemessene (anonymisierte) "Mini-DDoS" von knappen 200 Mbps sind, kann man relativ gut damit leben (Traffic-Profil ist aus Sicht des Routers - inbound (grün) ist der Outgoing Traffic von den Kundenservern, outbound (blau) die Attacke aus dem Internet auf die DDoS Targets):



Kommt hingegen mehr DDoS-ICMP, -UDP oder SYN Flood daher, wird es kritisch. Ein durchschnittlicher Cisco Router (z.B. die weit verbreiteten 7301) machen schnell mal schlapp. Und weil an einem solchen Router üblicherweise einige bis einige Dutzend Kunden mit total 100 bis 200 Mbps Nutztraffic angeschlossen sind, ist der DDoS insofern verheerend, weil die Attacke nicht das eigentlich Ziel lahmlegt, sondern der vorgeschaltete Router, der alle drei oder vier Interfaces von sich streckt. Das Ziel des "bösen Bot-Netzs-Admins" ist damit erreicht, d.h. das DDoS-Target ist weg vom Netz. Allerdings sind gleichzeitig alle anderen Kunden am betreffenden Router ebenfalls offline oder haben zumindest eine massiv eingeschränkte Internetverbindung mit Packetloss und Route-Flapping.

Deshalb machen wir uns grad intensiv Gedanken zu Massnahmen, wie der Kollateralschaden bei künftigen DDoS Attacken minimiert werden kann. Zum Glück haben wir schon einige Netiron XMR im Einsatz, die gemäss Datenblatt 20 oder 40 Gbps DDoS filtern können ... unfreiwillg ausprobieren möchte ich es eigentlich lieber nicht. Das here Ziel bei Attacken müsste ja nicht sein, das DDoS Target einfach vom Netz zu nehmen, sondern die 99.9% DDoS Traffic filtern und von den 0.1% Nutztraffic zu trennen, welcher dann ganz normal zum Kundenserver geroutet würde. Man könnte diese Massnahme "DDoS-Washing" nennen.

DDoS Washing dürfte in den nächsten Jahren ein grosses Kundenbedürfnis werden. Prolexic, einer der DDoS-Prevention Dienstleister schreibt denn auch auf seiner Website:

Distributed Denial of Service (DDoS) attacks have rapidly become a commonplace threat to doing business on the Internet. With over 50,000 distinct attacks per week, denial of service has become the most costly form of cyber-crime businesses face today.

In response, Prolexic Technologies provides class-leading global DDoS mitigation service that protects Internet operations from the debilitating service disruptions caused by DDoS attacks.

Dass solche Abwehrmassnahmen kostenintensiv sind, versteht sich von selbst ... eine 100 oder 1000mbps Internet-Anbindung reicht dazu selbstredend nicht aus.

von Fredy Künzler

Gestern hatte die ComCom ein Machtwort gesprochen in Sachen ULL Pricing. Für die Zusammenfassung verweise ich auf den Artikel der Kollegen von inside-it: Telefonanschluss wird billiger - Swisscom sauer. Die sogenannte TAL (Teilnehmeranschlussleitung, also die entbündelte Kupferleitung) soll neu also noch CHF 18.18 pro Monat kosten. Ironie der Sache: unter dem Brand 1818 wirbt der härteste Konkurrent der Swisscom um Auskunftskunden ... deren Spots sind ja bereits legendär, und der Seventies-Soundtrack dürfte mittlerweile in Worblaufen Ohrenweh verursachen:



Doch die CHF 18.18 sind noch nicht alles. Ebenfalls - und das ist für ein ULL Businessmodell sogar wichtiger - wurde der Preis für Colocation in der Swisscom-Zentralen (sogenannte KOL) massiv gesenkt, insbesondere die prohibitiven Setup-Fees wurden korrigiert. Swisscom wollte bisher für die Installation eines Racks satte CHF 12706 (das Rack musste man dabei noch selber bringen!), die ComCom korrigierte diesen Tarif jetzt auf vernünftige CHF 2440, was einer Korrektur von über 80% entspricht. Der Hintergrund ist klar: Swisscom versuchte so wenig ULL-Anbieter wie möglich "zuzulassen", und mit dieser Preispolitik ist das bislang auch gelungen, haben doch nur Cyberlink, Sunrise und VTX im grösseren Stil entbündelt, dazu kommen noch Cablecom und COLT für den Business-Sektor sowie regionale Player mit einer Handvoll Standorten. Die Preis-Details finden sich übrigens in der Medienmitteilung der ComCom sowie deren Präsentation der Medienkonferenz und Hintergrundinfos.

Dass die Preise rückwirkend gelten sollen, ist in einem solchen Fall klar und normal, und deshalb dürften bei Cyberlink und Co. gestern die Schampuskorken geknallt haben. Für 50 gebaute ULL-Standorte gibts gut und gerne eine halbe Kiste von Swisscom zurück ... immerhin hat Swisscom zähneknirschend verlauten lassen, dass man - sofern alles rechtlich korrekt sei - auf den Weiterzug an die Rekursinstanz verzichten wolle.

Aufgrund der neuen Umstände in Sachen ULL wird der eine oder andere Anbieter den Taschenrechner und die ULL-Verträge nochmal aus der Schublade nehmen. Die Investitionen sind jetzt auf einem vernünftigen Mass, dass sich xDSL über ULL als kurzfristig verfügbare Technologie doch noch rechnen könnte. Technisch gesehen ist ja alles bereit, neben Init7 haben nämlich etliche andere ISPs im Frühjahr 2007 am ULL-Trial mitgemacht, aber nach Bekanntgabe der von Swisscom definierten Preise die tollen Last-Mile-Pläne ganz schnell schubladisiert. Die Korrektur der ComCom ist deshalb zu begrüssen, doch leider sind inzwischen wieder 18 Monate verstrichen, und der Applaus an ComCom Chefjurist Marc Furrer muss verhalten bleiben. Im Interview mit CashDaily vorgestern hinterlässt er denn auch eher einen zaudernden Eindruck.

von Fredy Künzler

Eigentlich wäre dieses Posting erst gegen Ende Oktober vorgesehen gewesen. Die Geschichte bei inside-it.ch über meinen derzeitigen Arbeitgeber Zattoo veranlasst mich jedoch, meiner geschätzten Leserschaft mitzuteilen, dass ich per Ende Oktober 2008 die Funktion als "Network Architect Global Infrastructure" (das steht auf meiner Visitenkarte) gekündigt habe. Es war eine schöne Zeit mit viel Herzblut und Engagement in einer Firma mit einem sehr coolen Produkt, doch die veränderten Umstände liessen mir keine Wahl. Zwischen Juni 2006 und heute haben wir (hauptsächlich mein Kollege Julian und ich) eine Infrastruktur von 7 auf um die 700 Server (irgendwann habe ich aufgehört zu zählen) verteilt in halb Europa aufgebaut, natürlich mit Routern, Switches und was sonst noch alles dazugehört. Mittlerweile verstehe ich auch allerhand von Satelliten-TV, die bisher häufigen Besuche auf de.kingofsat.net werden jedoch künftig wohl eher sporadisch sein...

Ab dem 1. November werde ich teilzeitlich einiges für Init7 tun, insbesondere im Bereich Backbone und Strategie, jedoch nicht mehr als CEO. Ausserdem werde ich weiterhin IPv6 predigen, hier bloggen und daneben im Grossen Gemeinderat von Winterthur etwas Politik machen. Doch das reicht natürlich nicht, deshalb suche ich spannende Projekte in den Bereichen CDN (Content Delivery Networks) oder BGP4-Routing oder ... Vorschläge sind gerne willkommen an kuenzler at init7 dot net. Falls diese nicht ultimativ schnell beantwortet werden, bitte ich um Nachsicht. Ein paar Tage Ferien dazwischen dürfen natürlich nicht fehlen.

Für Fragen, wie es denn jetzt weitergeht mit Zattoo verweise ich auf die Zattoo-Medienstelle.

In diesem Sinne: Good bye and good luck, Zattoo!