Rogers teilt Erklärung nach „beispiellosem“ Ausfall

Inhalt des Artikels

Rogers Communications Inc. sagt, dass viele seiner eigenen Mitarbeiter offline geschaltet wurden und nicht in der Lage waren, sofort mit einem massiven Netzwerkausfall am 8. Juli fertig zu werden, der Millionen seiner Mobilfunk- und Festnetzkunden betraf.

Inhalt des Artikels

In einem Erklärungsschreiben, das von den Aufsichtsbehörden der kanadischen Rundfunk-, Fernseh- und Telekommunikationskommission gefordert wurde, beschrieb Rogers den Ausfall als „beispiellos“ und sagte, seine Ingenieure und technischen Experten „arbeiten weiterhin mit … globalen Geräteanbietern zusammen, um die Grundursache vollständig zu untersuchen und seine Auswirkungen.“

Führungskräfte von Rogers, darunter Chief Executive Tony Staffieri und der neu ernannte Chief Technology Officer Ron McKenzie, werden voraussichtlich am Montag bei einer Sitzung des Ständigen Ausschusses für Industrie und Technologie über den ganztägigen landesweiten Ausfall, der die Dienste von 911-Anrufen zu Interac-Zahlungen behinderte, weiter gegrillt System.

In der Anfangsphase des Ausfalls „konnten viele Netzwerkangestellte von Rogers keine Verbindung zu… IT- und Netzwerksystemen herstellen“, was „die anfänglichen Sichtungs- und Wiederherstellungsbemühungen behinderte“, sagte Rogers in dem Schreiben an das CRTC.

Inhalt des Artikels

„Um die Sache noch komplizierter zu machen, beeinträchtigte der Verlust des Zugriffs auf unser VPN-System auf unsere Kernnetzwerkknoten unsere rechtzeitige Fähigkeit, mit der Identifizierung des Problems zu beginnen, und verzögerte daher die Wiederherstellungsbemühungen“, sagte das Unternehmen.

Einige Mitarbeiter hatten Zugang über „Notfall-SIMs“ bei alternativen Telekommunikationsanbietern wie Telus und Bell, eine Praxis, die 2015 durch gegenseitige Vereinbarungen etabliert wurde, während andere zu zentralen Standorten reisten, um den Netzwerkzugang herzustellen.

„Gemeinsam waren diese Gruppen in der Lage, das notwendige Team zusammenzustellen, um die Ursache des Ausfalls zu identifizieren und das Netzwerk wiederherzustellen“, sagte Rogers in dem teilweise redigierten Brief. Es dauerte jedoch fast den ganzen Tag, bis der Service für die Kunden wiederhergestellt war, und einige sporadische Probleme traten das ganze Wochenende über auf.

Inhalt des Artikels

In dem Brief erweiterte Rogers frühere Aussagen, in denen der Ausfall auf einen Netzwerksystemfehler nach einer Aktualisierung seines Kern-IP-Netzwerks zurückgeführt wurde.

Während der sechsten Phase eines siebenphasigen Prozesses, der Wochen zuvor begonnen hatte – die ersten fünf Phasen, von denen Rogers sagt, dass sie ohne Zwischenfälle verliefen –, wurde eine Codierung in die Verteilungsrouter der Telekommunikationsgesellschaft eingeführt, die den Ausfall des IP-Kernnetzwerks auslöste, beginnend bei 4: 8. Juli, 45 Uhr.

Ein Routing-Filter wurde gelöscht, der es allen möglichen Routen zum Internet ermöglichte, die Router zu passieren, was zu „ungewöhnlich hohen Routenzahlen im gesamten Kernnetzwerk“ führte, sagte Rogers.

„Bestimmte Netzwerk-Routing-Geräte wurden überflutet, überschritten ihre Kapazitätsgrenzen und waren dann nicht in der Lage, den Datenverkehr weiterzuleiten, was dazu führte, dass das gemeinsame Kernnetzwerk die Verarbeitung des Datenverkehrs stoppte.“

Inhalt des Artikels

Infolgedessen verlor das Rogers-Netzwerk die Verbindung zum Internet für den gesamten eingehenden und ausgehenden Datenverkehr sowohl für die drahtlosen als auch für die drahtgebundenen Netzwerke für Privat- und Geschäftskunden.

Aus Gründen, die in dem Brief nicht vollständig erläutert wurden, wandte sich der Chief Technology Officer von Rogers um 6 Uhr morgens an die Kollegen bei Bell und Telus und beriet sie über das Problem, das Rogers hatte, „und auch, auf mögliche Cyberangriffe zu achten. ”

Der weit verbreitete Ausfall betraf Kunden von Rogers, die als „kritische Infrastruktur“ eingestuft wurden, wie Krankenhäuser, Gas- und Energieversorger, sagte Rogers in dem Brief und fügte hinzu, dass nicht bekannt sei, ob diese Kunden „vollständig beeinträchtigt oder ob sie einen gewissen Grad an Doppelfunktion hatten -Trägervielfalt, die sie vor vollständiger Behinderung schützte.“

Inhalt des Artikels

Sowohl Bell als auch Telus boten laut dem Schreiben an die Aufsichtsbehörden während des Ausfalls Unterstützung an.

„Angesichts der Art des Problems bewertete Rogers jedoch schnell und kam zu dem Schluss, dass es nicht möglich war, die notwendigen Netzwerkänderungen vorzunehmen, damit unsere Mobilfunkkunden zu ihren drahtlosen Netzwerken wechseln konnten“, sagte das Telekommunikationsunternehmen und fügte hinzu, dass es keinen Zugriff hatte seine Benutzerdatenbank und seinen Home Subscriber Server während des Ausfalls.

„Darüber hinaus wäre angesichts des nationalen Charakters dieser Veranstaltung kein Netzwerk eines Konkurrenten in der Lage gewesen, das zusätzliche und plötzliche Volumen von (mehr als 10 Millionen) Mobilfunkkunden … und den damit verbundenen Anstieg des Sprach-/Datenverkehrs zu bewältigen.“

Rogers sagte jedoch, es werde zusammen mit anderen kanadischen Fluggesellschaften prüfen, wie sie zusammenarbeiten könnten, um zukünftige weit verbreitete Ausfälle zu vermeiden. Eine Absichtserklärung über eine solche Zusammenarbeit soll im September dem Minister für Innovation, Wissenschaft und wirtschaftliche Entwicklung übergeben werden.

Inhalt des Artikels

Rogers versprach auch, seine drahtlosen und drahtgebundenen Kernnetzwerke zu trennen, um eine Wiederholung des weit verbreiteten Ausfalls vom 8. Juli zu vermeiden. Darüber hinaus sagte das Telekommunikationsunternehmen, es habe ein externes Überprüfungsteam beauftragt, eine vollständige Bewertung aller Prozesse durchzuführen, einschließlich der Leistung von Netzwerk-Upgrades, Notfallwiederherstellungsverfahren und der Kommunikation mit der Öffentlichkeit.

Ein zuvor angekündigter Plan, allen Privat- und Kleinunternehmenskunden Servicegebühren in Höhe von fünf Tagen gutzuschreiben, wird ab dem 1. August automatisch auf Kundenkonten angewendet, sagte Rogers. Die Endbenutzer der betroffenen Wiederverkäufer werden ebenfalls gutgeschrieben.

„Während der Ausfall für die meisten Kunden ungefähr einen Tag betrug, wollte Rogers unser Engagement für unsere Kunden demonstrieren und anerkennen, wie wir sie an diesem Tag im Stich gelassen haben“, heißt es in dem Brief.

Das Telekommunikationsunternehmen entschuldigte sich dafür, dass es sein Versprechen als Kanadas zuverlässigstes Netzwerk nicht erfüllt hatte, und eine von Chief Regulatory Officer Ted Woodhead unterzeichnete Einführung sagte, das Unternehmen sei „besonders beunruhigt darüber, dass einige Kunden während des Ausfalls keine Notdienste erreichen oder keine Warnungen erhalten konnten“.