Microsoftin katko kesti yli vuorokauden – nyt syy selvisi

Microsoftin Copilot-, agentti- ja alustaliiketoiminnasta vastaava johtaja Charles Lamanna ei kaunistellut tilannetta. ”Tiedämme, että asiakkaamme luottavat palveluihimme saadakseen tärkeitä töitä tehdyksi joka päivä”, hän sanoi englanniksi teknologiasivusto BleepingComputerille. ”Tiimimme käyvät läpi, mitä tapahtui ja miten voimme estää vastaavat ongelmat jatkossa.”

Läpikäytävää riittää. Torstai-iltana 12. marraskuuta Suomen aikaa alkanut Microsoft 365 -katko venyi yli vuorokauden mittaiseksi, ja Iltalehden mukaan se on yksi yhtiön pisimmistä. Nyt Outlook, Teams ja Copilot toimivat taas, ja Microsoft on kertonut, mikä palvelut kaatoi.

Kuten AI Suomi perjantaina kertoi, vika pysäytti sähköpostit ja kokouskalenterit myös suomalaisilla hyvinvointialueilla, kunnissa ja oppilaitoksissa. Copilot ei päässyt käsiksi käyttäjien postiin, kalentereihin eikä tiedostoihin, joten myös tekoälyavustaja oli käytännössä poissa käytöstä.

Palvelimet putosivat, kuorma kasautui

Microsoft arvioi aluksi, että vian takana oli tavallista suurempi kuorma useilla alueilla. Selvitys osoitti pian muuta. ”Totesimme, ettei kohonnut kuorma johdu liikenteen kasvusta”, yhtiö kirjoitti englanniksi X-palvelussa.

Todellinen ongelma oli se, että palvelimia putosi odottamatta pois käytöstä. Jäljelle jääneet joutuivat kantamaan niiden kuorman ja ylikuormittuivat vuorostaan. Myöhemmin Microsoft kertoi, että palvelimilla pyörivä keskeinen prosessi tukehtui kuormaan, mikä vei kapasiteettia entisestään.

Sitä, miksi palvelimet alun perin kaatuivat, Microsoft ei ole vielä kertonut. Yhtiö keskeytti kaikki päivitysten käyttöönotot, ohjasi yhteysliikennettä maailmanlaajuisesti pois vioittuneista järjestelmistä ja selvitti, nopeuttaisiko muutaman tuoreen asetusmuutoksen peruminen toipumista. Palvelimia käynnistettiin uudelleen ja palautettiin käyttöön vaiheittain. Kyberhyökkäyksestä ei Microsoftin mukaan ollut merkkejä.

Toipuminen oli hidasta. Perjantaiaamuna Microsoft kertoi sähköpostin kulun parantuneen ja pidensi viestien aikakatkaisun 48 tuntiin, jotta jonoon jääneet viestit eivät katoaisi. Iltapäivällä postijonot olivat jo lähellä normaalia, mutta yhtiö varoitti yhä katkoksista ja viiveistä. Jos tärkeä viesti puuttuu edelleen, lähettäjää kannattaa pyytää lähettämään se uudelleen.

Hyvitystä ei tule pyytämättä

Yrityksille katko maksoi peruttuina kokouksina, myöhästyneinä tarjouksina ja puhelimessa kuluneina tunteina. Microsoftin palvelutasosopimus (SLA) lupaa Exchange Onlinelle, Teamsille ja muille Microsoft 365 -palveluille 99,9 prosentin kuukausittaisen käytettävyyden. Jos lupaus pettää, asiakas voi saada hyvitystä. Sitä ei kuitenkaan makseta automaattisesti.

Hyvitys lasketaan prosentteina kyseisen palvelun kuukausimaksusta. Kun käytettävyys jää alle 99,9 prosentin, hyvitys on 25 prosenttia. Alle 99 prosentin käytettävyydestä hyvitetään puolet ja alle 95 prosentin käytettävyydestä koko kuukausimaksu.

Marraskuussa on 43 200 minuuttia. Rajan 99,9 prosenttia alittaa jo 43 minuutin katko ja 99 prosentin rajan reilun seitsemän tunnin katko. Organisaatio, jonka sähköposti oli poissa käytöstä koko vuorokauden, voi siis olla oikeutettu 50 prosentin hyvitykseen Exchange Onlinen kuukausimaksusta. Käytettävyys lasketaan kuitenkin käyttäjäminuutteina eli sen mukaan, kuinka moni organisaation käyttäjä oli katkon piirissä ja kuinka kauan. Osittain toimineissa palveluissa summa jää siksi pienemmäksi.

Rahaa tilille hyvitys ei tuo. Se vähennetään tulevista laskuista, ja SLA:n mukaan se on asiakkaan ainoa korvaus käytettävyysongelmista. Välillisiä menetyksiä, kuten tekemättä jääneitä kauppoja, Microsoft ei korvaa.

Jälkiraportti kertoo lopullisen syyn

Hallintakeskus kannattaa avata muutenkin. Microsoftin palvelukuvauksen mukaan laajoista häiriöistä julkaistaan alustava jälkiraportti Service health -sivulla 48 tunnin kuluessa korjauksesta ja lopullinen viiden arkipäivän kuluessa. Siitä pitäisi selvitä, miksi palvelimet alkoivat pudota.

Luvuilla on merkitystä myös silloin, kun lisenssisopimusta neuvotellaan seuraavan kerran. Microsoftin oman tilaston mukaan Microsoft 365:n maailmanlaajuinen käytettävyys jäi tämän vuoden tammi–maaliskuussa 99,526 prosenttiin. Vuodesta 2022 lähtien kaikki muut julkaistut neljännekset ovat ylittäneet 99,9 prosenttia. Loka–joulukuun luvusta näkee, kuinka paljon tämä katko painoi.

Mäkilän kysymys osuu suomalaisiin työpaikkoihin, joissa sähköposti, kalenteri, tiedostot ja nyt myös tekoälyavustaja ovat saman toimittajan varassa. Osittainen kuukausimaksun hyvitys ei korvaa menetettyä työpäivää. Varasuunnitelma ensi kertaa varten kannattaa kirjoittaa nyt, kun perjantain sekavat tunnit ovat vielä muistissa: kuka päättää siirtymisestä puhelimeen ja mistä henkilöstö saa tiedon, kun Teams on hiljaa.