PostNL, Inergy en Schuberg Philis bouwen een Logistiek Event Data warehouse in de AWS-cloud

Long read – Krachtige cloud-oplossing verzamelt en verrijkt dagelijks logistieke informatie van ruim 1 miljoen pakketten en 8 miljoen brieven.

Elke brief en ieder pakketje dat door PostNL verzonden wordt, genereert data. Die gegevens worden bijvoorbeeld gebruikt om klanten te vertellen hoe laat hun pakketje arriveert. Samen met Schuberg Philis en Inergy ontwikkelde PostNL het platform dat al die data verzamelt en verrijkt.

PostNL zorgt er al meer dan twee eeuwen voor dat iedereen in Nederland post en pakketjes kan ontvangen. De getallen zijn indrukwekkend. Iedere dag bezorgt PostNL 8,1 miljoen brieven in Nederland en 1,1 miljoen pakketten in de Benelux. Het bedrijf is de onmisbare schakel tussen verzenders en ontvangers en de verbinder tussen de fysieke en digitale wereld. PostNL maakt een gestage verandering door. Het postbedrijf van PostNL ziet het brievenvolume jaar op jaar gestaag dalen omdat men elkaar tegenwoordig digitaal weet te vinden. De opkomst van e-commerce zorgt er aan de andere kant voor dat de hoeveelheid pakketjes die het pakkettenbedrijf van PostNL verzorgt, alleen maar blijft groeien. In 2021 bezorgde PostNL 384 miljoen pakketten, een recordaantal.  

Elke stap in beeld

PostNL wil op ieder moment precies weten waar een brief of pakketje zich bevindt in het logistieke proces. Daarom brengt het bedrijf voortdurend in kaart wat er met een zending gebeurt. “Het overgrote deel van de pakketten die wij verwerken, wordt door bedrijven verzonden”, zegt Dennis van Steijn, Platform Owner bij PostNL. “Wanneer een klant een label aanmaakt voor een pakketje, is dat onze eerste waarneming van de zending. Op dat moment ontvangen wij informatie over de afzender, de ontvanger en de bijbehorende barcode. Ook weten we of er bijvoorbeeld getekend moet worden voor ontvangst. Zodra het pakket onderweg is, komt het meerdere keren een scanner tegen. Bij het sorteren, bij de distributie of wanneer het pakketje in een vrachtwagen belandt. Elke keer dat het pakketje gescand wordt, zien wij als een logistiek event. Al die informatie vangen wij op en voegen wij toe aan de zending. Per pakketje zijn er gemiddeld vijftien logistieke events die worden gegenereerd en verwerkt. Alles leggen we vast.”

PostNL ziet niet alleen waar een pakketje zich bevindt in het proces, maar kan op basis van duizenden logische regels voorspellen wanneer het afgeleverd wordt. Al deze informatie wordt voor praktische doeleinden ingezet. De gegevens vinden hun weg bijvoorbeeld naar de PostNL-app die ontvangers gebruiken om hun pakketje te volgen. Medewerkers van customer service gebruiken de informatie op hun beurt om vragen van klanten te beantwoorden. Van Steijn: “Daarnaast gebruiken we de data bijvoorbeeld ook voor analyses, rapportages en interne sturing.”

MailInfo en ColloInfo

De logistieke events werden tot voor kort opgeslagen in MailInfo (voor brieven) en ColloInfo (voor pakketten). Beide systemen werden in eerste instantie ontwikkeld door Inergy. Daarna werkte Inergy bijna negen jaar lang met meerdere mensen aan het onderhouden, verbeteren en uitbreiden van MailInfo en ColloInfo. Ook verzorgde Inergy de hosting van de twee oplossingen. Wout Benjamins, Delivery Manager en Senior Project Manager bij Inergy, was al die tijd betrokken bij het project. Hij ontdekte al vanaf de eerste dag dat zijn ideeën over PostNL niet overeenkwamen met de praktijk. “Ik verwachtte eigenlijk een best ambtelijk bedrijf. Maar wat ik destijds aantrof was een jonge, dynamische organisatie met veel ruimte voor innovatie en investeringen.”   

Om beide systemen in topconditie te houden, werkt Inergy nauw samen met Schuberg Philis. Dit bedrijf kent de weg binnen de systemen van PostNL als geen ander. Schuberg Philis is verantwoordelijk voor het in de lucht houden van alle ‘mission-critical’ IT-systemen van PostNL. “Wij garanderen 100% uptime van het logistieke proces”, zegt Rik Blog, Customer Director bij Schuberg Philis. “Wij hebben maar één KPI”, zegt Blog, “en dat is klanttevredenheid. Bij een gemiddeld IT-bedrijf bel je met de helpdesk als je een probleem hebt. Pas als het heel spannend wordt, krijg je misschien een keer een specialist aan de lijn. Wij werken álleen maar met specialisten die in directe verbinding staan met de klant. Dat moet ook als je een proces bestuurt dat er écht toe doet.” Op dit moment werken er 37 mensen van Schuberg Philis binnen acht projecten bij PostNL.

MailInfo en ColloInfo bereikten geleidelijk de grenzen van hun kunnen, vertelt Platform Owner Dennis van Steijn. Van Steijn: “Het systeem werd te oud en te duur.” Tien jaar geleden verwerkte PostNL pakweg 500.000 pakketten per dag in de aanloop naar Sinterklaas. Tegenwoordig verwerkt PostNL op een piekdag met gemak meer dan 2,2 miljoen pakketten. “De oplossing schaalde niet meer mee met het volume dat we moesten verwerken. Bij PostNL moeten het logistieke proces en het digitale proces altijd gelijk blijven lopen. We merkten dat dat niet altijd meer het geval was. Als de data achter gaat lopen bij het fysieke proces, ontstaan er rare beelden.”

Daarnaast was er ook een financiële reden om de situatie scherp onder de loep te nemen. Van Steijn: “Onze drukste periode is de SKNJ-periode. Dat staat voor Sinterklaas-Kerst-Nieuwjaar. Tegenwoordig horen Black Friday en Singles Day daar ook nog bij. De capaciteit van onze servers was helemaal ingericht voor het piekniveau van die periode. Dat betekent dat er het grootste deel van het jaar sprake was van overcapaciteit die we niet nodig hadden, maar waar we wel voor betaalden. We wilden toe naar een systeem dat met ons meebeweegt.”

Van twee losse oplossingen naar één systeem in de cloud

PostNL volgt al jaren een kraakheldere cloudstrategie. Alle applicaties die in eigen datacenters gehost werden of op servers bij partners, gaan naar de cloud. “We willen toe naar een IT-landschap dat voorbereid is op de toekomst en makkelijk mee kan bewegen met de richting van onze organisatie”, zegt Dennis van Steijn. “Bovendien willen we de regie veel meer naar PostNL halen en écht in control zijn over onze eigen IT-systemen. Cloud biedt bovendien een financieel voordeel.”

Geheel in lijn met deze cloudstrategie wilde Van Steijn de twee systemen waar hij verantwoordelijk voor was naar Amazon Web Services (AWS) verhuizen. Beide systemen moesten daar samengevoegd worden in een nieuw platform: het Logistiek Event Data warehouse. Dat was echter geen kwestie van ‘even’ oppakken en neerzetten. Van Steijn: “ColloInfo en MailInfo zijn in Java ontwikkeld. De ontwikkelaars van Inergy moesten het platform volledig herbouwen in AWS.”

Rob Obdeijn, Senior Software Developer bij Inergy: “ColloInfo was een database waarop eigenlijk álles gebeurde. Het systeem beantwoordde bijvoorbeeld track & trace vragen, maar verzorgde ook allerlei analytische rapportages.” Dat was een onwenselijke situatie omdat het de performance van de oplossing negatief beïnvloedde. “In de nieuwe situatie hadden we daarom behoefte aan een omgeving die uit kleine gespecialiseerde componenten bestaat. Dan krijg je te maken met allerlei cloud-native, serverless oplossingen waar wij op dat moment nog niet zo in thuis waren. Het was een flinke leercurve waarbij Amazon ons goed geholpen heeft. Al met al zijn we blij dat we die leercurve hebben kunnen doormaken. Zeker als je nu ziet hoe snel en makkelijk PostNL de capaciteit kan verhogen, als dat nodig is. Het is nu in een paar minuten of seconden geregeld. In de oude situatie duurde het opschalen dagen tot weken omdat je eerst nieuwe hardware moet bestellen.”

Agile en DevOps

Niet alleen de applicaties werden op de schop genomen, ook de manier van werken veranderde drastisch. Van de traditionele, projectmatige manier van werken ging PostNL in die periode namelijk ook helemaal over op Agile. Dat betekende dat het LED-team kortcyclisch moest gaan werken. De teamleden lieten de vaste, na negen jaar ingesleten manieren van werken helemaal los. Van Steijn trok een scrummaster aan om het agile werken in goede banen te leiden. En het werkte. Geleidelijk ging LED-team steeds soepeler volgens de agile principes werken.

De transitie naar Agile werken was overigens niet de enige verandering. Het LED-team werkte niet alleen agile, maar ging ook volgens de DevOps-ontwikkelmethodiek werken. Een belangrijk kenmerk van die aanpak is het samenbrengen van de ontwikkelaars en beheerders, disciplines die ‘vroeger’ niet standaard bij elkaar aan tafel zaten. Bij DevOps is één enkel team verantwoordelijk voor zowel de ontwikkeling als het beheer van het platform. Het LED-team dat aan de slag ging met het nieuwe cloudplatform bestond dan ook uit mensen van PostNL, Inergy en Schuberg Philis. Inergy zorgde voor de BI-specialisten en ontwikkelaars. Schuberg Philis leverde de infrastructuurspecialisten die alles van het AWS-platform wisten. “Binnen het LED-team zijn wij verantwoordelijk voor de infrastructuur: dat is álles tot de applicatie”, zegt Customer Director Rik Blog van Schuberg Philis. “Dat betekent dat we ook bij designsessies aan tafel zitten om te zorgen dat alles wat er bedacht wordt goed in de infrastructuur belandt. Het is dus niet van: wij bouwen de infrastructuur, dit is de inlog, veel succes ermee. We ontwikkelen niets, maar denken wel mee. Door op deze manier samen te werken, maken we veel betere keuzes. Je versterkt elkaar voortdurend.” En als zich toch een probleem voordoet, weten Inergy en Schuberg Philis elkaar vlot te vinden. Blog: “Als het nodig is, bellen we elkaar midden in de nacht voor overleg. Vooralsnog is dat nog maar één keer voorgekomen.”

Drie lessen

Inmiddels is LED zo goed als helemaal live. Dennis van Steijn kijkt met veel plezier terug op de voorbije periode. Over de lessen die hij geleerd heeft, hoeft hij niet lang na te denken. Een belangrijke les die hij leerde, was dat je agile werken ook écht agile moet aanpakken. Aanvankelijk hinkte het LED-team nog een beetje op twee gedachten. Van Steijn: “We zijn begonnen met de migratie van het brievensysteem MailInfo. Aanvankelijk dachten we dat we eerst alles moesten migreren en klaarzetten in AWS voor we het met een ‘big bang’ live konden brengen. Dat bleek heel pittig, niet in de laatste plaats omdat je gedurende het project verrast wordt door nieuwe wensen van business of veranderingen in de IT-omgeving. Daarom hebben we daarna besloten het pakkettensysteem ColloInfo deel voor deel live te zetten. Dat deden we heel iteratief. Zodra een onderdeel af was, namen we het in gebruik. Die aanpak zorgde wel voor wat extra complexiteit omdat je met twee systemen werkt. De data in beide systemen moet natuurlijk helemaal consistent zijn.”

Een andere les die Van Steijn graag deelt: niets roepen over de einddatum. “Natuurlijk moet je wel een stip op de horizon hebben”, legt hij uit. “Maar het is vervelend om voortdurend uit te moeten leggen dat je nog een extra kwartaal nodig hebt. Het LED-team was niet alleen met de migratie bezig, maar moest soms ook werken aan zaken die de business nodig had. Soms heb je veertig procent van je vaste capaciteit nodig om wensen van de business te realiseren en blijft er maar zestig procent over voor de migratie.”

Van Steijns derde les: helder en transparant communiceren. “Binnen het team hebben PostNL, Schuberg en Inergy een gezamenlijke verantwoordelijkheid. Dat betekent dat je voortdurend het gesprek op moet zoeken en iedereen mee moet nemen in de ontwikkelingen. Nadat we bijvoorbeeld hadden besloten om niet alleen de migratie op te pakken, maar ook businesswensen in te willigen, moet je dat overleggen en met elkaar bespreken. Wat dat betekent voor het project? Een goed project heeft niet alleen baat bij goede interne communicatie, maar ook bij het aangehaakt en geïnformeerd houden van alle stakeholders. “Ook met hen moet je voortdurend in gesprek blijven.”

Minder verstoringen, lagere kosten

De herbouw van MailInfo en ColloInfo in de AWS-cloud heeft veel opgeleverd. Eerst en vooral zijn de beheerskosten behoorlijk gedaald. Omdat de nieuwe omgeving veel robuuster is, zijn er minder verstoringen en hoeft er dus ook minder hersteld te worden. Van Steijn schat in dat hij daardoor ongeveer de helft goedkoper uit is wanneer MailInfo en ColloInfo straks helemaal uitgefaseerd zijn. Verder is het nieuwe platform snel, schaalbaar en beschikt het over meer mogelijkheden. Daarnaast is de ontwikkelsnelheid veel hoger. Vroeger kostte het ontwikkelen en uitrollen van nieuwe functionaliteit minimaal een maand. Nu kan dat in de helft van de tijd, mede omdat veel stappen – testen bijvoorbeeld – behoorlijk geautomatiseerd verlopen. De verbeteringen aan de software kunnen bovendien direct live gezet worden. Van Steijn: “We hebben een datawarehouse en een platform neergezet dat goed functioneert. Nu de oplossing live is, plukt iedereen daar de vruchten van.”