Data Engineering NL

Data engineering

Er is in de afgelopen jaren grote vooruitgang geboekt op het gebied van data engineering. Vooral grote bedrijven hebben gebruik gemaakt van complex big data systemen en analytische machine learning algoritmes. Hiermee hebben zij de operationele effectiviteit en kwaliteit van hun business intelligence verbeterd. Ze hebben de performance van processen zoals demand forecasting, production scheduling, transportation routing en service logistics verbeterd.

Ook kleinere bedrijven kunnen evengoed profiteren van deze ontwikkelingen, maar zijn hier terughoudend in geweest in het investeren in data engineering oplossingen door hoge investeringskosten en het gebrek aan gespecialiseerde kennis binnen de organisatie. We hebben vier competentie gebieden geinventariseerd die noodzakelijk zijn voor een succesvol toepassing van data engineering en ontdekt dat deze gebieden door diverse recentelijke ontwikkelingen veel toegankelijker zijn geworden:

  1. Technologie om data te verzamelen: Door de ontwikkelingen in smart phones en Internet of Things is meetapparatuur veel goedkoper en interactiever geworden. Ook is de hoeveelheid beschikbare Open Data enorm gegroeid. 90% van alle data ooit verzameld is minder dan 2 jaar oud.
  2. Rekenkracht van computers: Door continue verbetering in de performance van computers, zijn kleine en goedkope apparaten in staat geworden om uitgebreide analyses uit te voeren. Vandaag de dag zijn PC’s en laptops al in staat om simpele data mining algoritmes uit te voeren.
  3. Academische kennis: In de afgelopen jaren zijn de methoden voor statistischeanalyse en machine learning uitgebreid getest en daarna geformaliseerd en gestandaardiseerd. Hierdoor zijn zij toegankelijker geworden en makkelijker toe te passen in een business context.
  4. Business know-how: Door de pilots van academische instellingen en multinationals is een solide kennisbasis ontstaat op het gebied van de praktische mogelijkheden en limitaties van data engineering.

Bij Phinion hebben we de competenties om gebruik te maken van de kansen die deze ontwikkelingen bieden. We gebruiken deze mogelijkheden om data engineering oplossingen te bouwen die waardevolle, kosteneffectieve investeringen zijn voor klanten. We bieden de volgende vier data engineering aspecten:

  1. Collect: De software en hardware om data direct te meten en te verzamelen uit IT systemen en Open Data bronnen op het internet.
  2. Organize: De IT competenties om de noodzakelijke software en hardware the realiseren om de data te bewerken en op te slaan.
  3. Analyze: We hebben de statistische en wiskunde kennis en academisch netwerk om de benodigde algoritmes te bouwen.
  4. Utilize: We hebben de business know-how om de benodige oplossing te realiseren met de kennis wat realistisch mogelijk is.

DataEngineering


 
 

De kansen van data engineering

Data engineering oplossingen zijn nuttig voor het verbeteren van iedere operatie die gestuurd wordt door data. Door het gebruiken van meer data en het toepassen van betere statistische interpretatiemethoden kunnen we betere kwaliteit informatie uit de data halen. Hiermee verbeteren we processen als vraagvoorspelling, product kwaliteitscontroles, statische process controle en personeelsplanning.

De tekortkomingen van spreadsheets

Spreadsheets zijn bruikbaar voor basistoepassingen van data engineering, maar ze hebben beperkingen. Ze kunnen maar een beperkte hoeveelheid data aan en de rekensnelheid neemt snel af wanneer de complexiteit en de grootte van een berekening toeneemt. Het blijkt ook lastig om het gebruik van standaard spreadsheets consistent binnen een organisatie te gebruiken. Meestal heeft iedereen zijn eigen formats en zijn ze moeilijk aanpasbaar.

Verbeter de schaalbaarheid

De eerste directe verbetering van data engineering oplossingen ten aanzien van spreadsheets ligt in de mogelijkheid om veel grotere datasets te analyseren. Exact dezelfe berekeningen kunnen gedaan worden met veel meer data en factors van 10 sneller. Rekentijden kunnen letterlijk teruggebracht worden van uren naar minuten.

Integreer het analyseproces

Onze data engineering oplossingen zijn in staat om te verbinden met bestaande software en hardware systemen om data op te halen en resultaten te exporteren. Dit elimineert een hoop handmatig werk en maakt snelle feedback mogelijk.

Automatiseer berekeningen

Deze integratie maakt het mogelijk om analyses automatisch en continu uit te voeren. De oplossingen zijn hierdoor in staat om real time te monitoren en analyses direct te updaten wanneer er veranderingen in de data plaats vinden, onder andere door middel van meldingen en push berichten. Dit stelt de organisatie in staat om snel en agile te reageren.

Verhoog intelligentie

Tenslotte zijn we in staat om de diepte en kwaliteit van de analyse uit te breiden door het toevoegen van machine learning algoritmes die door middel van data mining nieuwe patronen en correlaties herkennen in de data. Deze methoden verrijken het analyseproces, verbeteren de kwaliteit en accuraatheid van de uitkomsten en bieden nieuwe inzichten die die voorheen niet mogelijk waren.


 
 

Collect

Phinion levert de hardware en software die nodig is voor het verzamelen van data. We ontwerpen en bouwen de integrale oplossing die nodig is voor de specifieke situatie en wensen van de klant. Deze oplossingen worden getest, geïnstalleerd en operationeel opgeleverd.

We leveren oplossingen voor het verzamelen van data in diverse situaties:

  • Bestaande IT systemen: We maken software om de benodigde informatie uit bijvoorbeeld ERP, CRM en administratiesystemen te halen. Wanneer mogelijk gebruiken we bestaande exportfunctionaliteiten in deze systemen. Met onze oplossingen kan deze data automatisch en real time uit bestaande systemen verzameld en gebruikt worden.
  • Smart devices: We leveren de software en hardware om data te extraheren uit apparaten, zoals Smart Phones, GPS trackers, productiemachines, voertuigen en CCTV’s. Ook hier maken we gebruik van bestaande exportfuncties en realiseren we automatische en real time oplossingen.
  • Open data: Dit is publieke data die bijvoorbeeld door overheden en universiteiten gedeeld wordt en uitwisseling van bijvoorbeeld sales en forecast data van grote klanten. Ook voor deze data creëren we de benodigde interfaces en waarborgen we waar nodig de security en privacy.
  • Nieuwe meetsystemen: Wanneer nodig realiseren we gecombineerde hardware en software oplossingen voor het meten van processen, zoals barcode en RFID systemen. We realiseren hierbij ook de technische integratie naar de bestaande IT infrastructuur.


 
 

Organize

Phinion levert de hardware en software die nodig is om data te organiseren en op de gewenste manier toegankelijk te maken. We realiseren de benodigde database oplossingen en interface applicaties om de data toegankelijk te maken voor gebruikers en andere IT systemen. Waar nodig installeren en configureren we de benodigde hardware voor opslag en communicatie. Ook bieden we cloud oplossingen voor de opslag en verwerking van data.

De oplossingen bieden de volgende mogelijkheden:

  • Structurering: We zijn in staat om data uit verschillende bronnen samen te brengen en te herstructureren. Door het combineren van data ontstaat een verrijking van de waarde van de informatie die hieruit is te halen.
  • Aggregatie: We extraheren informatie in ieder gewenste vorm en detailniveau. Door middel van deze op maat gemaakte exports kan de data voor meerdere doelen gebruikt worden.
  • Data cleaning: Wanneer er gaten en fouten in de data zitten, zijn we in staat om deze te detecteren. Vooral bij de integratie van meerde databronnen is het waardevol om inconsistenties te detecteren en corrigerence actie te ondernemen.
  • Interoperability: Onze oplossingen kunnen een automatische real-time verbinding realiseren tussen twee aparte IT systemen waardoor de data tussen deze systemen altijd gesynchroniseerd is.


 
 

Analyze

Phinion realiseert de software om intelligente analyses uit te voeren op grote hoeveelheden data. Deze software voert analyses automatisch en continu uit, waardoor de resultaten altijd up to date zijn. De algoritmes hiervoor worden op maat voor de klant ontworpen.

Door het lerende vermogen kunnen onze algoritmes meegroeien met de verwachte ontwikkelingen in de organisatie. Door het flexibele ontwerp zijn ze eenvoudig aan te passen en uit te breiden wanneer dit nodig blijkt te zijn.

We ontwikkelen drie soorten algoritmes in oplopende mate van complexiteit en mogelijkheden:

  • Descriptive: Deze algoritmes produceren informative over de huidige situatie, de zogenaamde”As-Is” cijfers. We maken deze algoritmes op maat, zodat de informatie op ieder gewenste vorm en detailniveau berekend kan worden.
  • Predictive: Deze algoritmes leveren informatie met voorspellende waarde op basis van de data. Dit doen zij door correlaties te berekenen en statistische verdelingen te fitten op de patronen in de data.
  • Machine learning: Deze algoritmes graven op diverse manieren door de data om patronen te vinden. Dit proces staat bekend onder de naam data mining. Vervolgens onthoud het algoritme de gevonden verbanden en leert het hiermee welke regelmaat er in de data zit.


 
 

Utilize

Phinion realiseert de software en hardware oplossingen om de analyseresultaten te gebruiken. Deze oplossingen worden geïntegreerd in de bestaande systemen en operationeel opgeleverd. Hiermee garanderen we de directe waarde van onze data engineering oplossingen.

We leveren deze oplossingen in de volgende vormen:

  • Reporting: We bouwen interactieve gebruiksinterfaces met op maat gemaakte dashboards. Hierin kunnen we de klassieke figuren tonen (staafdiagrammen, lijndiagrammen, etc), maar ook meer geavanceerde visualisaties, zoals geografische kaarten en process lay-outs. Deze dashboards kunnen bedoeld zijn voor tactische/strategische bsluitvorming, maar het is ook mogleijk om real-time dashboards te realiseren voor directe operationele feedback en bijsturing.
  • System feedback: We realiseren software interfaces om te communiceren met bestaande hardware en software. Hiermee kunnen de analyseresultaten direct gebruikt worden voor de aansturing van operaties. We kunnen real-time feedback realiseren naar zowel software systemen voor planning en scheduling als hardware systemen, zoals productiemachines.