Liiketoimintatiedon hallintaa kokemuksella
Tietovarastoprojekti on perinteiseen järjestelmäprojektiin verrattuna vaikeammin rajattavissa ja luonteeltaan iteratiivisempi. Toki BI-hankkeeseen liittyvät myös perinteiset aspektit: aikataulusta, kustannuksista, testauksista jne. huolehtiminen. Meillä on mittava kokemus erilaisista tietovarastototeutuksista. Tiedämme, mitä pitää ottaa huomioon, kuinka asiat kannattaa organisoida ja miten toteuttaa ratkaisuja eri ympäristöissä. Me autamme projektinne onnistumisessa!
Datatyövälineiden osaamisen lisäksi vaaditaan vankkaa toimialaosaamista sekä yritysten eri toimintojen — myynnin ja markkinoinnin, laskentatoimen, rahoituksen, logistiikan jne. — tuntemusta. Meillä kaikilla on kaupallinen korkeakoulututkinto sekä laaja kokemus useilta toimialoilta ja eri yritysten toiminnoista. Meillä on näkemys, miten bisneksen tahtotila muutetaan toimivaksi tekniseksi ratkaisuksi. Osaamme niin liiketoiminnan kuin IT:n kielen ja pystymme toimimaan tulkkina näiden välillä.
Hyvin suunniteltu on vielä kokonaan tekemättä. Meillä on laaja kokemus eri toteutusteknologioista. Esimerkkinä voidaan mainita Microsoft SQL Server ja Power BI, SAP BusinessObjects, TIBCO JasperSoft, Informatica. BI-ratkaisun toteuttaminen ei ole kuitenkaan välineurheilua. Toteutuksen tärkein palanen on kokonaisuuden hallinta ja ymmärtäminen.
Mitä oikeasti on big data sekä tämän päivän business intelligence -ratkaisut. Alla käytännön esimerkkejä tämän päivän toimivista ratkaisuista. Me teemme näitä!
Nykyaikaiset raportointiratkaisut voidaan hankkia myös suoraan pilvestä ilman erillistä raportointipalvelimen asentamista. Pilvipalvelun etuina on nopeampi käyttöönotto ilman etukäteiskustannuksia, palvelimesta ja päivityksistä huolehtii joku muu (päällä 24/7) sekä palvelun nopea skaalautuvuus sekä ylös- että alaspäin tarpeiden muuttuessa. Monet toimittajat tarjoavat perustoiminnallisuuden jopa ilmaiseksi, jolloin palvelun sopivuuden omiin tarpeisiin pystyy kattavasti varmistamaan. Joissakin tapauksissa kehittyneempien raporttien tekeminen vaatii kuitenkin raporttikehittimen asennusta työasemalle.
Yksi esimerkki pilvipohjaisesta raportointiratkaisusta on Microsoftin PowerBI. PowerBI on tämän hetken kuumin nimi markkinoilla ja se on ansaitusti nostanut Microsoftin BI-alustan mm. Gartnerin raportin johtotähdeksi. Jos tarvitset PowerBI-asiantuntijaa, ota yhteyttä meihin!
Pilvialustat tarjoavat uudenlaisen tavan toteuttaa koko tietovarastoarkkitehtuuri. Viime aikoina paljon puhuttu konsepti on ollut data lake. Mikä on data lake ja miten se toteutetaan Amazon Web Services -alustalla?
Data lake on paikka, mihin raakadata tuodaan ja tallennetaan jatkojalostusta varten. Data lake ei sisällä tietoa vakiomuotoisena, vaan voi sisältää erilaisia data lähteitä, jotka voivat olla täysin erityyppisiä, kuten peräkkäistiedostoja, rakenteellisia tiedostoja (esim. JSON, XML, erilaiset logitiedostot…) tai täysin vapaamuotoista dataa. Usein data lake toteutetaan Hadoop-teknologiaan pohjautuen. AWS lähestyy asiaa toisin. Data lake luodaan AWS:n S3-tallennuspalveluun, joka on itsessään hajautettu ja monennettu tiedon nopeaa tallennusta ja hakua sekä luotettavuutta silmällä pitäen. S3-tallennustila on edullista, eikä tiedon muokkaukseen tarvittavia palvelinklustereita tarvitse varata etukäteen, vaan vasta sitten, kun halutaan muokata. Uuden AWS Athena -palvelun avulla tietojen hyödyntäminen onnistuu data lakesta suoraan SQL-kyselyinä. Kun halutaan tehdä monimutkaisempaa tiedon yhdistelyä tai datan manipulointia, voidaan S3 data lakesta tehdä MapReduce-ajoja AWS Elastic MapReduce (EMR) -palvelua hyödyntämällä. EMR voi käyttää useita Hadoop-ekosysteemin laajennuksia kuten Pig tai Hive tai määritellä tiedon jalostus ohjelmallisesti. Kun määrittelyt on tehty, voidaan ajo laittaa suoritukseen, ja EMR varaa määritysten mukaisen palvelinkapasiteetin ajoa varten ja lopuksi vapauttaa resurssit. Maksat vain käytetystä prosessointiajasta, kätevää!
S3:een talletetut tiedot integroituvat saumattomasti muihin AWS-alustan palveluihin. Data voidaan viedä helposti AWS:n RDS-relaatiokantapalveluun, DynamoDB NoSQL-tietokantaan tai datawarehouse-palveluun Amazon Redshiftiin.
Kun data lake sijaitsee pilvessä, herää kysymys: miten tiedot saadaan sinne? AWS tarjoaa tähän useita eri vaihtoehtoja, kuten reaaliaikaisen tiedon integroinnin menetelmät, suoraan konesaliin liitettävät dedikoidut tiedonsiirtoyhteydet tai tietojen massalataus offline-siirtona Snowballin avulla. Jos kiinnostuit AWS:n mahdollisuuksista, ole yhteydessä meihin!
Hyödynnämme Amazon Web Services (AWS) sekä Microsoft Azuren tarjoamaa palveluvalikoimaa ja rakennamme koko tietovaraston pilveen. Esimerkiksi AWS tarjoaa mittavan valikoiman erilaisia tietokantavaihtoehtoja alkaen pienistä perinteisistä relaatiotietokannoista skaalautuen massiivisiin big data sekä sarakeorientoituneisiin (columnar storage) järeisiin tietovarastotietokantaratkaisuihin. Ja maksat joustavasti vain siitä kapasiteetista, mitä käytät! Myös tiedon integroinnin sekä raportoinnin ja analysoinnin ratkaisut voidaan hankkia AWS:sta samalla periaatteella.
Tiedon jalostaminen on aina tasapainottelua tiedon kattavuuden ja ajantasaisuuden välillä. Voit tietää verkkokauppasi euromääräisen myynnin välittömästi. Kuitenkin uusien asiakkaiden tapahtumat voidaan yhdistää myynteihin vasta, kun CRM-järjestelmän asiakastiedot päivittyvät seuraavan yön aikana. Tyypillisessä tietovarastoratkaisussa on korostettu kattavuutta ajantasaisuuden kustannuksella. Miksi näin? Syynä tähän on oikeastaan vain se, että "näin on aina tehty". Tietovarastojen historiallinen ajatus on ollut toimia yhden totuuden lähteenä. Varastoa rakennettaessa on vältetty tilanteita, joissa johonkin liiketapahtumaan liittyvä totuus saattaisi elää ajan kuluessa.
On aika heittää vanha ajattelu roskakoriin ja hyväksyä se, että organisaation eri toimijoilla on eri käsitys siitä, mikä on tiedon riittävä kattavuus ja luotettavuus. Verkkokaupasta vastaavalle riittävät myyntiluvut mainoksittain tai hakusanoittain, kunhan lukuihin voidaan reagoida nopeasti. Kun taas sisäinen laskenta voi odottaa myyntilukuja kirjanpidon tuotteittain vielä seuraavaan päivään. Uudessa mallissa tietovarasto on "loppujen lopuksi" kattava, mutta alustavat tiedot ovat niitä tarvitsevien saatavilla heti. Näin sama tietovarasto voi palvella sekä niitä, jotka kaipaavat ajantasaista tietoa, että niitä, joille tietojen kattavuus on tärkeää.
Siirtyminen uuteen ajattelutapaan merkitsee muutoksia tekniselle toteutukselle, tietovarastoa ylläpitävälle organisaatiolle ja sen sidosryhmille. Hitsaamo voi auttaa organisaatiotasi muutoksen synnyttämisessä. Ota yhteyttä, niin kerromme miten.
Master Data Managementilla (MDM) tarkoitetaan yrityksen ydintiedon hallintaa, tai liiketoimintakriittisen perustiedon hallintaa. MDM käsittää tiedonhallinnan prosessit, linjaukset, standardit ja välineet, joiden avulla organisaatio varmistaa yrityksen tiedon yhdenmukaisuuden, hallinnan, totuudenpitävyyden sekä vastuunjaon.
Ydintietojen verifiointia, käsittelyä ja eri järjestelmiin välitystä varten rakennetaan keskitin eli hubi. Näin ydintietoja voidaan hallita yhdessä paikassa ja välittää tieto eteenpäin toisiin järjestelmiin, joissa samaa tietoa hyödynnetään. Eri järjestelmien jakaessa yhtenäiset ydintiedot, myös tietojen yhdistely ja analysointi onnistuu paljon paremmin lopputuloksin.
MDM-ratkaisuun, kuten tietovarastointiinkin, liittyy olennaisena osana tiedon laatu ja puhdistaminen. Demokuvauksessa Microsoftin SQL Serverin työkaluja hyödynnettiin tiedon puhdistukseen ydintietojen avulla. Puhdistettava tieto koostui urheiluseurojen nimistä, joista piti päätellä kotikunta.
Data science, analytiikka, koneoppiminen, tiedon louhinta… Rakkaalla lapsella on monta nimeä. Mitä on data-analytiikka? Mihin sitä käytetään ja miten? Aihe on kaikkien huulilla, mutta mitä se on käytännössä?
Analytiikan avulla pyritään löytämään vastauksia monimutkaisiin kysymyksiin, joihin perinteisillä tiedon analysoinnin keinoilla ei kyetä vastaamaan. BI-ratkaisun fokus on menneisyydessä. BI-ratkaisulla voidaan vastata kysymyksiin kuten "mikä oli liikevaihto viime kuussa verrattuna edelliseen vuoteen" tai "mitkä olivat myydyimmät tuotteet ja mikä oli niiden kate". Analytiikka pyrkii oppimaan datasta ja ehdottamaan parhaita ratkaisuja. Analytiikan avulla vastataan kysymyksiin kuten "ketkä ovat todennäköisimmät asiakkaat, jotka ostavat tuotteen X ja minkä kanavan kautta" tai "kun asiakas on ostanut tuotteen X, niin mikä on tuote, jota hänelle seuraavaksi kannattaisi tarjota" tai "mitkä asiakkaat käyttäytyvät samankaltaisesti, mitkä ovat heidän yhdistävät tekijänsä".
Data-analytiikan perusta on mallinnus, jonka tavoitteena on kartoittaa käsillä olevaa liiketoimintaongelmaa selittävät piirteet, jotka voidaan syöttää analytiikka-algoritmille. Näin saadaan liiketoimintaongelmaan ennusteita tai selittäviä tekijöitä. Analytiikka mahdollistaa monimutkaisten syy-yhteyksien ymmärtämisen ja poikkeaa merkittävästi datan analysoinnista siinä, että BI-välineillä tehdyt analyysit ovat sääntöpohjaisia. Esimerkiksi tyypillinen BI-analyysi voisi olla "näytä tuotteet, joiden keskimääräinen kate on 30 % ja joita on myyty viimeisimmän kvartaalin aikana yli 1000 kpl, mutta edellisen vuoden samaan aikaan verrattuna myynti on laskenut". Analytiikka-algoritmi sen sijaan oppii menneen datan perusteella taustalla olevan ilmiön ja antaa vastaukseksi esimerkiksi todennäköisyysarvion siitä, mitä asiakas ostaa seuraavaksi ja millä todennäköisyydellä.
Data-analytiikan käytännön toteutustapoja on useita. Perinteisiä ratkaisuja ovat laajasti käytetyt R ja MATLAB sekä ohjelmointikielistä erityisesti Python. Pilvipalvelut tarjoavat valmiita algoritmeja sekä näitä tukevia työkaluja datan esikäsittelyyn ja piirreirrotukseen — näitä ratkaisuja ovat mm. IBM Watson, Microsoft Azure Machine Learning sekä Amazonin AWS Machine Learning (ML). Jos olet kiinnostunut analytiikkaratkaisusta, ota meihin yhteyttä!
Hitsaamo osallistui Amazon Web Services re:Invent 2016 -tapahtumaan.
Etsimme uusia kykyjä joukkoomme. Tällä hetkellä haemme nuoria valmistumassa olevia kykyjä. Oletko kiinnostunut tiedon analysoinnista ja tunnet pilvi- ja big data -teknologiat: Hadoop, Amazon AWS, Google, Azure jne.? Ota yhteyttä!
Tero on saanut Microsoft Certified Professional -sertifikaatin SQL Serveristä.
Sähköposti: etunimi.sukunimi@hitsaamo.fi
Hitsaamon partnerit ovat business intelligence -konkareita. Kaikilla meillä on yli viidentoista vuoden kokemus tietovarastoinnista ja business intelligence -ratkaisuista. Olemme olleet toteuttamassa liiketoiminnan ohjauksen järjestelmiä useilla eri toimialoilla.
Tietotekniikkatoimisto Hitsaamo Oy
Sinimäentie 10 B
02630 Espoo
