Tekoälyyn liittyvät kilpailutukset ovat lisääntyneet nopeasti ja trendi epäilemättä jatkuu tulevaisuudessakin. Olenkin mielenkiinnolla käynyt lävitse eri tahojen tarjouspyyntöjä. Osin siksi, että se kuuluu toimenkuvaan ja toisaalta siksi, että olen auttanut asiakkaita erilaisten kilpailutusten järjestämisessä, joten itse prosessi ja sen lopputulokset kiinnostavat myöskin.

Vaikka en ole (toistaiseksi) tekoälyhankkeita kilpailuttanutkaan, niin veikkaan sen olevan verrattain haastavaa työtä. Harvalla yrityksellä tai organisaatiolla on vielä kokemusta tekoälyhankkeista, joka loisi selkänojaa kilpailutusten järjestämiselle.

Asia on sikäli tärkeä, että heikolla tarjouspyynnöllä tuskin saa valioluokan projektia aikaiseksi.

Haastavat kohdat

Seuraavaksi muutamia huomioita eri kilpailutuksista havaituista haasteista, näin toimittajan/vastaajan näkökulmasta katsottuna.

Uudenlaiset projektit

Tekoälyprojektit ovat uudenlainen projektityyyppi, joka poikkeaa ohjelmisto- tai vaikkapa BI-projekteista monessakin asiassa. Tästä ehkä kirjoitan enemmän toisen kerran. Joka tapauksessa, yksi olennaisimmista eroista on liiketoiminnan kypsyys. Ohjelmistoprojekteja on tehty vuosikymmeniä ja BI-projektejakin ainakin 25 vuotta. Tekoälyprojekteja vasta aloitellaan.

Kilpailutusmateriaalien vaatimuksia katsellessa tulee vaikutelma, että tekoälyn oletaan olevan kypsempi alue kuin mitä se tällä hetkellä todellisuudessa on. Miten tämä sitten näkyy käytännössä? Tässä muutama esimerkki.

Ylimitoitetut vaatimukset referenssien määrissä, kokoluokissa ja täsmällisissä business alueissa. Lähes kaikki nyt tekoälypalveluja tarjoavat yritykset ovat aloittaneet palvelutarjonnan muutaman viime vuoden aikana. Siinä ajassa ei kauhean montaa referenssiä synny, etenkään merkittävän kokoista. Eikä kovinkaan monelle business alueelle.

Mainittakoon myös, että tiukat sopimussakot ja muut vastaavat sanktiot sopivat harvinaiseen huonosti kokeilevaan ja iteratiiviseen tekemiseen, mistä tekoälyssä on pitkälti kyse. Pitäisi löytää älykkäämpiä keinoja varmistaa projektin onnistuminen.

Yksi toimittajille hankala asia on myös toisinaan etukäteen asetetut rajat mallien ennustetarkkuudelle. Tarjouksen jättävä toimittaja kun ei voi tietää, että mihin ne perustuvat. Todennäköisesti POC:in tekemiseen asiasta, mutta onko jatkoprojektissa vastaavat datat käytössä? Vastaavat labelit? Entä jos POC:issa mallit oli yliopetettu tai niissä on jotain muuta häikkää? Ja onko POC:in mahdollisesti tehneellä yrityksellä jo liikaa etumatkaa?

Mielestäni kilpailutuksissa ei pitäisi keskittyä vaatimuksiin ennustetarkkuudesta, vaan prosessiin ja systematiikkaan, jolla koneoppimisvaiheet tehdään. Jos toimittajalla on selkeä ja kattava prosessi mallinnuksen läpiviemiseksi sekä mahdollisesti valmiita (=testattuja) koodiratkaisuja, niin oikea ennustarkkuus on seuraus. En sano, että hyvä ennustetarkkuus, koska se on subjektiivinen käsite eikä aina edes järkevin asia maksimoida.

Osaamisvaatimukset

On luonnollista, että kilpailutuksissa haetaan osaajia relevantilla kokemuksella ja osaamisella.

Tekoälypuolella on kuitenkin käytössä valtava määrä erilaisia alustoja, ohjelmistoja, kirjastoja, ML-menetelmiä yms. – ja yksi Data Scientist pystyy parhaimmillaankin hallitsemaan vain osia kaikesta mahdollisesta.

Nyt kun jokaisesta kuvan kategoriasta valitaan yksi tai useampi pakollinen osaamisvaatimus, niin osaajien ehdot täyttävien osallistujien määrä alkaa tippua nopeasti. Esimerkiksi, datatieteilijä X on maailmanluokan NLP asiantuntija. Vaatimuksissa on R osaaminen, mutta hänellä on vain Python halussa. Kisa on ohi. Siitäkin huolimatta, että NLP ymmärrys olisi ollut kirkkaasti tärkein taito tehtävän kannalta. Ja Pythonin oppisi nopeasti R taustalla.

Mielestäni kilpailutuksissa olisi järkevää palastella osaamiset pienempiin osiin, jotta ei tarvitsisi etsiä yksisarvisia. Eli sallia se, että tarvitaan useampi tekijä yhden sijasta. Ja miettiä todella tarkasti, että mitä osaamisia laittaa pakollisiksi.

Edelliset haasteet liittyivät osittain liian yksityiskohtaisiin vaatimuksiin tai niiden kombinaatioihin, mutta myös liian geneeriset vaatimukset ovat hankalia. Esimerkiksi vaatimus ”Tekoälysovellukset, osaamistaso 1-5?”. Mitäs tuohon nyt sitten vastaisi?

Muut huomiot

Yleisesti ottaen olisi hyvä tiedostaa, että tietyn business alueen syvin osaaminen saattaa löytyä siihen keskittyneistä tekoäly-yrityksistä, esimerkiksi puheentunnistuksen kohdalla. Nämä yritykset kehittävät alustoja, ohjelmistoja ja valmiiksi opetettuja koneoppimismalleja. Se tarkoittaa, että niillä on myös IPR:ää pelissä eikä sitä noin vain luovuteta asiakkaalle. Ja projektinomainen kilpailutus ei ehkä toimi muutenkaan näille yrityksille. Voi käydä niin, että kysyntä ja optimaalinen tarjonta eivät kohtaa.

Koska kyseessä on disruptiivinen ala, niin käytetyt teknologiatkin kehittyvät nopeasti ja niissä käy karsintaa. Ne teknologiat, joilla nyt projektit aloitetaan ja kilpailutetaan, eivät välttämättä ole relevantteja 3 vuoden päästä. Kannattaa siis pitää joustavuus mielessä.

Yhteenveto huomioista

  • Huomioi että kyseessä ei ole kypsä liiketoiminta-alue, kuten Business Intelligence tai ohjelmistokehitys. Siksi yhtä jämäkkien ja kattavien vaatimusten asettaminen ei ole fiksua. Tai vaatia osaajilta 600 htp kokemusta jostakin spesifistä AI haasteesta.
  • Huomioi myös, että tekoälyprojektit saattavat epäonnistua siten, että millään investoinnilla ei päästä maaliviivan ylitse. Esimerkiksi silloin, jos datassa ei ole kausaliteettirakennetta, joka mahdollistaisi ennustemallien toteutuksen. Siksi pienet POC projektit ovat tärkeitä.
  • Kattavan osaamisen saamiseksi, hyväksy mieluummin useita asiantuntijoita kuin etsit yksisarvisia.
  • Arvioi mitkä osaamiset ovat ylivoimaisesti tärkeimpiä onnistumisen kannalta. Laita vain ne pakolliseksi ja muut pisteytettäväksi. Ehkäpä 80-20 sääntö pätee tässäkin.
  • Kenet haluat mukaan kisaan? Missä on paras osaaminen teidän kilpailuttamaan alueeseen? Jos se on pienissä AI startupeissa, niin 300 sadan kysymyksen, 12 selvityksen ja 10 CV:n vaatimuslista takuuvarmasti poistaa heidät kartalta.

Kilpailutukset varmasti kehittyvät, kun kokemusta tulee. Hyvä asia kuitenkin on, että ne ovat alkaneet. Ei näitä vielä pari vuotta sitten näkynyt. Tämän blogin lähteenä oli 11 tarjouspyyntöä, joista suurin osa julkiselta puolelta.