Paikallinen kielimalli pilvipalvelun sijasta?
Pasi Karhu, CTO
Suuret pilvipalvelupohjaiset kielimallit ovat vakiinnuttamassa paikkansa uusien ennennäkemättömien tekoälyratkaisujen mahdollistajina, joista emme vain viisi vuotta sitten osanneet edes uneksia. Isoille pilvimalleille on kuitenkin vaihtoehtona myös paljon eri kokoisia ja tasoisia avoimia kielimalleja, joita voi käyttää paikallisesti yrityksen omalla palvelimella tai yksittäisellä työasemalla. Kirjoitukseni käsittelee kielimalleihin liittyvää tietoturvaa, EU-rajoitteita, mallien älykkyyttä, niiden suomen kielen osaamista ja laskentatehon tarvetta. Kerron myös, miten kielimallia voi kokeilla omalla koneella.
Milloin on Tarve paikalliselle eli lokaalille kielimallille?
Tilanteissa, joissa esimerkiksi tiedon ehdoton salassapitotarve estää kaikkien pilvipalveluiden käytön, ainoa vaihtoehto kielimallien älykkyyden hyödyntämiseksi on omilla laskentaresursseilla toteutettu ratkaisu. Kandidaatteja tällaisille paikallistoteutuksille ovat esimerkiksi yritysten tuotekehitysprojektit sekä puolustusvoimien ja puolustusteollisuuden dokumenttien hallinta. Toinen pakottava tarve on työskentely internetyhteyden ulottumattomissa, kuten esimerkiksi työskentely saaristossa, merellä, vuoristossa tai erämaissa sekä sähkökatkoille herkissä paikoissa.
kun Datan käyttö mallien kouluttamiseen täytyy estää
Pilvipohjaisten kielimallien osalta ei ole pelkästään kysymys yleisestä tietoturvasta, vaan myös siitä, käytetäänkö kielimallin kautta kierrätettyä dataa myös uusien kielimallien kehittämiseen. Tämä voi olla ongelma, koska kouluttamiseen käytetty aineisto saattaa joskus jossain yhteydessä nousta esiin vastauksena jonkun toisen käyttäjän esittämään tehtävään. Toki monet tutut alan palveluntarjoajat ilmoittavat, etteivät ne käytä asiakkaiden niiden kielimalleille syöttämää dataa uusien mallien opettamiseen. Mutta kun toisaalta tiedetään, että ne ovat käytännössä tekijänoikeuksista välittämättä imuroineet käyttöönsä kaiken Internetistä löytämänsä datan, epäilyksen siemen jää itämään tässäkin asiassa. Jos halutaan olla täysin varmoja, että aineistoa ei käytetä kouluttamiseen, on paikallinen malli ainoa vaihtoehto.
EU-rajoitteet ja maantieteelliset näkökulmat
Ranskalaista Mistral AI:ta lukuun ottamatta kaikki merkittävät pilvipohjaisten kielimallien tarjoajat tulevat EU:n ulkopuolelta, joten se asettaa omat rajoituksensa esimerkiksi GDPR:n suhteen. OpenAI:n kielimallit ovat toki tarjolla Microsoft Azuren kautta Eurooppaan rajoittuvilta palvelimilta, kuten myös Googlen kielimallit heidän oman Vertex AI:nsa kautta. Nykyisessä Yhdysvaltain hallinnon ulkomaansuhteiden sekä lainsäädännön kehittämisen ja tulkinnan vaihtuvissa tuulissa nämäkin palvelut saattavat arveluttaa varovaisimpia yrityksiä; varsinkin kun yhdysvaltalaiset kielimallitoimittajat näyttävät tekevän tiivistä yhteistyötä arvaamattoman nykyhallinon kanssa.
ovatko paikalliseen käyttöön soveltuvat mallit tarpeeksi älykkäitä?
OpenAI:n Gpt-4 kielimallin julkaisu keväällä 2023 toimi todellisena lähtölaukauksena yritystoimintaan käyttökelpoisille generatiivista tekoälyä hyödyntäville järjestelmille. Sen käyttö oli mahdollista kuitenkin vain pilvipalveluna. Samoihin aikoihin markkinoille alkoi kuitenkin tulla pienempiä, avoimia kielimalleja, joiden käyttölisenssit sallivat niiden käytön lähes mihin tahansa yritystoimintaan yrityksen omilla palvelimilla. Aluksi ne eivät olleet kovin älykkäitä, eivätkä siten sopineet useimpiin yritystehtäviin. Nyt kaksi vuotta myöhemmin parhaat avoimet mallit ovat kuitenkin älykkäämpiä, kuin alkuperäinen Gpt-4. Kun samaan aikaan kielimallien hyödyntämistekniikat ovat kehittyneet ja laskentakapasiteetin hinnat alentuneet, pienemmätkin kielimallit ovat jo käyttökelpoisia myös yritystoiminnassa. Niitä voidaan myös jatkokouluttaa yrityksen erityistehtäviin, jolloin niistä tulee siihen tehtävään suurimpiakin pilvimalleja parempia.
kiinalainenkin kielimalli on turvallinen paikallisesti käytettynä
Alkuvuoden aikana erityisesti kiinalaiset avoimet kielimallit ovat nousseet julkisuuteen. Ne ovatkin erittäin kilpailukykyisiä, mutta ovatko ne kuitenkaan turvallisia? Entä yhdysvaltalaiset avoimet mallit – voiko luottaa siihen, etteivät ne lähetä yrityksen tietoja Yhdysvaltoihin? On hyvä tietää, että kielimalli ei ole tietokoneohjelma, joten se ei tee itsenäisesti yhtään mitään. Kielimallin voi ajatella älytietovarastoksi, jolta sitä hallitseva sovellusohjelma (tekoälyohjelma) saa älykkyytensä. Siten esimerkiksi ChatGPT tai Copilot eivät ole kielimalleja, vaan sovellusohjelmia, jotka käyttävät moottoreinaan taustalla olevia kielimalleja. Kiinalainen kielimalli on paikallisesti omalta työasemalta tai palvelimelta käytettynä aivan yhtä turvallinen, kuin kaikki muutkin kielimallit. Sovelluksen turvallisuudesta vastaa kielimallia apunaan käyttävän sovelluksen muu logiikka, jonka tekijänä on tyypillisesti järjestelmän toimittaja, ei kielimallin tekijä.
Suomen kielen haasteet
Englanninkielisillä dokumenteilla ja englanniksi keskustellen hyvinkin pienet, jopa tavallisella toimistokoneella toimivat kielimallit voivat olla yrityskäytössä hyödyllisiä, koska pääosa niiden opetusmateriaalista on ollut englanninkielistä. Jos kielimallisovelluksella on tarve käsitellä suomenkielisiä dokumentteja tai halutaan keskustella sen kanssa suomeksi, niin kaikkein pienimmät mallit eivät osaa suomea riittävän hyvin. Suuremmilla avoimilla malleilla omalla palvelimella suomen kieli ei kuitenkaan tuota ongelmia. Kohtuullisen hyvin suomea ymmärtäviä ja tuottavia malleja pystyy käyttämään myös järeämmillä työasemilla tai pelikannettavilla, mutta tyypillisissä toimistokoneissa ei vielä ole tarvittavaa laskentatehoa.
Minkä tehoinen tietokone tarvitaan kielimallin paikalliseen käyttöön?
Uudehkolla toimistokoneella toimivat pikkumallit pystyvät esimerkiksi tekemään englanniksi hyviä yhteenvetoja tekstistä tai korjaamaan suomalaisen kirjoittaman englannin kirjoitusvirheitä ja tyyliä. Suomen kielen tai vaativamman päättelyn tarpeisiin tavanomaiset toimistokoneet eivät kuitenkaan riitä. Niihin soveltuu edullisimmillaan noin tuhannen euron pelikannettava, jossa on 8GB Nvidia grafiikkakortti. Pelikoneiden nopean grafiikan yhteys tekoälyyn ja kielimalleihin johtuu siitä, että molemmat hyödyntävät samanlaista hyvin nopeaa vektori- ja matriisilaskentaa. Tehokkaissa Mac-koneissa on kielimallien käyttöön soveltuva oma keskusprosessorinsa ilman Nvidia:n tarvetta.
Parhaimpia avoimia kielimalleja voidaan käyttää niiden erittäin suuren koon ja laskentatehotarpeen vuoksi vain hyvin järeillä työasemakoneilla tai palvelimilla. Niissä hintahaarukka on laaja, alkaen yhden käyttäjän tehotyöaseman alle kymmenestä tuhannesta eurosta ja jatkuen satoihin tuhansiin euroihin vaativimmissa monien käyttäjien yrityspalvelinratkaisuissa, joissa käytetään AMD:n tai Nvidia:n erikoistuneita tekoälyprosessoreita. Isommalla rahalla saa nopeampaa laskentaa, mutta itse älykkyyden osalta parannukset käyvät hinnan lisääntyessä marginaalisiksi.
Omalla koneella kokeileminen
Omalla koneella kielimalleja pääse kokeilemaan helposti maksuttoman LM Studio– tai Ollama-ohjelmiston avulla, joihin on tarjolla mittava joukko eri kokoisia avoimia malleja. YouTube-tarjonnasta löytyy hyviä ohjeita näiden asennukseen ja kielimallien lataamiseen (esimerkiksi tämä). Tavallisella toimistokoneella kokeiltavaksi sopivat kaikkein pienimmät mallit, kuten esimerkiksi Google Gemma3:1b tai alkuvuodesta kohauttaneen, pörssikurssejakin heilauttaneen DeepSeek:in pienin malli, deepseek-r1:1.5b. Aiemmin mainitulla, vähintään 8GB grafiikkakortilla varustetulla koneella toimii jo hyvin suomeakin taitava Gemma3:13b. Se on myös multimodaalinen, eli osaa tekstin lisäksi tulkita kuvia.
Kuva 1. Kuvan yläosassa esimerkki paikallisesti operoidusta 12 miljardin parametrin gemma3 kielimallista. Malli ymmärtää suomea ja taipuu myös loogiseen päättelyyn. Alemmassa osassa esimerkki paikallisesti operoidusta, huomattavasti pienemmästä, 1 miljardin parametrin mallista, jota voidaan pyörittää tavanomaisella toimistoläppärillä, mutta suomen kielen ja loogisen päättelyn taidot ovat vähäisemmät.
muuta huomioitavaa Paikallisesti toimivaa sovellusta suunniteltaessa
Ollama tarjoaa vain yksinkertaisen chat-mahdollisuuden, eikä silla voi esimerkiksi käsitellä dokumentteja. Erikoistuneempaan tekoälytarpeeseen tarvitaan soveltuva muu ohjelmisto. Kaikki sellaiset kielimallipohjaiset sovellukset voivat olla periaatteessa käytettävissä paikallisesti, joissa kielimallin voi vaihtaa. On kuitenkin huomattava, että monet sovellukset käyttävät kielimallin lisäksi muitakin pilvipalveluita, jolloin pelkkä kielimallin vaihto paikalliseksi ei riitä tietoturvan tai netittömän käytön takaamiseksi. Sovelluksen tekijältä saa tietoa siitä, toimiiko heidän sovelluksensa myös ilman pilvipalveluita.
Meillä Ai4Value:ssa kiinnitetään erityistä huomiota tietoturva-asioihin ja niinpä voimme tarjota esimerkiksi älykkään dokumenttienhallintaohjelmistomme AIDA:n (AI Document Assistant) myös täysin pilvipalveluvapaana versiona sekä työasemille että palvelimille.
Suunnittelemme ja toteutamme yrityksenne käyttöön myös uusia tekoälyä hyödyntäviä on-premises ohjelmistoratkaisuja – kielimallilla tai ilman.
Pasi Karhu, CTO
”Olen toiminut Ai4Valuessa CTO:na aina yhtiön perustamisesta alkaen vuonna 2018. Tekoälyosaamiseni ulottuu kuitenkin paljon pidemmälle: jo 1990-luvulla työskentelin koneoppimisalgoritmien parissa ja opetin keinotekoisten neuroverkkojen kurssia Helsingin yliopistossa. Viime aikoina olen erikoistunut suuriin kielimalleihin, mutta kollegani tietävät voivansa lähestyä minua misä tahansa tekoälyyn liittyvässä asiassa. Tekoälyhommiin en ole koskaan kyllästynyt, koska aihepiirin nopea kehitys pakottaa kokeneimmankin IT-ammattilaisen säännöllisesti oppimaan uutta ja miettimään ratkaisuja uusista näkökulmista.”