Tekoälyboteista on tullut valtavan suosittuja viimeisen kolmen vuoden aikana. Kaiken aloitti tietysti ChatGPT:n julkaisu loppuvuodesta 2022 ja nyt tekoälyn käytöstä onkin tullut jo arkipäivää sadoille miljoonille ihmisille.
Mutta tekoälyjä tarjoavat yritykset ovat kaupallisia toimijoita, jotka haluavat yleensä käyttäjistään jotain. Joko rahaa tai dataa. Ja useimmat suosituimmat tekoälypalvelut keräävätkin käyttäjiensä prompteja ja keskusteluja tekoälynsä jatkokehittämiseksi.
Tästä syntyy tietysti viheliäinen ongelma yksityisyyden osalta. Etenkin yrityskäytössä tekoälypalveluiden käyttöä on usein rajoitettu tai kielletty kokonaan, jottei yrityksen liikesalaisuuksia tulisi vuodettua tekoälypalveluiden kautta muihin käsiin.
Mutta samalla tekoäly voi olla kuitenkin äärimmäisen kätevä apuväline työelämässä. Sen vahvuus ei ole mielestämme kysymyksiin vastaajana – kaikki ovat varmastikin törmänneet täysin päättömiin vastauksiin, niin ChatGPT:ltä kuin Googlen tekoälyltäkin.
Sen sijaan tekoälyn vahvuus on ehdottomasti tekstin ymmärtämisessä. Ovathan kaikki modernit tekoälyt nimenomaan large language modeleja eli suuria kielimalleja.
Tekoälyn hyödyt
Annetaan pari käytännön esimerkkiä, joissa tekoäly on loistava apuväline..
Esimerkiksi valtavan, kymmeniä sivuja pitkän PDF-muotoisen sopimuksen tai vaikkapa käyttöohjeen sisällön ymmärtäminen voi olla mahdoton paikka, jos tekstissä käytetty terminologiakaan ei ole täysin tuttua.
Tekoälyn avulla tällaisen dokumentin voi heittää tekoälyn pureskeltavaksi ja tehdä sen jälkeen kyseiseen tekstiin liittyviä kysymyksiä. Tämä on itse asiassa yksi käyttökohteista, joissa tekoäly ei oikeastaan koskaan mokaa mitään, vaan toimii erinomaisena apurina.
Toinen esimerkki koskee tekstin kääntämistä. Tässä emme siis tarkoita sitä, että tarkoitus olisi kääntää julkaisukelpoista tekstiä tekoälyn avulla, vaan tilannetta, jossa eteen tipahtaa pitkä määrä tekstiä kielellä, jota et osaa tai osaat vain heikosti. Tekoälyn kyky kääntää tekstiä järkevään muotoon – tai tarjoilla vastauksia suomeksi pitkästä vieraskielisestä dokumentista, on erinomaisella tasolla jo nyt.
Näitä ja monia muita käyttökohteita olisi näppärä päästä käyttämään arjessa, ilman, että tarvitsee huolehtia arkaluonteisten tietojen lähettämisestä epämääräiselle verkossa toimivalle tekoälypalvelulle.
Mutta ongelmaan on hyvin yksinkertainen ratkaisu: asenna itsellesi oma, yksityinen tekoäly, omalle tietokoneellesi, joka ei lähetä yhtään mitään nettiin.
Avoin lähdekoodi x Avoimet kielimallit
Ratkaisu kulkee nimellä ollama. Kyseessä on avoimen lähdekoodin projekti, joka tukee käytännössä kaikkia suosituimpia avoimia kielimalleja.
ollama on omalle tietokoneelle asennettava sovellus, joka toimii Windowsilla, Macilla ja Linuxilla. Macilla ja Windowsilla ollama tarjoaa ChatGPT:n näköisen ja oloisen graafisen käyttöliittymän, joka toimiikin oikeastaan täsmälleen samalla tavalla kuin selaimella käytettävä ChatGPT.
Sovellus itsessään ei ole valtavan suuri, mutta omillaan siitä ei ole mitään iloa. Sen sijaan sovellus vaatii toimiakseen myös yhden tai useampia kielimalleja (LLM).
Kielimallit asennetaan päänäkymän oikeasta alakulmasta löytyvästä alasvetovalikosta:
Kielimallia ei asenneta heti valinnan jälkeen, vaan vasta, kun sille on esitetty jokin prompti. Alla olevassa esimerkissä valitsimme kielimalliksi Googlen kehittämän gemma3-kielimallin, jota lähdettiin lataamaan ja asentamaan ensimmäisen promptin jälkeen:
Kielimallit ovat todella isoja, joten hitaalla nettiyhteydellä niiden lataus saattaa kestää pidemmänkin tovin. Lisäksi tallennustilaa täytyy löytyä tietokoneelta reippaasti, sillä pienimmätkin kielimallit haukkaavat useamman gigatavun tallennustilaa, kun taas isoimmat vievät tilaa kymmeniä gigatavuja.
Kielimalli asennetaan koneelle vain kerran, joten asennuksen jälkeen kyseinen kielimalli on käytössä ilman odottelua myös myöhemmin.
Kielimallit osaavat kaikki suomea, englantia ja muita kieliä automaattisesti, eli mitään asetuksista väännettävää vipua ei tarvita, joka vaihtaisi ollaman toimimaan halutulla kielellä. Sen sijaan riittää, että prompti on halutulla kielellä tai pyydät tekoälyä vastaamaan tietyllä kielellä.
Kielimalleista mainittakoon, että esimerkiksi gpt-oss on OpenAI:n itsensä julkaisema avoin kielimalli. Samalla tavalla jo aiemmin mainitut gemma-mallit ovat Googlen kehittämiä, avoimia kielimalleja.
Osa ollaman käyttämistä kielimalleista tukee vain tekstimuotoista sisältöä, mutta joillekin ollaman kielimalleista voi tipauttaa vaikkapa kuvia tai PDF-tiedostoja käsiteltäväksi.
Yksityisyys kuntoon
Vaikka ollama onkin avoimen lähdekoodin projekti, sekään ei ole oletuksena aivan aukoton tietoturvan kannalta – mutta asia on korjattavissa helposti.
Ensimmäinen kriteeri yksityisyyden kannalta on tietysti se, että ollamaa tai sen kielimalleja ei saisi koskaan asentaa pilveen jaettuun hakemistoon, eli vaikkapa OneDrive-hakemistoon ollaman asentaminen on huono idea.
Lisäksi ollama lähettää analytiikkadataa omille palvelimilleen, joka voi olla sekin työkäytön kannalta ongelmallista. Tämän saa onneksi estettyä helposti, suoraan ollaman asetuksista:
Kytkemällä ”lentotilan” päälle, ollama ei lähetä nettiin yhtään mitään tietoja.
Lisäksi ollama tarjoaa maksullista ”Turbo”-tilaa, mutta se tarkoittaa käytännössä sitä, että kaikki promptit lähetetään ollaman palvelimille, joissa pilvipalvelu laskee ne oman tietokoneesi sijaan. Eli samanlaista yksityisyyttä ei ole tarjolla turbo-tilaa käytettäessä.
Rauta ratkaisee
ollama osaa käyttää Nvidian ja AMD:n näytönohjaimia tekoälyn laskennan moottoreina ja tekoäly toimiikin sitä nopeammin, mitä tehokkaampi näytönohjain omasta tietokoneesta löytyy.
Esimerkiksi yhden suhteellisen paljon ”ajattelua”, koemielessä ajetun promptin ajaminen kesti GeForce RTX 3060 -näytönohjaimella varustetulla tietokoneella 21 sekuntia – ja uudempi, GeForce RTX 5060, puristi saman vastauksen ulos 3,5 sekunnissa. Vastaavasti ilman erillistä näytönohjainta varustettu työläppäri jauhoi samaa asiaa noin 50 sekunnin ajan.
Tällä hetkellä ollama ei osaa vielä käyttää ARM-suoritinperhettä käyttävistä Windows-tietokoneista löytyvää erillistä tekoälypiiriä (NPU) millään tavalla, eli laskenta tehdään täysin tavallisen prosessorin voimin.
Mutta hitaammillakin tietokoneilla, ollama voi olla ainoa tapa käyttää tekoälyä tietoturvallisesti, esimerkiksi yrityksen tietoja käsiteltäessä.
Eikä siinä vielä kaikki..!
ollama toimii myös komentoriviltä, niin Windowsissa, Macilla kuin Linuxissakin. Eli graafista käyttöliittymää ei tarvitse avata lainkaan, jos haluaa toimia suoraan komentorivillä. Tämä mahdollistaa tietysti myös monimutkaisempien skriptien rakentelun, joilla omaa arkeaan pystyy halutessaan helpottamaan.
Ohjelmoijia ilahduttava piirre on se, että ollaman saa halutessaan toimimaan myös ohjelmointirajapintana, paljastamalla ollaman API-rajapinta omaan lähiverkkoon. Omien koodien paikallisen testailun helpottamiseksi ollaman API-rajapinta on yhteensopiva OpenAI:n rajapinnan kanssa, eli vaihtamalla paikallisessa kehityksessä OpenAI:n rajapintakutsut osoittamaan omalla tietokoneella pyörivään ollamaan, pystyy oman ohjelmakoodin testausta tekemään ilman yhteyttä OpenAI:n palvelimiin.
Jälkisanat
On hyvä muistaa, että ollama ei ole yhtä ”fiksu” kuin julkisesti käytössä olevat, tunnetuimmat tekoälypalvelut, kuten ChatGPT tai vaikkapa Claude. Sen sijaan se on hyvä kompromissi yksityisyyden ja tekoälyn käytön risteyskohdassa – eli ollamaa käyttämällä voi saada tekoälyn hyödyt käyttöön tilanteissakin, joissa julkisen tekoälyn käyttö voi olla riskialtista.
Merkittävin ongelma ollamassa on tietysti se, että se vaatii käyttäjän tietokoneelta erittäin paljon laskentatehoa – ja mielellään nimenomaan näytönohjaimista löytyvää liukulukujen laskentaan soveltuvaa laskentatehoa. Hitaalla tietokoneella sen käyttö voi olla tuskastuttavan hidasta, kun taas nopeaa, modernia näytönohjainta käyttävällä tietokoneella se toimii lähes yhtä nopeasti kuin datakeskuksia käyttävät, julkiset pilvipalvelutkin.
Lisäksi käytetty kielimalli vaikuttaa vastausten laatuun merkittävästi. Onkin fiksua kokeilla eri kielimalleja ja tutkia, mikä sopisi omaan käyttöön parhaiten. Tähän auttaa esimerkiksi ollaman Discordista löytyvä käyttäjäyhteisö, josta löytyy vinkkejä kuhunkin käyttötarkoitukseen parhaan kielimallin valintaan.
Jos ollamaa aikoo käyttää yrityskäytössä, on syytä keskustella aiheesta ensin yrityksen oman tietohallinnon kanssa. Vaikka se on avointa lähdekoodia ja lentokonetilassa se ei välitäkään mitään tietoja verkkoon, saattaa yrityksellä olla käytäntöjä, jotka kieltävät myös ollaman käytön.
ollaman voi ladata ollaman kotisivuilta:
Projektin lähdekoodiin voi tutustua sen omilla GitHub-sivuilla.