1/12 Töissä tulee aika paljon altistuttua erilaisille tekoälymyllerryksille.
-
4/12 Kielimallirajapinnat hinnoitellaan merkkien sijasta tokeniperusteisesti. Merkit kuvautuvat tokeneiksi käsittääkseni hieman mallista riippuvalla tavalla enkä osaa sitä kovin hyvin selittää. Mutta peruslogiikka kuitenkin on että enemmän tekstiä -> enemmän tokeneita -> suurempi hinta.
Esimerkkitapauksessani ihan rajapintapyynnön metatiedoista näen, että kysymykseni koko tokeneina oli 14 tokenia, ja vastauksen vastaavasti 986 tokenia.
Sattumalta yhteensä juuri tuhat.
5/12 Mallina tässä käytin Mistral Largea, jonka hinta on tavallista lyhyttä tapaa kirjoitettuna $0.5/$1.5 - eli minun malliin päin lähettämäni tavara maksaa puoli dollaria per miljoona tokenia, ja vastaus vastaavasti puolitoista dollaria per samainen miljoona kappaletta.
Tämä on Mistralilla kalliimmasta päästä, mutta noin yleensä aika edullinen. Esimerkiksi GPT 5:n vastaavat numerot olisivat $1.25 / $10. Ja ohjelmoijien suosima Claude Opus 4.5 on vielä selvästi enemmän: $5 / $25.
-
5/12 Mallina tässä käytin Mistral Largea, jonka hinta on tavallista lyhyttä tapaa kirjoitettuna $0.5/$1.5 - eli minun malliin päin lähettämäni tavara maksaa puoli dollaria per miljoona tokenia, ja vastaus vastaavasti puolitoista dollaria per samainen miljoona kappaletta.
Tämä on Mistralilla kalliimmasta päästä, mutta noin yleensä aika edullinen. Esimerkiksi GPT 5:n vastaavat numerot olisivat $1.25 / $10. Ja ohjelmoijien suosima Claude Opus 4.5 on vielä selvästi enemmän: $5 / $25.
6/12 Kun tiedetään esimerkkinä käyttämäni viestinvaihdon palvelemiseen liittyvien tokenien kappalemäärä (14 sisään / 986 ulos) ja hinta ($0.5 / $1.5 / Mtok), niin voidaan laskea näistä:
(14 * $0.5 + 986 * $1.5) / 1000000 = $0.001486
Lukema on vähän hankalan näköinen, mutta käytännössähän tuo on noin puolitoista dollarin tuhannesosaa.
Suuruusluokkamielessä ei mene paljoa pieleen, vaikka ajattelisi myös euron tuhannesosina.
-
6/12 Kun tiedetään esimerkkinä käyttämäni viestinvaihdon palvelemiseen liittyvien tokenien kappalemäärä (14 sisään / 986 ulos) ja hinta ($0.5 / $1.5 / Mtok), niin voidaan laskea näistä:
(14 * $0.5 + 986 * $1.5) / 1000000 = $0.001486
Lukema on vähän hankalan näköinen, mutta käytännössähän tuo on noin puolitoista dollarin tuhannesosaa.
Suuruusluokkamielessä ei mene paljoa pieleen, vaikka ajattelisi myös euron tuhannesosina.
7/12 Mitäs muuta julkipilvessä saisi mellastettua puolellatoista millidollarilla? Esimerkinomaisesti AWS:n hinnastosta kaivettuna:
- EC2:n t4g.nano -kokoista (2 vCPU / 0.5 GB muistia) virtuaalikonetta voi pitää päällä noin 19 minuuttia, tai toisaalta
- t4g.2xlarge -instanssia (8 vCPU/32 GB) noin 17 sekuntia
- S3:ssa voisi säilyttää kuukauden ajan noin 60 megatavua dataaMinulla oikeasti ympärivuorokautisessa käytössä olevaa Upcloudin VPS-pannua ajaa vajaat 7 minuuttia
-
7/12 Mitäs muuta julkipilvessä saisi mellastettua puolellatoista millidollarilla? Esimerkinomaisesti AWS:n hinnastosta kaivettuna:
- EC2:n t4g.nano -kokoista (2 vCPU / 0.5 GB muistia) virtuaalikonetta voi pitää päällä noin 19 minuuttia, tai toisaalta
- t4g.2xlarge -instanssia (8 vCPU/32 GB) noin 17 sekuntia
- S3:ssa voisi säilyttää kuukauden ajan noin 60 megatavua dataaMinulla oikeasti ympärivuorokautisessa käytössä olevaa Upcloudin VPS-pannua ajaa vajaat 7 minuuttia
8/12 Miksi vertaan perinteisiin palveluihin?
Minusta niissäkin hinta on paras helposti saatavilla oleva mittakeppi, jos mietitään että onko joku valittu yhdistelmä pilvi-infrapalveluita resurssi-intensiivinen vai ei.
Kasvuyritys- ja riskisijoituspöhinä toki sekoittaa logiikkaa jonkin verran, mutta palvelut tuottava toimitusketju kuitenkin lopulta enimmäkseen ostaa käyttämänsä luonnonvarat rahalla.
-
8/12 Miksi vertaan perinteisiin palveluihin?
Minusta niissäkin hinta on paras helposti saatavilla oleva mittakeppi, jos mietitään että onko joku valittu yhdistelmä pilvi-infrapalveluita resurssi-intensiivinen vai ei.
Kasvuyritys- ja riskisijoituspöhinä toki sekoittaa logiikkaa jonkin verran, mutta palvelut tuottava toimitusketju kuitenkin lopulta enimmäkseen ostaa käyttämänsä luonnonvarat rahalla.
9/12 Verrataanpa, mihin muuhun resurssi- tai päästöintensiiviseen voisin käyttää puolitoista millidollaria.
Voisin ostaa esimerkiksi:
- Millilitran bensaa ja ajaa autolla muutaman autonmitan
- 20 Wh sähköä, esim puhelimen lataamiseen
- Millilitran maitoaEn laske näille mitään päästöekvivalentteja, koska oletan olevan ilmiselvää, että kyse on pienistä määristä. Ja vaikka oltaisiin pessimistisiä ja ajatellaan että kielimalli olisi vaikka 10x alihinnoiteltu, varsin pientä olisi edelleen.
-
9/12 Verrataanpa, mihin muuhun resurssi- tai päästöintensiiviseen voisin käyttää puolitoista millidollaria.
Voisin ostaa esimerkiksi:
- Millilitran bensaa ja ajaa autolla muutaman autonmitan
- 20 Wh sähköä, esim puhelimen lataamiseen
- Millilitran maitoaEn laske näille mitään päästöekvivalentteja, koska oletan olevan ilmiselvää, että kyse on pienistä määristä. Ja vaikka oltaisiin pessimistisiä ja ajatellaan että kielimalli olisi vaikka 10x alihinnoiteltu, varsin pientä olisi edelleen.
10/13 Eli tässä esimerkin tapauksessa voisi väittää, että verrattuna normaalisti ihmisten arjessa tapahtuviin asioihin, kielimallipalveluiden käyttö ei automaattisesti muuta kokonaiskuvassa elämisen ja olemisen ympäristövaikutuksia kovin dramaattisesti.
Oikeastaan yleistäisin tästä vielä, että näiden yksinkertaisten valtavirtaisten chat-vuorovaikutusten kanssa pääsääntöisesti vaikutukset ovat pieniä, jos mallia käyttää silleen kohtuudella, että jaksaa lukea tuotetun tekstin.
-
10/13 Eli tässä esimerkin tapauksessa voisi väittää, että verrattuna normaalisti ihmisten arjessa tapahtuviin asioihin, kielimallipalveluiden käyttö ei automaattisesti muuta kokonaiskuvassa elämisen ja olemisen ympäristövaikutuksia kovin dramaattisesti.
Oikeastaan yleistäisin tästä vielä, että näiden yksinkertaisten valtavirtaisten chat-vuorovaikutusten kanssa pääsääntöisesti vaikutukset ovat pieniä, jos mallia käyttää silleen kohtuudella, että jaksaa lukea tuotetun tekstin.
11/13 Toisaalta osa tuotteista on selvästi kalliimpia, ja esimerkiksi kuvien tuottaminen, mitä joskus näkee kritisoitavan ympäristöperusteisesti, maksaa selvästi enemmän kuin lyhyet tekstipätkät - esim senttejä tai kymmeniä.
Jos olettaa tarvittavan monta yritystä sopivan kuvan muodostamiseen, niin voi aika nopeasti päästä vaikka sinne eurojenkin suuruusluokkaan.
Tässä ympäristöön vetoava kritiikki on minusta perustellumpi kuin tekstille, mutta aika arkisessa mittakaavassa tämäkin.
-
11/13 Toisaalta osa tuotteista on selvästi kalliimpia, ja esimerkiksi kuvien tuottaminen, mitä joskus näkee kritisoitavan ympäristöperusteisesti, maksaa selvästi enemmän kuin lyhyet tekstipätkät - esim senttejä tai kymmeniä.
Jos olettaa tarvittavan monta yritystä sopivan kuvan muodostamiseen, niin voi aika nopeasti päästä vaikka sinne eurojenkin suuruusluokkaan.
Tässä ympäristöön vetoava kritiikki on minusta perustellumpi kuin tekstille, mutta aika arkisessa mittakaavassa tämäkin.
12/13 Esimerkki raskaammasta tilanteesta. Nykyään on aika tavallista, että malli ei vain vastaa yhteen kysymykseen, vaan sillä on työkaluja materiaalin hakemiseen käsiteltäväksi. Tällöin varsinkin sisään tulevia input-tokenien määrä voi lyhyellekin kysymykselle olla 14 tokenin sijaan esim satoja tuhansia.
Esimerkiksi jos malli käyttää työkaluja jonkin isomman ohjelmakoodin kahlaamiseen, niin se miljoonakin tokenia voi olla nielaistuna aika nopeasti.
Tähän käytetään usein kalliita malleja.
-
12/13 Esimerkki raskaammasta tilanteesta. Nykyään on aika tavallista, että malli ei vain vastaa yhteen kysymykseen, vaan sillä on työkaluja materiaalin hakemiseen käsiteltäväksi. Tällöin varsinkin sisään tulevia input-tokenien määrä voi lyhyellekin kysymykselle olla 14 tokenin sijaan esim satoja tuhansia.
Esimerkiksi jos malli käyttää työkaluja jonkin isomman ohjelmakoodin kahlaamiseen, niin se miljoonakin tokenia voi olla nielaistuna aika nopeasti.
Tähän käytetään usein kalliita malleja.
13/13 Tässä ei nyt ollut pointtina, etteikö tekoälyvehkeille ympäristövaikutuksia olisi. Ihan varmasti on. Mutta näihin perustuvassa kritiikissä kannattaa minusta huomioida toimintaan liittyvien vaikutusten mittakaava.
Itse olen generatiivisen tekoälyn suhteen akuutimmin huolissani yhteiskunnallisista ja sosiaalisista vaikutuksita, kuin ympäristöön liittyvistä.
Ja näin ihan makuasiana pidän pääsääntöisesti kokonaan tekoälyllä tehtyjä juttuja - esim kuvituskuvina - joka tapauksessa mauttomina.
-
6/12 Kun tiedetään esimerkkinä käyttämäni viestinvaihdon palvelemiseen liittyvien tokenien kappalemäärä (14 sisään / 986 ulos) ja hinta ($0.5 / $1.5 / Mtok), niin voidaan laskea näistä:
(14 * $0.5 + 986 * $1.5) / 1000000 = $0.001486
Lukema on vähän hankalan näköinen, mutta käytännössähän tuo on noin puolitoista dollarin tuhannesosaa.
Suuruusluokkamielessä ei mene paljoa pieleen, vaikka ajattelisi myös euron tuhannesosina.
Meillä Aallossa AI-liittymä on jo pitkään näyttänyt hintaa ja kyllä sen aika nopesti saa kymmeniin sentteihin aika yksinkertaisilla kysymyksillä. GPT:n eri versioita Azuressa ajettuna.
@muep -
R ActivityRelay shared this topic
-
Meillä Aallossa AI-liittymä on jo pitkään näyttänyt hintaa ja kyllä sen aika nopesti saa kymmeniin sentteihin aika yksinkertaisilla kysymyksillä. GPT:n eri versioita Azuressa ajettuna.
@muep@puhuri käytän siviilipuolella aika suuren osan tuolleen rajapinta-avaimella tokenimäärän mukaan laskutetusti. Jos on ihan perus chattikäyttöä eikä sen kummempaa, niin pääsen joinakin kuukausina sinne kymmeniin sentteihin
Mutta näissä chattituotteissakin on todella isoja eroja sen suhteen että miten paljon ne syövät muutakin syötettä kuin käyttäjältä tulleen kehotteen (esim jos on web-hakuja tai vaikka kontekstina annettuja tiedostoja tms).
Ja akateemisilla voi olla kans ne kalliimmat mallit.
-
13/13 Tässä ei nyt ollut pointtina, etteikö tekoälyvehkeille ympäristövaikutuksia olisi. Ihan varmasti on. Mutta näihin perustuvassa kritiikissä kannattaa minusta huomioida toimintaan liittyvien vaikutusten mittakaava.
Itse olen generatiivisen tekoälyn suhteen akuutimmin huolissani yhteiskunnallisista ja sosiaalisista vaikutuksita, kuin ympäristöön liittyvistä.
Ja näin ihan makuasiana pidän pääsääntöisesti kokonaan tekoälyllä tehtyjä juttuja - esim kuvituskuvina - joka tapauksessa mauttomina.
@muep hienoa että jaksoit laskea tuon. En usko että yksittäisen kyselyn hiilijalanjälkeä kukaan tällä hetkellä pystyy laskemaan. Kasvu-aloilla tosin useinkin myydään itseään tarkoituksella liian halvalla jotta saadaan markkinaosuutta, jolla voidaan saada lisää sijoittajia. Esim hinnan korotuksista: disney+ hinta on noussut 57% julkaisustaan.
Itseäni huolestuttaa että tekoälyn arvioidaan vievän kymmeniä prosentteja maailman sähkön tuotannosta. Sille voidaan hiilijalanjälki laskea. -
13/13 Tässä ei nyt ollut pointtina, etteikö tekoälyvehkeille ympäristövaikutuksia olisi. Ihan varmasti on. Mutta näihin perustuvassa kritiikissä kannattaa minusta huomioida toimintaan liittyvien vaikutusten mittakaava.
Itse olen generatiivisen tekoälyn suhteen akuutimmin huolissani yhteiskunnallisista ja sosiaalisista vaikutuksita, kuin ympäristöön liittyvistä.
Ja näin ihan makuasiana pidän pääsääntöisesti kokonaan tekoälyllä tehtyjä juttuja - esim kuvituskuvina - joka tapauksessa mauttomina.
@muep Otitko huomioon tässä sen, että kun kysyt esim. ChatGPT:ltä jotain, se ei käsittele pelkästään kysymystäsi vaan koko viestihistorian kanssasi? Jos siis palvelua käyttää kysyäkseen tarkentavia kysymyksiä, malli käsittelee aikaisemmat kysymykset ja vastaukset, jotta osaa käsitellä uuden kysymyksen suhteessa niihin. Eikö tässä tilanteessa tokenien määrä pomppaa aika moninkertaiseksi per lähetetty viesti?
-
@muep Otitko huomioon tässä sen, että kun kysyt esim. ChatGPT:ltä jotain, se ei käsittele pelkästään kysymystäsi vaan koko viestihistorian kanssasi? Jos siis palvelua käyttää kysyäkseen tarkentavia kysymyksiä, malli käsittelee aikaisemmat kysymykset ja vastaukset, jotta osaa käsitellä uuden kysymyksen suhteessa niihin. Eikö tässä tilanteessa tokenien määrä pomppaa aika moninkertaiseksi per lähetetty viesti?
@snailkane voi pompata, mutta en usko että chatgpt lapioi sinne joka kerta koko viestihistorian. Luultavasti joko ennalta muodostetun tiivistelmäntapaisen, tai sitten tekee jonkinlaisen tekstihaun jolla yrittää poimia oleellisimmat
Yleensä vastausten laatu huononee, jos mallille annetaan turhaa kontekstia. Minulla on nuo muistitoiminnot useimmiten pois päältä.
-
@muep hienoa että jaksoit laskea tuon. En usko että yksittäisen kyselyn hiilijalanjälkeä kukaan tällä hetkellä pystyy laskemaan. Kasvu-aloilla tosin useinkin myydään itseään tarkoituksella liian halvalla jotta saadaan markkinaosuutta, jolla voidaan saada lisää sijoittajia. Esim hinnan korotuksista: disney+ hinta on noussut 57% julkaisustaan.
Itseäni huolestuttaa että tekoälyn arvioidaan vievän kymmeniä prosentteja maailman sähkön tuotannosta. Sille voidaan hiilijalanjälki laskea.@aqunt joo, kokonaisuudessaan tuo on isosti it-infraa paisuttava asia.
Isot käyttäjät kuitenkin käyttävät näitä monta suuruusluokkaa enemmän, kuin mitä ihan peruskäyttäjä tyypillisesti käyttää. Ja näiltä sitä rahaa infralaajennosten maksamiseen odotetaan saatavan, ennemmin kuin palveluiden maksuttomia versioita käyttäviltä.
Tosin esim sekin nyt huolettaa, kun on varmaan vain ajan kysymys, että ainakin maksuttomat alkavat mainosrahoitteisiksi.
-
@snailkane voi pompata, mutta en usko että chatgpt lapioi sinne joka kerta koko viestihistorian. Luultavasti joko ennalta muodostetun tiivistelmäntapaisen, tai sitten tekee jonkinlaisen tekstihaun jolla yrittää poimia oleellisimmat
Yleensä vastausten laatu huononee, jos mallille annetaan turhaa kontekstia. Minulla on nuo muistitoiminnot useimmiten pois päältä.
@snailkane mietin siis vielä, että tuskin on myöskään OpenAI:n intressissä laittaa malliin sisään mahdollisimman paljon, vaan vain sen verran että käyttäjälle tulee kokemus siitä että malli muistaa.
Vaikka ChatGPT ei sitä syötteen kasvusta johtuvaa kulujen kasvua näytä käyttäjälle, niin OpenAI:n tuloksessahan se näkyy, jos saavat käsiteltyä viestit nopeasti ja pärjäävät pienemmällä määrällä kapasiteettia.
-
@aqunt joo, kokonaisuudessaan tuo on isosti it-infraa paisuttava asia.
Isot käyttäjät kuitenkin käyttävät näitä monta suuruusluokkaa enemmän, kuin mitä ihan peruskäyttäjä tyypillisesti käyttää. Ja näiltä sitä rahaa infralaajennosten maksamiseen odotetaan saatavan, ennemmin kuin palveluiden maksuttomia versioita käyttäviltä.
Tosin esim sekin nyt huolettaa, kun on varmaan vain ajan kysymys, että ainakin maksuttomat alkavat mainosrahoitteisiksi.
@muep Ei koske vain it-infraa vaan koko globaali sähköntuotanto ja -jakelu vaatii huomattavaa kasvattamista tekoälyä varten samaan aikaan kun lisäsähköä tarvitaan myös liikenteeseen ja teräkseen. Kaikkeen ei riitä joten mikä näistä kolmesta voidaan jättää huomioimatta? Nyt Suomessa tehtiin valinta että terästä ei sähköistetä ja annettiin luvat uusille konesaleilla jonka johdosta SSAB puskee hiiltä taivaalle viel ainakin 10 vuotta. Missä muissa maissa tehdään vastaavia ratkaisuja?
-
@muep hienoa että jaksoit laskea tuon. En usko että yksittäisen kyselyn hiilijalanjälkeä kukaan tällä hetkellä pystyy laskemaan. Kasvu-aloilla tosin useinkin myydään itseään tarkoituksella liian halvalla jotta saadaan markkinaosuutta, jolla voidaan saada lisää sijoittajia. Esim hinnan korotuksista: disney+ hinta on noussut 57% julkaisustaan.
Itseäni huolestuttaa että tekoälyn arvioidaan vievän kymmeniä prosentteja maailman sähkön tuotannosta. Sille voidaan hiilijalanjälki laskea.@aqunt @muep Hiilen lisäksi pitää laskea luontojalanjälki. Datakeskus aiheuttaa maankäytön muutosta ja luontokatoa, ei pelkästään itse keskuksen alueella, vaan myös sähköntuotantoon ja siirtolinjoihin tarvittavilla alueilla. Kasvava sähkönkulutus aiheuttaa lisääntyvää luontokatoa Suomessakin.
Keskusten varavoimahan on fossiilista ja generaattoreita on koekäytettävä säännöllisesti. Käytännössä keskusten laskentatehoa ei siis tuoteta 100 % uusiutuvilla (joilla tosiaan on haittansa niilläkin).
-
@aqunt @muep Hiilen lisäksi pitää laskea luontojalanjälki. Datakeskus aiheuttaa maankäytön muutosta ja luontokatoa, ei pelkästään itse keskuksen alueella, vaan myös sähköntuotantoon ja siirtolinjoihin tarvittavilla alueilla. Kasvava sähkönkulutus aiheuttaa lisääntyvää luontokatoa Suomessakin.
Keskusten varavoimahan on fossiilista ja generaattoreita on koekäytettävä säännöllisesti. Käytännössä keskusten laskentatehoa ei siis tuoteta 100 % uusiutuvilla (joilla tosiaan on haittansa niilläkin).
@kaarne @aqunt toki jos haluaa laskea tarkkaan, niin siinä on monenlaista.
Ongelma minusta tälleen it-häkkyröitä suunnittelevana on, että toisin kuin datakeskustasolla, tietoa yksittäisten palveluiden vaikutusten tarkempaan laskemiseen ei oikein ole saatavilla.
Mutta uskoisin kuitenkin, että rahaliikenteen mukaan ne vaikutukset jyvittämällä ei mene ihan hulvattomasti metsään.
-
@aqunt @muep Hiilen lisäksi pitää laskea luontojalanjälki. Datakeskus aiheuttaa maankäytön muutosta ja luontokatoa, ei pelkästään itse keskuksen alueella, vaan myös sähköntuotantoon ja siirtolinjoihin tarvittavilla alueilla. Kasvava sähkönkulutus aiheuttaa lisääntyvää luontokatoa Suomessakin.
Keskusten varavoimahan on fossiilista ja generaattoreita on koekäytettävä säännöllisesti. Käytännössä keskusten laskentatehoa ei siis tuoteta 100 % uusiutuvilla (joilla tosiaan on haittansa niilläkin).
