Meting av málmyndlum
Á talvuni niðanfyri sæst ein sjálvvirkandi meting av, hvussu væl ymiskir málmyndlar duga føroyskt. Tað er EuroEval, sum hevur kannað málmyndlarnar og gjørt yvirlitið. Úrslitini byggja á eina røð av máluppgávum, har málmyndlarnir verða royndir í eitt nú málfatan, spurningum, tekstflokking og øðrum uppgávum. Endamálið er at geva eina lætta og yvirskipaða mynd av, hvussu málmyndlarnir klára seg á føroyskum samanborið við hvønn annan.
Úrslitini eru vegleiðandi og skulu síggjast sum ein samanbering av, hvussu væl málmyndlarnir klára tær uppgávur, sum eru partur av EuroEval (tú kanst lesa meir um hesar uppgávurnar her). Máltøknidepilin hevur verið við til at gera summar av hesum uppgávunum. Úrslitini siga ikki einsamøll alt um, hvussu góður ein málmyndil er til allar hugsandi uppgávur, men tey kunnu geva eina góða ábending um førleikarnar hjá málmyndlinum á føroyskum.
Hvat merkja yvirskriftirnar?
Generative Leaderboard
Her verða generativir málmyndlar samanbornir. Hetta eru málmyndlar, sum bæði kunnu skilja og skriva tekst. Úrslitið byggir á fleiri ymiskar uppgávur á føroyskum.
NLU Leaderboard
NLU stendur fyri Natural Language Understanding. Her verður serliga hugt at, hvussu væl málmyndlarnir skilja mál, til dømis tekstflokking, spurningar og aðrar máluppgávur. Hesin listin kann eisini hava málmyndlar við, sum ikki eru gjørdir til at skriva tekst (generativar málmyndlar).
Generative Scatter Plot / NLU Scatter Plot
Hetta er ein grafisk mynd av somu úrslitum. Hvørt punkt umboðar ein málmyndil. Vatnrætta ásin vísir støddina á málmyndlinum (tal av parametrum), og loddrætta ásin vísir Rank score. Soleiðis ber til at síggja, um størri málmyndlar eisini geva betri úrslit.
Hvat merkja tølini?
Rank score er eitt samlað mát fyri, hvussu væl ein málmyndil dugir í mun til hinar málmyndlarnar í samanberingini. Lægri tal er betri, og eitt tal tætt við 1,00 merkir, at málmyndilin er millum teir bestu.
Til dømis merkir 1,42 ± 0,07, at Rank score er umleið 1,42. Talið eftir ± vísir óvissuna í mátingini. Um tveir málmyndlar hava næstan sama úrslit, kann munurin tí vera ov lítil til at siga við vissu, at annar er betri enn hin.
Rank: 1st, 2nd, 3rd …
Hetta vísir, hvar málmyndilin er plaseraður á listanum. Fleiri málmyndlar kunnu fáa sama pláss, um úrslitini eru so nær hvørjum øðrum, at eingin greiður munur er.
Aðrir teigar
Parameters vísir støddina á málmyndlinum. Eitt tal sum 31B merkir umleið 31 milliardir parametrar.
Open-weight vísir, um vektirnar í málmyndlinum eru alment atkomuligar.
Commercial vísir, um loyvt er at brúka málmyndilin til vinnulig endamál.
Trained from scratch vísir, um málmyndilin er trenaður frá grundini heldur enn bygdur víðari á ein annan málmyndil.
