Hos Findable jobber vi til daglig med å strukturere og forstå dokumentasjon knyttet til bygg og eiendom. Det krever spisskompetanse på kunstig intelligens, bildebehandling og håndtering av ustrukturert data. Vi pleier å si at vi hjelper kundene våre å gå fra kaos til kontroll. I dette prosjektet testet vi ferdighetene våre på noe helt annet enn bygg: Et unikt, håndskrevet fenologidatasett fra forrige århundre.
Fenologi handler om naturens rytmer – når snøen smelter, blomster springer ut og trekkfuglene vender tilbake. Professor Henrik Printz ledet en nasjonal dugnad fra 1928 til 1952 for å dokumentere slike fenomener over hele landet. Resultatet ble nesten 84 000 observasjoner av biologiske og klimatiske hendelser, håndskrevet inn i tabeller av lærere og frivillige fra hele Norge. Men materialet var umulig å analysere digitalt – frem til nå.
– I Findable har vi selv dratt stor nytte av åpen kildekode-verktøy. Derfor ønsket vi å gi noe tilbake, forteller medgründer og Head of Research i Findable, Lars Aurdal.
Sammen med Eivind Kjosbakken, Data Scientist hos Findable, tok han på seg dette sideprosjektet. Deres ekspertise på dokumentanalyse kan brukes på tvers av sektorer.
– Vi valgte å digitalisere og analysere dette fenologidatasettet, slik at forskere og andre nå kan bruke dataene for å se hvordan klimaendringer har påvirket naturens kalender gjennom et helt århundre, forklarer Lars.
Tabellene i datasettet var skannet som dobbeltsider – ofte skeivt, og alltid håndskrevet. Teksten var liten, cellene tette, og mange tegn var vanskelige å tolke selv for mennesker. For å gjøre disse observasjonene maskinlesbare, måtte de gå grundig til verks. Prosessen inneholdt alt fra bildebehandling til finjustering av store språkmodeller med visuell kapasitet.
Tabellene i datasettet var skannet som dobbeltsider – ofte skeivt, og alltid håndskrevet.
– Arbeidet startet med klassisk bildebehandling. Vi delte opp sidene, roterte og justerte dem, og identifiserte enkeltceller ved hjelp av klassisk bildebehandling, forklarer Lars.
Når hver enkeltcelle var definert som et bilde, kunne Eivind ta over. Han matet hver enkelt celle inn i en spesialisert visuell-språkmodell (Qwen 2.5 VL), som ble finjustert for å tolke håndskrift.
– Finjusteringen ble gjort med Unsloth, et effektivt rammeverk for trening av LLM-er. Vi spesialtrente modellen til å forstå det begrensede tegntilfanget i datasettet. For eksempel at bare visse sifre og bokstaver kunne oppstå i spesifikke kolonner. Vi lærte modellen at “1” alltid ble skrevet med skråstrek og “7” med tverrstrek, noe som var avgjørende for nøyaktig tolkning, forklarer han.
Før Eivind trente modellen, ble det gjort en grundig manuell gjennomgang av datasettet. Av det lærte han hvor og hvorfor modellen kunne feile.
Vi hentet ut tekst fra denne typen bilder ved hjelp av Qwen 2.5 VL. Disse cellene er hentet ut fra tabeller som den du ser lengre oppe, ved hjelp av bildebehandlingsteknikker.
– En ting var at “1” og “7” ble ofte forvekslet, men noen bilder inneholdt også støy, svak skrift eller cellegrenser som kunne forveksles med tegn. Alt dette brukte vi til å forberede treningsdataene og informere modellen om hva den kunne, og ikke kunne, forvente å se, forklarer han.
Gjennom en kombinasjon av bildeanalyse, annotering, finjustering og validering klarte duoen å gjøre et nær uleselig datasett maskinlesbart, med høy presisjon.
– Vi gjør det åpent tilgjengelig for alle, slik at hvem som helst kan ta det i bruk og analysere hvordan naturens rytmer har endret seg gjennom tidene, forteller Lars.
Prosjektet viser hvordan språkmodeller med visuelle egenskaper (vLLM) kan løse komplekse dokumentutfordringer, slik Findable gjør i bygg- og eiendomssektoren.
For samfunnet betyr prosjektet tilgang på unik klimahistorisk innsikt.
– Hva kan vi lære av å se utviklingen av når hestehoven blomstrer, eller hvor tregrensen går, spør Lars retorisk.
– Det store bildet er at vi kan tilgjengeliggjøre data som frem til nå har støvet ned i kjellere, og lære av det på en måte som ikke har vært mulig før.