Hvorfor bygger vi splitter ny Datafangst?

Kortversjon: På fem år har Datafangst vokst fra en enkel prototype til en kompleks applikasjon. I dag håndterer DF større datavolum enn den ble bygget for, og vi har en veldig uheldig blanding av gammel kode skrevet i ett rammeverk (Angular, som ikke blir videreutviklet) og ny kode skrevet i et annet rammeverk (React). Brukerne våre opplever treghet, og utviklernes jobb er unødig plundrete.

Den aller første versjonen kommer våren eller sommeren 2022. Denne versjonen vil kun ha det minimumet av funksjoner som trengs for å levere data til NVDB, men da kun for et snevert utvalg av data, med et minimum av de aller mest nødvendige funksjonene. Nye releaser vil komme i form av hyppige, men små forbedringer. Slik vil vi gradvis føye til mer avansert funksjonalitet. Gradvis vil den nye løsningen kunne overta stadig flere arbeidsoppgaver fra den gamle løsningen.

Presentasjon og stikkord fra møte 25.1.2022 om ny datafangst:

Vi må ta ned Datafangst for vedlikehold i helga!

EDIT Mandag 24.1: Suksess, nå har vi fått metreringsretning inn i datafangst!

Vi beklager kort varsel – men fra fredag 21.1 kl 17 så blir Datafangst utilgjengelig på grunn av database vedlikehold.

Bonus er jo at vi kommer tilbake mandag morgen med metreringsretning på stedfesting!

I løpet av helga vil vi legge informasjon om metreringsretning på all vegnettsinformasjon, dvs stedfestingen for samtlige objekter i databasen til Datafangst. Denne informasjonen hentes fra leseapi, og det er en tidkrevende prosess. Vi antar kjøretida blir rundt ett døgn, men foretrekker å sette av hele helga til oppdatering, for sikkerhets skyld.

Planen var jo at denne oppdateringen skulle kjøre i bakgrunnen mens dere brukte Datafangst som vanglig, men som vi så i går – det fungerte ikke spesielt bra. Det kunne kanskje fungert i helga, når det er færre brukere, men vi har valgt å gjøre det trygt og sikkert denne gangen.

Datafangst driftsproblemer 20. januar – LØST

LØST klokka 11:00: Problemet er LØST.

Årsaken var knyttet til oppdatering av metreringsretning på alle vegene som manglet denne informasjonen. Denne engangs-operasjonen belaster systemet såpass mye at vi må utsette denne jobben til helga, når det er færre brukere på systemet. Vi siterer fra gårsdagens informasjon om ny release:

Vi har et script som kjører og fyller inn metreringsretning på alle veger det er stedfestet på. Dette tar ca. et døgn å kjøre. Det betyr at vi har ikke metreringsretning på alle veger enda.

Om man har et objekt som er stedfestet på veg uten metreringsretning vil sideposisjon og felt være grået ut i vegobjekter-fanen og hvis man hovrer på dette feltet vil det stå «Objektet er stedfestet på veg uten metreringsretning og sideposisjon/felt kan ikke oppgis.». Hvis objektet har sideposisjon eller felt vil det dukke opp så snart metreringsretningen har blitt hentet inn. Hvis man vil se sideposisjon og felt med en gang kan man stedfeste på nytt og vi vil da hente inn metreringsretningen på veglenka. Alle veglenker forventes å ha fått metreringsretning innen fredag morgen i løpet av helga.

Det er driftsproblemer med Datafangst, ser ut som om forbindelsen med databasen vår hikker. Utviklerteamet er i gang med feilsøking og -retting, dette innlegget oppdateres med mere info.

Ny datafangst-versjon satt i produksjon

Datafangst 2022-2.0.1 er ute i PROD

  • Mulighet til å vise kommentarer for flere objekter og objekttyper gjennom verktøymenyen i datafanen.
  • Mulighet til å fjerne flere kommentarer gjennom filtrering og markering.
  • Nye, mer beskrivende farger på kommentarboblene.
  • Vegsystemreferansen kan nå sees i datafanen for objekter som er registrert i NVDB eller er stedfestet.
  • Metreringsretning er nå standard retning i datafangst.
  • Man kan nå se retningen på veglenker i kartet, både i datafanen og stedfestingsfanen.
  • Sideposisjon og felt kan nå sees og redigeres selv om det er flere av disse for et vegobjekt.
  • Sideposisjon og felt vises i forhold til metreringsretning i motsetning til før da de vistes i forhold til geometriretning.
  • Sideposisjon og felt er nå markert gult om det er endret ifht NVDB.
  • Ved stedfesting kan du nå sende med vegkategori for å spesifisere stedfestingen mer nøyaktig.
  • Den gamle stedfestingstypen ble visualisert bedre når det kom til krappe svinger som nærmet seg sirkler. Dette er nå fikset.
  • Ved import av SOSI kan man nå velge operasjon, som betyr at man kan importere eksisterende NVDB-objekter som SOSI.
  • Endring av enkeltattributter i datafanen har blitt raskere.
  • Når det dukker opp en feilmelding får du oppgitt en lenke til ofte stilte spørsmål for mer informasjon.
  • Andre mindre feilrettinger og forbedringer.

Obs! Vi har et script som kjører og fyller inn metreringsretning på alle veger det er stedfestet på. Dette tar ca. et døgn å kjøre. Det betyr at vi har ikke metreringsretning på alle veger enda.

Om man har et objekt som er stedfestet på veg uten metreringsretning vil sideposisjon og felt være grået ut i vegobjekter-fanen og hvis man hovrer på dette feltet vil det stå «Objektet er stedfestet på veg uten metreringsretning og sideposisjon/felt kan ikke oppgis.». Hvis objektet har sideposisjon eller felt vil det dukke opp så snart metreringsretningen har blitt hentet inn. Hvis man vil se sideposisjon og felt med en gang kan man stedfeste på nytt og vi vil da hente inn metreringsretningen på veglenka. Alle veglenker forventes å ha fått metreringsretning innen fredag morgen. I løpet av helga. EDIT: Dette scriptet gir såpass stor belastning at vi må kjøre det i helga, når det er færre brukere.

Datafangst – innlogging feiler for noen brukere

Oppdatering 15.12.2021 kl 12:19: Problemet er LØST!

Oppdatering 15.12.2021 kl 10:38: Vi ruller straks ut en ny fiks vi tror skal løse problemet. Mer info så snart denne er prøvd ut i praksis.

Brukere som IKKE jobber i Statens vegvesen sliter for tiden med å logge inn i Datafangst.

I gårsdagens kaos gjorde vi en feilkonfigurering. Når du logger inn i Datafangst så logger Datafangst inn i NVDB api LES. Denne andre innloggingen er bittelitt ulikt satt opp for brukere innafor eller utafor vegvesenet. Her har vi snublet i oppsettet: Det fungerer for Vegvesen-brukere, men ikke for de andre.

Heldigvis skal dette være kjapt å fikse, vi regner med at det er i orden i løpet av en times tid.snart

Datafangst: Gjenopprettes fra backup, men det kan ta hele dagen LØST

PROBLEMET ER LØST, Datafangst er oppe igjen fra ca 20:00 tirsdag kveld (14.12.2021). Backupen vi gjenskapte er fra natt til mandag. Evt arbeid som er gjort i løpet av mandag 13.12 eller tirsdag 14.12 må gjøres om igjen. Systemet har vært utilgjengelig store deler av denne perioden, men var for eksempel tilgjengelig mandag formiddag, så noe arbeid har nok gått tapt.

Vi beklager på det sterkeste ulempene for våre brukere.

Oppdatering 14.12.2021 16:09: Gjenoppretting pågår ennå, denne prosessen må nesten få kjøre helt til den er ferdig.

Oppdatering 14.12.2021 12:30: Gjenoppretting vil nok ta hele dagen, ser det ut til.

Datafangst blir dessverre utilgjengelig i dag 14.12.2021. Det mest optimistiske anslaget er at vi kan få opp systemet igjen før lunch, men det kan like gjerne ta lengre tid.

I går fikset vi log4j-sårbarheten i datafangst, men det medførte blant annet at vi måtte re-installere hele databasesystemet. Vi holder nå på å gjenopprette alle data i Datafangst fra backup, men dette er en treg, plundrete og sårbar prosess.

Vi beklager ulempene dette gir for våre brukere.

Gamle ÅDT-tall er satt historisk

Vi har nettopp sendt alle trafikkmengde-objekter med ÅDT, gjelder for lik 2019 eller eldre over i historien, dvs objektene er lukket og har fått en sluttdato. De vises ikke lenger i Vegkart, men de kan hentes fram fra NVDB api LES med oppskriftene beskrevet her: Hvordan får jeg historiske data for trafikkmengder?

Grunnen er at disse gamle ÅDT-verdiene skapte en del kluss, heft og problemer for analyser og bruk av trafikkmengde-data. Vi hadde også stor pågang på support med å forklare hvordan det hang sammen at vi hadde opp mot ti år gamle data liggende ved siden av 2020-data.

NVDB api LES fungerer ikke

6.12.2021 klokken 12:44 Vi FRISKMELDER NVDB api LES, i både PRODUKSJON og TESTPROD (ATM). Utviklingsmiljøet vårt har ikke hatt disse problemene

6.12.2021 klokken 12:30: Alt ser greit ut så langt, vi vurderer full friskmelding, men testing pågår ennå

6.12.2021 klokken 11:50: Vi har fått NVDB api LES igang igjen, har ikke rukket å teste alt grundig, men det ser OK ut så langt

Vi jobber med feilsøking, oppdaterer så snart vi har mer informasjon

Feilen påvirker alle systemer som bruker data fra NVDB api LES, deriblant Vegkart, NVDB rapporter, Datafangst med flere

Snublefeller, historiske data

Bruk av historiske data har en del interessante snublefeller og begrensninger

Sjekk også vår artikkel om hvordan du tar ut historiske data i ulike verktøy.

Vegsystemreferanse fantes ikke før november 2019

I november 2019 innførte vi det nye referansesystemet, populært kalt vegsystemreferanse. Sjekk artikkelen Hva må jeg vite om vegsystemreferanse? Denne er ikke gitt tilbakevirkende kraft, det vil si at hvis du tar ut de dataene som var gyldige i 2018 så får du ikke med detaljer om strekning, delstrekning, kryssdeler, trafikantgruppe og metrering. Spesielt interesserte kan skjøte på med info hentet fra historiske 532 Vegreferanse – objekter.

Men vi la på detaljer om vegnummer, fase og vegstatus på alle historiske objekter i NVDB api LES, så du kan søke på f.eks. Fv915 når du skal ta ut historiske data. Merk at data eldre enn 2019 har fått 2019-vegnummeret.

I NVDB bruker vi kun de nyeste kommunegrensene!

Endrer vi på kommune- og fylkesgrenser så får det tilbakevirkende kraft i NVDB. Du kan ikke lenger søke etter belysningspunkt i Klæbu, for Klæbu er en del av nye Trondheim kommune. Og motsatt – søker du etter historiske data for belysningspunkt så er det dagens kommunegrense som brukes som søkefilter. Kartskissen under viser 2017-grensene for Trondheim samt de belysningspunktene du får når du søker på belysningspunkt med filteret tidspunkt=2017-02-01&kommune=5001

Kart med gamle kommunegrense for Trondheim og belysningspunkt i nye Trondheim kommune. Selv om Trondheim og Klæbu først slo seg sammen i 2020 så gir søket etter belysningspunkt per 2017 deg 927 treff i gamle Klæbu kommune,
Selv om Trondheim og Klæbu først slo seg sammen i 2020 så gir søket etter belysningspunkt per 2017 deg 927 treff i gamle Klæbu kommune,

I NVDB bruker vi kun de nyeste kontraktsområdene – og liker best det nyeste vegnettet

Hvis du henter ut historiske data for et kontraktsområde og enten vegnettet eller kontraktsområdet (eller begge deler!) har vært endret så må vi ta forbehold om at du kan få færre vegobjekter enn det riktige.

Hvis du vet at vegnettet og ditt kontraktsområde har ligget i ro i tiden mellom i dag og bakover til det eldste tidspunkt du trenger data for – så kan du helt fint ta ut historiske data på dette kontraktsområdet.

Forklaringen er komplisert: Når kontraktsomrdet skal brukes som søkefilter i NVDB api les så klarer vi ikke gjenskape området slik det så ut før endringen, men bruker området slik det ser ut i dag – også for historiske søk.

Hvis en bit av vegnettet var i k.området i 2019, men ble satt historisk i 2020 – så vil du ikke klare finne den når du søker på k.området i dag med tidspunkt=2019.

Tilsvarende hvis k.området har vært justert i 2020: Du klarer ikke få frem riktige 2019-data ved å bruke k.området som søkefilter.

Det finnes krokveier om dette problemet, men det er komplekst (hent ut historisk 538-objekt per tidspunkt, finn dette objektet stedfesting og hent ut vegobjekter som hadde overlappende stedfesting på det tidspunktet.) Vi ønsker å tilby ferdige rapporter basert på denne logikken, men det ligger noe fram i tid.