NVDB-Skriv URL uten «atlas» legges snart ned

NVDB API Skriv har blitt etablert i nye driftsmiljøer på Atlas-plattformen hos Statens vegvesen. Vi har hatt begge miljøene opperative i en god periode nå og regner med mange har byttet til nye URLer. Vi vil nå starte prosessen med å stenge av de gamle URLene, og ber nå alle brukere om å se over at alle system er oppdatere med nye URLer.

Planlagt stenging av gamle URLer er 1. juli 2021.

Systemtestmiljø:
https://www.utv.vegvesen.no/nvdb/apiskriv/* => https://nvdbapiskriv-stm.utv.atlas.vegvesen.no/*

Akseptansetestmiljø:
https://www.test.vegvesen.no/nvdb/apiskriv/* => https://nvdbapiskriv.test.atlas.vegvesen.no/*

Produksjonsmiljø:
https://www.vegvesen.no/nvdb/apiskriv/* => https://nvdbapiskriv.atlas.vegvesen.no/*

I Atlas-miljøet brukes en ny autentiseringsmekanisme, basert på OAuth2 (OpenId Connect). Når klienter skifter over til nye URLer må derfor også autentiseringlogikken omprogrammeres. Hvordan dette kan gjøres er forklart på https://apiskriv.vegdata.no/autentisering.

Dersom det er spørsmål rundt dette, ta kontakt med nvdb@vegvesen.no.

Dersom det er behov for å holde det gamle miljøet oppe en stund til fremover må vi ha tilbakemelding om dette snarest med begrunnelse og dato for når det ikke er nødvendig lenger.

Utfasing av gamle NVDB-systemer

Som konsekvens av kommune- og regionreformen har det vært nødvendig å gjøre større grep i og rundt NVDB. Samtidig har vi også benyttet sjansen til å modernisere og fase ut løsninger som i nær framtid uansett måtte erstattes. Endringene omfatter vegreferansesystem, vegnettsmodell, programmeringsgrensesnitt (API) og verktøy/klienter rundt NVDB. Dette arbeidet har pågått over flere år. I “anleggsperioden” har vi kjørt parallelle løp der både eksisterende og nye løsninger har vært tilgjengelig. Nå nærmer det seg tidspunkt for å fase helt ut de løsningene som ikke skal videreføres.


Planen er som følger:

1. juni 2021: Nedstenging av «NVDB Klassisk» – verktøy for alle som ikke spesifikt ber om tilgang fram til 1.8. Alle «NVDB Klassisk» – brukere kontaktes direkte via epost.

NVDB klassisk omfatter verktøy som NVDB 123, Funkra, NVDB studio, Vegreg og noen flere.

1. august 2021: Full nedstenging av gamle systemer. Det gamle api’et fases fullstendig ut, og de gamle verktøyene kan ikke lengre brukes mot NVDB.

I dette notatet er det beskrevet mer i detalj hva som videreføres og hva som ikke lenger blir tilgjengelig for vegnett, programmeringsgrensesnitt og NVDB-verktøy / NVDB-klienter.

Nedetid for VisVegInfo

Det er nødvendig med oppdatering og påfølgande restart av server som køyrer VisVegInfo. Tenesten og alle produkt og tenestar som brukar VisVegInfo er vena å vere ustabile og utilgjengelege i periodar i kved og i natt.

Vi ber om årsaking for kort varsel her. Det kjem som ei følge av ei uventa hending som er årsak til ei rekke interne feil i våre tenestar, og oppdatering er nødvendig for å rette opp dette.

Friskmelding vinterdriftsklasse og ÅDT i NVDB rapporter

I NVDB rapporter for driftskontrakter har vi et par måneder slitt med feil i lengdeberegning av vinterdriftsklasse og ÅDT. Våre utviklere er nå sikre på at de har løst problemene og at systemet nå regner riktig – men at noen av testene feiler.

Hva mener du, feil i testene våre?

Våre tester – fasiten, om du vil – er ingen ferdiglaget fasit, men en separat opptelling hvor vi ut fra V4-rapporten (detaljert mengdeoversikt) regner ut antall, lengde og areal som sammenlignes med tallverdiene i V2- og V3-rapportene (aggregert mengdeoversikt, sum per vegkategori eller per vegnummer) . Det er i denne opptellingen utviklerne nå påpeker en svakhet som gjør at testopptellingen vår blir for upresis for noen av verdiene.

For kontraktsområdet 9305 Sunnfjord er utviklerne for eksempel skråsikre på at opptellingen av ÅDT-verdier mellom 0 og 500 kjøretøy per døgn nå er riktig i produksjonssystemet – men for upresis i vår testopptelling.

Utdrag fra testrapport for 9305 Sunnfjord. Vi har 15% skyldes feil i testopptellingen vår, mens systemet nå gir riktige tall for ÅDT og vinterdriftsklasse i V2 og V3-rapportene.

Hva kan vi gjøre?

P.t. ser vi disse to alternativene:

  • Stole på utviklerne når de sier at de går god for de nye beregningene, men at «fasiten vår» ikke er perfekt, og at vi derfor kan begynne å bruke systemet
  • Avvente til vi har finregnet på ny fasit og forbedret testene våre

Å forbedre testene tar tid, trolig minst en uke eller to. Vi har derfor valgt å produksjonssette og gå ut med denne informasjonen. Dermed kan du selv best vurdere om avvikene som gjenstår er til å leve med – eller om du heller venter en stund til.

Kan jeg se testrapportene?

Selvsagt! De ligger her! En fil per kontraktsområde som er testet (p.t. 6 stykker), samt en felles testrapport som oppsummerer de verste resultatene fra alle kontraktsområdene.

Hva betyr fargeverdiene?

  • Grønt betyr identisk antall eller mindre enn 0.5 prosent avvik på lengde og areal.
  • Gult betyr inntil 1 stykk avvik på antall eller mellom 0.5 og 2 prosent avvik på lengde og areal
  • Rødt betyr mer enn 1 stykk feil på antall eller mer enn 2 prosent avvik på lengde og areal

NVDB rapporter: Feil mengdeberegning V2/V3

Denne feilen er løst, men noen problemer gjenstår

Vi har avdekket en alvorlig feil i mengdeberegning til driftskontrakt-rapporter. Det er de såkalte «Aggregerte mengdeoversikter», sum per vegkategori eller sum per veg. (Populært kalt V2 og V3 – rapportene). Feilen består i at vi summerer samme objekt flere ganger, slik at totalsummen blir for høy.

Vi kommer tilbake med mer informasjon i denne kanalen snarest mulig.

Info tirsdag 2 mars: Riktig beregning ÅDT og vinterdriftsklasse

Utviklerne våre går nå god for at oppgitt lengde for vinterdriftsklasse og ÅDT stemmer i den versjonen produksjonsatt 2.3.2021, men at testberegningen vår er for upresis og feiler for noen av oppføringene. Mer detaljer

Siste gjenstående feil skal da være spesialberegning «Kantklippareal, årlig anbefalt areal».

Info onsdag 10 februar: Ny versjon er satt i produksjon, Hva fungerer og hva feiler?

Ny og forbedret versjon EDIT er satt i produksjon, her er oversikt over kjente feil og hva som nå fungerer per 10. februar 2021 testsammendrag 10.feb 2021 basert på data for 6 kontraktsområder.

  • Beregning av antall, lengde og areal for fysiske objekter (vegutstyr, vegetasjon m.m.) fungerer, med unntak spesialberegning «Kantklippareal, årlig anbefalt areal»
    • Vi sjekker denne nærmere.
  • Beregning av lengde for vinterdriftsklasse og ÅDT fungerer fremdeles ikke
  • Datakatalogjustering for 838 vegbredde og 241 vegbredde fungerer (Dekke Grus, Stein og Betong), og opptellingen av disse ser riktig ut (antall og lengde).

Info mandag 1.februar: Hva fungerer og hva feiler?

Vi har laget denne oversikten over kjente feil og hva som nå fungerer (per 1.2.2021) oppsummering_test9305_2020-01-29. Kortversjon:

  • 10 oppføringer har arealberegning som feiler (spesialregel areal = Lengde x bredde)
  • Lengdeberegning for vinterdiftsklasse og ÅDT feiler
  • Datakatalogjustering: : 838 Vegbredde og 3 oppføringer for 241 Vegdekke (Betong, Grus, Stein).

De 10 radene (for 8 objekttyper) der arealberegning feiler:

3 Skjerm
   7 Gjerde 
  47 Busslomme
  47 Trafikklomme u/busslommme
  62 Mur
  48 Fortau 
 301 Kantklippareal
 301 Kantklippareal, årlig anbefalt areal
 845 Fanggjerde
 859 Taktile indikatorer 

Vi jobber videre med å få rettet disse feilene. På grunn av leverandørbytte tar dette mere tid enn det burde, men det kommer!

Info fredag 29.1 Fiks produksjonssatt. Mange alvorlige avvik er lukket, men en del gjenstår, se under.

Dette gir et rotete og krevende bilde som er vanskelig å forholde seg til, hvor rapportgeneratoren gir en blanding av gode og dårlige data. Vi jobber videre med disse sporene:

  • Rette opp utestående feil
  • En mer lettlest oversikt over hva som er riktig og feil i de ferdige rapportene
  • Informasjon om hvordan vi tester for riktig og feil i de ferdige rapportene

Info onsdag 27.1 Ny versjon er rullet ut i TESTPROD, forventet produksjonssetting er i morra torsdag eller senest fredag. Så krysser vi fingrene for at det ikke er noen ekstra snubletråder for å rulle ut fra TEST (atm) => produksjon.

Vi har også nyskrevne testrutiner som gir oss god oversikt over summeringer som er OK og hvem som feiler. Oppsummert så vil disse oppføringene fremdeles feile i den nye versjonen:

EDIT: Noen objekttyper føyd til et par timer etter opprinnelig publisering.

objtype Beskrivelse                     Problem
    3    Skjerm                             Store arealavvik fordi spesialregel areal = Lengde x Bredde feiler
    7    Gjerde                            Undersøker, finner arealavvik 4% eller lavere
   37    Kanalisering primærrveg         Telling av vegkryss og avledede      37    Kanalisering sekundærveg         Telling av vegkryss og avledede    37    Vegkryss                         Telling av vegkryss og avledede verdier (primærveg, sekundærveg) feiler
   47    Busslomme                         Spesialregel areal = Lengde x    47    Trafikklomme som ikke er busslomme   Spesialregel areal = Lengde x Bredde feiler
   62    Mur                             Store arealavvik fordi spesialregel areal = Lengde x Bredde feiler
   80    Grøft åpen (ulike typer)         Usikker, må ettergå
   83    Kum (ulike typer)                Usikker, må ettergå 
   96    Skiltplate (ulike typer)         Usikker, må ettergå 
  241    Dekke, Betong                    Regeldefinisjon utdatert ift datakatalogen
  301    Kantklippareal                     Store arealavvik fordi spesialregel areal = Lengde x Bredde feiler
  301    Kantklippareal, årig anbefalt    Store arealavvik fordi spesialregel areal = Lengde x Bredde feiler
  845    Fanggjerde                         Spesialregel areal = Lengde x Bredde feiler
  859    Taktile Indikatorer             Spesialregel areal = Lengde x Bredde feiler
  540    ÅDT per intervall                Telling av ÅDT og vinterdriftsklasse feiler
  810    Vinterdriftsklasse                Telling av ÅDT og vinterdriftsklasse feiler 

Detaljert oversikt over hvilke avvik vi fant når vi sammenlignet data fra detaljert objektoversikt (V4) med aggregert mengdeoversikt per veg (V3). SammenlignV2ogV3_2021_01_27.xlsx

Info fredag 22.1 Vi tør ikke love produksjonssetting i dag, men gjør så godt vi kan. Vi fant også en snublefeil i gårsdagens testing. Detaljert testrapport postes her så fort den er klar.

Info torsdag 21.1 Feilen er retta, vi håper å få produksjonssatt snarest – men noen feil vil fremdeles gjenstå: Etter produksjonssetting så vil arealberegning for disse objektene fremdeles feile:

Skjerm (3 Skjerm)
Busslomme (47 Trafikklomme)
Trafikklomme u/busslomme (47 Trafikklomme)
Mur (62 Mur)
Kantklippareal (301 Kantklippareal)
Kantklippareal, årlig anbefalt areal (301 Kantklippareal)

Her er testrapport utført 20.1

Noen pussigheter oppstår også fordi samme objekt kan «regnes med» i flere av kolonnene i V2-rapporten (f.eks både i E+R og G/S – kolonnen). Dette er ikke feil – tallet i hver av kolonnene er korrekt, men det blir for høyt hvis du summerer alle kolonnene. Ett eksempel er oppføringene for «Alle NVDB-data av typen «Bru» (dvs fra fagsystem Brutus)«.

Info onsdag 20.1 Feilen i antall objekt er fikset, men ikke satt i produksjon. Vi har fremdeles feil lengdeberegning for ÅDT og vinterdriftsklasser i V2/V3.

Info tirsdag 19.1: Utviklerne har skrevet kode med fiks, testing gjenstår. Pga leverandørbytte går det tregere med utrulling til testmiljøet vårt.

Info mandag 18.1: Utviklerne har en teori om hva bug’en består i og regner med de kan fikse ila av uka (men vi lover ingenting før det er klart). Vi er dessverre tregere enn vanlig pga leverandørbytte.

3 feil i Datafangst

Vi har for tida tre kjende feil i Datafangst som vi srbeider med å løyse.

  • Pålogging feilar i perioder.
    Vi har problem med at pålogging feilar. Dette er relatert til ein ekstern teneste som Datafangst nyttar seg av for å logge inn med brukarar frå Statens vegvesen. Vi har ein patch som vil unngå problemet, men vi arbeider vidare med å løyse problemet permanent.
    Ved feil, ta ei lita pause og prøv igjen før du feilmelder til oss.
  • Datafangs loggar ut etter 15min inaktivitet.
    Vi har registrert at enkelte brukarar vert logga ut av Datafangst etter litt inaktivitet (ca. 15min?). Vi trur det avhenger at kva aktivitet som vert utførd i Datafangst, men det skal ikkje vere sånn. Vi arbeider med å kartlegge og identifisere problemet.
  • Stadfesting på private vegar fugerer ikkje. Dersom du skal stadfeste på privat veg må du inntil vidare gå over til gamal løysing for stadfesting. Det er val for det på stadfestingsfanen.

Restart av Datafangst i dag

Vi vil i dag gjere ei oppgradering av serveren til Datafangst for å betre stabilitet og redusere risiko for nye driftsproblem som vi har hatt dei siste dagane.

Etter oppgradering er det nødvendig med ein restart av server. Det vert då nedetid i nokre få minutt ein gong mellom 11:00 og 12:00 i dag. Alt arbeid vert lagra, men all emå logge inn på nytt etter restart.

Etter at serveren er oppdatert håpar vi på at Datafangst vil verte stabil igjen og få betre ytelse som ein bonus.

Datafangst tilbake i normal drift

Vi har no utførd nokre endringar i Datafangst som så den er tilbake i normal drift.

Årsaka til problema var overbelastning av server. Endringane vi har gjort no gjer at tenesten ikkje går ned ved stor belastning, men vi vil framleis oppleve tregheit ved mykje bruk.

For å betre ytelsen planlegg vi no oppgradering av server i nær framtid.

Problem i Datafangst

Vi har i dag hatt mykje problem med Datafangst. Vi har feilsøkt i heile dag, men har ikkje fått retta feilen.

Sidan vi ikkje finn årsaka til feilen er det vanskeleg å seie noko om forventa tid for å rette den, men vi arbeider vidare med feilsøking.

Feilen påverkar alle som nyttar datafangst API for å skrive til NVDB.