Vegdata.no vert lagt ned – men ikkje heilt ennå

Fremhevet

Alle drift- og statusmeldingar kommer på nvdbstatus.atlas.vegvesen.no.

Denne løsninga tilbyr også maskinintegrasjon og diverse metoder for å følge med på og få advarsler når det er driftsavvik på ditt favorittsystem.

Vi lager et helt nytt system for nyheiter og informasjon, men trenger mer tid før det nye er på plass på https://nvdb.atlas.vegvesen.no .

Innholdet på vegdata.no blir liggende i ro inntil det finner sin plass på den nye løsningen. I denne mellomperioden er det noe innhold som vi må ajourholde på vegdata.no For eksempel ajourholder vi sidene med nye datakatalogversjoner. Info om demo NVDB rapporter og datafangst blir også ajourholdt. Ellers holder vi vegdata.no-aktiviteten på et minimum.

Les meir om dei nye siden her:

Feil ved kategorisering i Vegkart

Det er oppdaga ein feil i Vegkart som ofte inntreff ved kategorisering av spesielt strekningsobjekt.

Det ser ut som det feilen i mange tilfelle kan verte unngått dersom ein dekativerer den nye innstillinga «Vis små strekningsgeometrier som punkt», men det hjelp ikkje for alle tilfelle.

Vi ser på å få rette feilen så raskt som mogleg.

Problem i Les – LØYST

Oppdatering 3/6 2022:

Problema i Les var løyst rundt 16:15 i går 2/6. Kort tid etter var NVDB oppdatert og tilbake i normal drift. Alle system skal no ha normal tilgang til NVDB-data igjen.

Original melding 2/6 2022 – 15:15:

Det har oppstått problem med handsaming av eit endringssett som kom inn til NVDB rundt 13:15 i dag. Det har skapt ein del ustabilitet i Les og Les har no slutta å svare på dataforespørjingar.

Dette fører til at alle system som nyttar NVDB-data no er ustabile.

Feil! IND stoppa opp ei lengre periode 16. mars.

Klokka 12:07 16. mars fekk NVDB-IND problem med ei endring i vegnettet. Dette førte til auka serverbruk som førte til fullstendig frys i Les rundt 13:00.

Les fekk vi raskt tilbake med enkle justeringar i servelast, men IND stod fast på vegnettsendringa heilt fram til rundt 15:30 der vi klarte å «hoppe over» den aktuelle endringa og gå vidare med køa.

NVDB funger no som normalt igjen, med eit lite unntak. på fv. 410, fv. 420 og tilstøytande vegar i Arendal er det avvik mellom vegnettet som er registrert i Skriv (og databasen) og det som er vist ut til verda gjennom Les. Dette vil føre til problem dersom nokon forsøker å gjere endringar i dette området. Det ligg difor ein lås på det berørte området og endringar som er innanfor låsen vert ståande på vent til vi har løyst det lokale problemet.

Når låsen er fjerna vert dei lagt inn i køa som nye endringar og vi reknar med dei fleste går gjennom, men enkelte kan verte avviste på grunn av at objektet er oppdatert av andre enringssett i området.

— NEDETID I NVDB LES — Planlagt oppdatering av NVDB i helga (11-13. mars 2022)

Oppdatering 14. mars:

NVDB Les-API er tilbake i normal drift og oppdateringa ser så langt ut til å vere ein suksess. Vi har fått inn normalt med endringssett så langt i dag, og har ikkje registrert kø enda.

Oppdatering 11. mars:

Test i våre testmiljø er veldig positive. Vi har utført testing med registrering av fleire endringar i NVDB enn vi normalt har i produksjonsmiljø samstundes som vi simulerte ekstrem last på API-et med mange store spørjingar i Les.

Resultatet var at vi berre opplevde midlertidig kø på få minutt i samband med endringar i vegnettet. Men køa tok seg inn igjen etter få minutt. Vi opplevde og at Les er litt tregare (brukar litt lengre tid på å svare) når lasta er størst. Dette var og forventa, men vi reknar gevinsten med å få tilgang på oppdaterte data raskare som større enn ulempene med at svartida vert litt større.

Planlagt oppdatering

Vi driv testing av ei endring i NVDB som skal redusere tida som går med til indeksering av data – eller tida det tek frå NVDB mottek ei endring til den er tilgjengeleg i Les.

Vi har gode erfaringar med testing så langt og ser ut til å kunne redusere tidsbruken med opp mot 90%. Det vil sei at vi kan gå frå dagens situasjon der vi midt på dagen får inn meir enn dobbelt så mange endringar kvart minutt enn vi kan handsame, og dermed kontinuerleg bygger opp kø, til å kunne handsame opp til dobbelt så mange endringar som vi får inn no.

Konsekvens under oppdatering

Men innføring av endringa vil føre til komplett nedetid for Les-API og dermed alle system som er avhengige av dette (Vegkart, Datafangst og eksterne klientar som viser eller nyttar data i NVDB).

Reserveløysing

API v2 og Vegkart-2019 vil vere tilgjengeleg, men det er her ikkje informasjon om vegsystem eller nye fylkes- og kommunestrukturar. Det kan brukast for å finne fagdata om vegobjekt, men vil då innehalde gamle referanse til vegnett, fylker og kommunar.

Nasjonal vegdatabank API.v2 (NVDB API.v2)
Vegkart-2019 (vegvesen.no)

Vurdering nytte/ulempe – tilbakemelding

Vi ser gevinsen med å innføre denne endringa som så stor at dersom vi ikkje finn store problem under testing fra til fredag vil vi innføre det alt no i helga (startar arbeidet fredag 11. mars 2022 kl 16:00).
Dette er kort varsel, men vi har arbeida lenge med å finne ei løysing på dette problemet som stadig vert sørre og som vi får veldig mange tilbakemeldingar på at skaper problem for våre brukarar.
Dersom dette fører til store operasjonelle problem for nokon ber vi om tilbakemelding på dette til NVDB@vegvesen.no.

Feilretting Datafangst kurve-alias

Vi rettet nettopp to feil knyttet til vegobjekt-alias i Datafangst. Feilen rammet noen av brukerne våre hardt, mens andre ikke opplevde problemer. Vi beklager ulempene!

Et alias er et midlertidig navn vi bruker for å skille objekter fra hverandre i tabell, for eksempel «Kurve 1» eller «skiltpunkt:85397901». I størst mulig grad prøver vi å gjenbruke SOSI-numerereringen, slik at når det står «Kurve 1» i SOSI så bruker vi også «Kurve 1» i Datafangst. For Geojson prøver vi også så langt det går prøver å tolke tagger for å finne passende kurvenummer. Hvis vi ikke klarer finne noe passende informasjon så genererer vi et tall.

Feil nummer 1 var at innlesning til Datafangst feilet hvis det sto andre ting, for eksempel datoer, i den taggen der vi forventet å finne et heltall. Da fikk du feilmeldingen «kan ikke lese vegobjekter for visning» når du trykker på en vegobjekt-type.

Feil nummer to var knyttet til kopiering, der et objekt med en alias («Kurve 1») blir til to objekter med samme alias. Når du prøver å endre disse to så ga det kun effekt på den ene av dem, noe som var både forvirrende og frustrerende.

Begge disse feilene ble retta og rullet ut i produksjon i løpet av torsdag og fredag, ref driftsmeldingene på twitterkontoen vår NVDB åpne vegdata (@NVDBapi) / Twitter

Les-API i ATM/test-miljø blir utilgjengeleg.

Vi er nødt til å ta ned API-Les i ATM/test-miljø for å teste ei endring vi planlegg i PROD til helga. ATM Les vil då vere nede frå eit tidspunkt no i ettermiddag (3/3 2022) til i morgon formiddag ein gong.

Målet med endringa er å kraftig redusere tidsbruken i IND som vil gjere at ventetida frå registrering i Skriv til data er tilgjengelg i Les vert betydeleg kortare enn i dag. Potensiell gevinst her er så stor og etterspurd at vi prioriterer å teste dette i ATM no så vi kan innføre det i PROD alt denne helga.

Bugfix release datafangst

Vi fjernet to bugs, en i sammenkoblingsfanen og søk i datafanen skal nå fungere

I tillegg har vi tatt vekk Rød prikk som symboliserer hvilke kontrakter det er endringer på. Vi jobber med å få tilbake denne funksjonen. Dette var en altfor treg databasespørring. Når vi har mange brukere samtidig så får vi da altfor mange trege spørringer som kverner og kverner og spiser opp systemressurser – og på et punkt går alt i stå, vi kan ikke ha ubegrenset med trege spørringer samtidig.

Vi har funnet flere tricks som fjerner denne tregheten. For det første har vi fått spørringene til å gå radikalt raskere. Videre er det noen tricks knyttet til at vi ikke spør om alt på en gang, kun de kontraktene du har synlige i skjermbilde, og litt tilsvarende tricks. Dette blir produksjonssatt så snart det er klart.