Vegdata.no vert lagt ned – men ikkje heilt ennå

Fremhevet

Alle drift- og statusmeldingar kommer på nvdbstatus.atlas.vegvesen.no.

Denne løsninga tilbyr også maskinintegrasjon og diverse metoder for å følge med på og få advarsler når det er driftsavvik på ditt favorittsystem.

Vi lager et helt nytt system for nyheiter og informasjon, men trenger mer tid før det nye er på plass på https://nvdb.atlas.vegvesen.no .

Innholdet på vegdata.no blir liggende i ro inntil det finner sin plass på den nye løsningen. I denne mellomperioden er det noe innhold som vi må ajourholde på vegdata.no For eksempel ajourholder vi sidene med nye datakatalogversjoner. Info om demo NVDB rapporter og datafangst blir også ajourholdt. Ellers holder vi vegdata.no-aktiviteten på et minimum.

Les meir om dei nye siden her:

Problem i Les – LØYST

Oppdatering 3/6 2022:

Problema i Les var løyst rundt 16:15 i går 2/6. Kort tid etter var NVDB oppdatert og tilbake i normal drift. Alle system skal no ha normal tilgang til NVDB-data igjen.

Original melding 2/6 2022 – 15:15:

Det har oppstått problem med handsaming av eit endringssett som kom inn til NVDB rundt 13:15 i dag. Det har skapt ein del ustabilitet i Les og Les har no slutta å svare på dataforespørjingar.

Dette fører til at alle system som nyttar NVDB-data no er ustabile.

Feil! IND stoppa opp ei lengre periode 16. mars.

Klokka 12:07 16. mars fekk NVDB-IND problem med ei endring i vegnettet. Dette førte til auka serverbruk som førte til fullstendig frys i Les rundt 13:00.

Les fekk vi raskt tilbake med enkle justeringar i servelast, men IND stod fast på vegnettsendringa heilt fram til rundt 15:30 der vi klarte å «hoppe over» den aktuelle endringa og gå vidare med køa.

NVDB funger no som normalt igjen, med eit lite unntak. på fv. 410, fv. 420 og tilstøytande vegar i Arendal er det avvik mellom vegnettet som er registrert i Skriv (og databasen) og det som er vist ut til verda gjennom Les. Dette vil føre til problem dersom nokon forsøker å gjere endringar i dette området. Det ligg difor ein lås på det berørte området og endringar som er innanfor låsen vert ståande på vent til vi har løyst det lokale problemet.

Når låsen er fjerna vert dei lagt inn i køa som nye endringar og vi reknar med dei fleste går gjennom, men enkelte kan verte avviste på grunn av at objektet er oppdatert av andre enringssett i området.

Bugfix release datafangst

Vi fjernet to bugs, en i sammenkoblingsfanen og søk i datafanen skal nå fungere

I tillegg har vi tatt vekk Rød prikk som symboliserer hvilke kontrakter det er endringer på. Vi jobber med å få tilbake denne funksjonen. Dette var en altfor treg databasespørring. Når vi har mange brukere samtidig så får vi da altfor mange trege spørringer som kverner og kverner og spiser opp systemressurser – og på et punkt går alt i stå, vi kan ikke ha ubegrenset med trege spørringer samtidig.

Vi har funnet flere tricks som fjerner denne tregheten. For det første har vi fått spørringene til å gå radikalt raskere. Videre er det noen tricks knyttet til at vi ikke spør om alt på en gang, kun de kontraktene du har synlige i skjermbilde, og litt tilsvarende tricks. Dette blir produksjonssatt så snart det er klart.

Demo datafangst 2. februar 2022

Vi pleier ikke poste oppsummering fra demo, men på grunn av situasjonen med dårlig stabilitet i Datafangst så kom det fram ting på demo vi mener bør nå fram til flere.

NVDB Rapporter:

Kan bestille zip-fil med V1,V2,V3,V4 og tilstand/skade. Sum veglengder: Ny rad med summen av kjøreveg og gang/sykkelsti.

Datafangst – ytelse og stabilitet

Ytelse og stabilitet henger sammen – hvis en type spørring går tregt så vil det bli en lang «kø» med disse trege spørringene, og i verste fall blir det så mange samtidige trege spørringer samtidig at alt sammen stopper opp.

Vi har tatt vekk «røde prikken» som viser hvilke kontrakter som er endret. Dette var en av de trege spørringene som ga oss utfordringer. Vi skal gjøre denne databasespørringen raskere og når den blir rask nok så kommer prikken tilbake.

Brukerønske ang den røde prikken: Vi har behov for denne typen «Vis at her er det skjedd endringer» på alle GUI-elementer, fra den overordnede listen med kontrakter helt ned til visning av enkeltobjekter.

Ekstremt tydelig og klar tilbakemelding på at vi må bli flinkere til å publisere driftsmeldinger fortløpende på twitter, og dernest bli flinkere til å skrive oppsummeringer om arbeidet med problemløsning (og øvrige planer) på vegdata.no.

Ny funksjonalitet i datafangst: «Opprett nytt strekningsobjekt»

Vist på forrige demo, men måtte gå en runde til fordi brukertesten avdekket mangler. I denne testprosessen fått gode innspill og idéer fra testerne våre, og ut fra det har vi laget flere løsningsforslag som vi mener tilsammen skal gi knallbra funksjonalitet. Men disse må prioriteres bak arbeidet med ytelse og stabilitet. Vi vil prøve å snurpe sammen en minimumsløsning som ikke vil være så brukervennlig som vi ønsker, men som fungerer godt nok til at den kan tas i bruk. Så får den knallgode implementasjonen komme senere, når vi har mer overskudd.

Balansering – arbeidet med ny versus gammel datafangst-løsning

Vi kommer ikke til å offisielt «fryse» videreutvikling av gammel datafangst-løsning selv om vi lager en ny. Verden endrer seg, og det kan dukke opp behov som er for viktige til at de kan vente på den nye løsningen. Vi nekter derfor å sette opp harde regler for hva vi gjør og ikke gjør av forbedringer i gammel løsning.

Aller høyest prioriterer vi at Datafangst virker! Ytelse og stabilitet henger sammen, og dette prioriterer vi høyt. Ref oversikten over arbeidet med å forbedre brukeropplevelse

Bortsett fra den nye funksjonen «Opprett nytt strekningsobjekt» vil det ikke bli tilført noe særlig nytt i eksisterende datafangst.

Vi vil også prøve å gjeninnføre del av de tingene vi måtte deaktivere på grunn av ytelsesproblemer, for eksempel «rød prikk» ved de kontraktene der det har skjedd endringer. Og det er ett og annet småtteri og bugs som ikke lenger fungerer like godt som før, det prøver vi å fikse. Og så er det slik at hvis vi med liten innsats kan gjøre en fiks eller forbedring som gir brukerne våre en bedre arbeidshverdag så prøver vi jo å klemme det inn. Men ikke forvent for mye.

Varsel !!! – Mogleg nedetid i NVDB-Les i helga.

Vi har som mange nok har erfart hatt utfordringar utover et normale i NVDB den siste veka. I samband med feilretting kan det verte aktualt å bygge opp data i NVDB på nytt. Dersom det vert nødvendig vil vi gjere det i helga.

Under gjenoppbygging av data vil NVDB-Les vere heilt utilgjengeleg i ei periode. Dette vil påverke alle klientar som nyttar NVDB-data. Vegkart vil og framstå som tom.

Data i NVDB vil ikkje verte berørt, og ingen data skal gå tapt. Vi må berre bygge opp igjen tilgangen til dataene.

Les-API v2 vil vere oppe, det same gjeld vegkart-2019.atlas.vegvesen.no dersom nokon treng tilgang på data, men då med dei avgensingane som er i v2 med gamle fylker og kommuner, samt gamle vegreferansar.

Vi vil oppdatere med ny informasjon i løpet av morgongaden om kva som vil skje i helga.

Ny datafangst-versjon satt i produksjon

Datafangst 2022-2.0.1 er ute i PROD

  • Mulighet til å vise kommentarer for flere objekter og objekttyper gjennom verktøymenyen i datafanen.
  • Mulighet til å fjerne flere kommentarer gjennom filtrering og markering.
  • Nye, mer beskrivende farger på kommentarboblene.
  • Vegsystemreferansen kan nå sees i datafanen for objekter som er registrert i NVDB eller er stedfestet.
  • Metreringsretning er nå standard retning i datafangst.
  • Man kan nå se retningen på veglenker i kartet, både i datafanen og stedfestingsfanen.
  • Sideposisjon og felt kan nå sees og redigeres selv om det er flere av disse for et vegobjekt.
  • Sideposisjon og felt vises i forhold til metreringsretning i motsetning til før da de vistes i forhold til geometriretning.
  • Sideposisjon og felt er nå markert gult om det er endret ifht NVDB.
  • Ved stedfesting kan du nå sende med vegkategori for å spesifisere stedfestingen mer nøyaktig.
  • Den gamle stedfestingstypen ble visualisert bedre når det kom til krappe svinger som nærmet seg sirkler. Dette er nå fikset.
  • Ved import av SOSI kan man nå velge operasjon, som betyr at man kan importere eksisterende NVDB-objekter som SOSI.
  • Endring av enkeltattributter i datafanen har blitt raskere.
  • Når det dukker opp en feilmelding får du oppgitt en lenke til ofte stilte spørsmål for mer informasjon.
  • Andre mindre feilrettinger og forbedringer.

Obs! Vi har et script som kjører og fyller inn metreringsretning på alle veger det er stedfestet på. Dette tar ca. et døgn å kjøre. Det betyr at vi har ikke metreringsretning på alle veger enda.

Om man har et objekt som er stedfestet på veg uten metreringsretning vil sideposisjon og felt være grået ut i vegobjekter-fanen og hvis man hovrer på dette feltet vil det stå «Objektet er stedfestet på veg uten metreringsretning og sideposisjon/felt kan ikke oppgis.». Hvis objektet har sideposisjon eller felt vil det dukke opp så snart metreringsretningen har blitt hentet inn. Hvis man vil se sideposisjon og felt med en gang kan man stedfeste på nytt og vi vil da hente inn metreringsretningen på veglenka. Alle veglenker forventes å ha fått metreringsretning innen fredag morgen. I løpet av helga. EDIT: Dette scriptet gir såpass stor belastning at vi må kjøre det i helga, når det er færre brukere.

NVDB rapporter: Feil mengdeberegning V2/V3

Denne feilen er løst, men noen problemer gjenstår

Vi har avdekket en alvorlig feil i mengdeberegning til driftskontrakt-rapporter. Det er de såkalte «Aggregerte mengdeoversikter», sum per vegkategori eller sum per veg. (Populært kalt V2 og V3 – rapportene). Feilen består i at vi summerer samme objekt flere ganger, slik at totalsummen blir for høy.

Vi kommer tilbake med mer informasjon i denne kanalen snarest mulig.

Info tirsdag 2 mars: Riktig beregning ÅDT og vinterdriftsklasse

Utviklerne våre går nå god for at oppgitt lengde for vinterdriftsklasse og ÅDT stemmer i den versjonen produksjonsatt 2.3.2021, men at testberegningen vår er for upresis og feiler for noen av oppføringene. Mer detaljer

Siste gjenstående feil skal da være spesialberegning «Kantklippareal, årlig anbefalt areal».

Info onsdag 10 februar: Ny versjon er satt i produksjon, Hva fungerer og hva feiler?

Ny og forbedret versjon EDIT er satt i produksjon, her er oversikt over kjente feil og hva som nå fungerer per 10. februar 2021 testsammendrag 10.feb 2021 basert på data for 6 kontraktsområder.

  • Beregning av antall, lengde og areal for fysiske objekter (vegutstyr, vegetasjon m.m.) fungerer, med unntak spesialberegning «Kantklippareal, årlig anbefalt areal»
    • Vi sjekker denne nærmere.
  • Beregning av lengde for vinterdriftsklasse og ÅDT fungerer fremdeles ikke
  • Datakatalogjustering for 838 vegbredde og 241 vegbredde fungerer (Dekke Grus, Stein og Betong), og opptellingen av disse ser riktig ut (antall og lengde).

Info mandag 1.februar: Hva fungerer og hva feiler?

Vi har laget denne oversikten over kjente feil og hva som nå fungerer (per 1.2.2021) oppsummering_test9305_2020-01-29. Kortversjon:

  • 10 oppføringer har arealberegning som feiler (spesialregel areal = Lengde x bredde)
  • Lengdeberegning for vinterdiftsklasse og ÅDT feiler
  • Datakatalogjustering: : 838 Vegbredde og 3 oppføringer for 241 Vegdekke (Betong, Grus, Stein).

De 10 radene (for 8 objekttyper) der arealberegning feiler:

3 Skjerm
   7 Gjerde 
  47 Busslomme
  47 Trafikklomme u/busslommme
  62 Mur
  48 Fortau 
 301 Kantklippareal
 301 Kantklippareal, årlig anbefalt areal
 845 Fanggjerde
 859 Taktile indikatorer 

Vi jobber videre med å få rettet disse feilene. På grunn av leverandørbytte tar dette mere tid enn det burde, men det kommer!

Info fredag 29.1 Fiks produksjonssatt. Mange alvorlige avvik er lukket, men en del gjenstår, se under.

Dette gir et rotete og krevende bilde som er vanskelig å forholde seg til, hvor rapportgeneratoren gir en blanding av gode og dårlige data. Vi jobber videre med disse sporene:

  • Rette opp utestående feil
  • En mer lettlest oversikt over hva som er riktig og feil i de ferdige rapportene
  • Informasjon om hvordan vi tester for riktig og feil i de ferdige rapportene

Info onsdag 27.1 Ny versjon er rullet ut i TESTPROD, forventet produksjonssetting er i morra torsdag eller senest fredag. Så krysser vi fingrene for at det ikke er noen ekstra snubletråder for å rulle ut fra TEST (atm) => produksjon.

Vi har også nyskrevne testrutiner som gir oss god oversikt over summeringer som er OK og hvem som feiler. Oppsummert så vil disse oppføringene fremdeles feile i den nye versjonen:

EDIT: Noen objekttyper føyd til et par timer etter opprinnelig publisering.

objtype Beskrivelse                     Problem
    3    Skjerm                             Store arealavvik fordi spesialregel areal = Lengde x Bredde feiler
    7    Gjerde                            Undersøker, finner arealavvik 4% eller lavere
   37    Kanalisering primærrveg         Telling av vegkryss og avledede      37    Kanalisering sekundærveg         Telling av vegkryss og avledede    37    Vegkryss                         Telling av vegkryss og avledede verdier (primærveg, sekundærveg) feiler
   47    Busslomme                         Spesialregel areal = Lengde x    47    Trafikklomme som ikke er busslomme   Spesialregel areal = Lengde x Bredde feiler
   62    Mur                             Store arealavvik fordi spesialregel areal = Lengde x Bredde feiler
   80    Grøft åpen (ulike typer)         Usikker, må ettergå
   83    Kum (ulike typer)                Usikker, må ettergå 
   96    Skiltplate (ulike typer)         Usikker, må ettergå 
  241    Dekke, Betong                    Regeldefinisjon utdatert ift datakatalogen
  301    Kantklippareal                     Store arealavvik fordi spesialregel areal = Lengde x Bredde feiler
  301    Kantklippareal, årig anbefalt    Store arealavvik fordi spesialregel areal = Lengde x Bredde feiler
  845    Fanggjerde                         Spesialregel areal = Lengde x Bredde feiler
  859    Taktile Indikatorer             Spesialregel areal = Lengde x Bredde feiler
  540    ÅDT per intervall                Telling av ÅDT og vinterdriftsklasse feiler
  810    Vinterdriftsklasse                Telling av ÅDT og vinterdriftsklasse feiler 

Detaljert oversikt over hvilke avvik vi fant når vi sammenlignet data fra detaljert objektoversikt (V4) med aggregert mengdeoversikt per veg (V3). SammenlignV2ogV3_2021_01_27.xlsx

Info fredag 22.1 Vi tør ikke love produksjonssetting i dag, men gjør så godt vi kan. Vi fant også en snublefeil i gårsdagens testing. Detaljert testrapport postes her så fort den er klar.

Info torsdag 21.1 Feilen er retta, vi håper å få produksjonssatt snarest – men noen feil vil fremdeles gjenstå: Etter produksjonssetting så vil arealberegning for disse objektene fremdeles feile:

Skjerm (3 Skjerm)
Busslomme (47 Trafikklomme)
Trafikklomme u/busslomme (47 Trafikklomme)
Mur (62 Mur)
Kantklippareal (301 Kantklippareal)
Kantklippareal, årlig anbefalt areal (301 Kantklippareal)

Her er testrapport utført 20.1

Noen pussigheter oppstår også fordi samme objekt kan «regnes med» i flere av kolonnene i V2-rapporten (f.eks både i E+R og G/S – kolonnen). Dette er ikke feil – tallet i hver av kolonnene er korrekt, men det blir for høyt hvis du summerer alle kolonnene. Ett eksempel er oppføringene for «Alle NVDB-data av typen «Bru» (dvs fra fagsystem Brutus)«.

Info onsdag 20.1 Feilen i antall objekt er fikset, men ikke satt i produksjon. Vi har fremdeles feil lengdeberegning for ÅDT og vinterdriftsklasser i V2/V3.

Info tirsdag 19.1: Utviklerne har skrevet kode med fiks, testing gjenstår. Pga leverandørbytte går det tregere med utrulling til testmiljøet vårt.

Info mandag 18.1: Utviklerne har en teori om hva bug’en består i og regner med de kan fikse ila av uka (men vi lover ingenting før det er klart). Vi er dessverre tregere enn vanlig pga leverandørbytte.