NVDB rapporter: Feil mengdeberegning V2/V3

Denne feilen er løst, men noen problemer gjenstår

Vi har avdekket en alvorlig feil i mengdeberegning til driftskontrakt-rapporter. Det er de såkalte «Aggregerte mengdeoversikter», sum per vegkategori eller sum per veg. (Populært kalt V2 og V3 – rapportene). Feilen består i at vi summerer samme objekt flere ganger, slik at totalsummen blir for høy.

Vi kommer tilbake med mer informasjon i denne kanalen snarest mulig.

Info tirsdag 2 mars: Riktig beregning ÅDT og vinterdriftsklasse

Utviklerne våre går nå god for at oppgitt lengde for vinterdriftsklasse og ÅDT stemmer i den versjonen produksjonsatt 2.3.2021, men at testberegningen vår er for upresis og feiler for noen av oppføringene. Mer detaljer

Siste gjenstående feil skal da være spesialberegning «Kantklippareal, årlig anbefalt areal».

Info onsdag 10 februar: Ny versjon er satt i produksjon, Hva fungerer og hva feiler?

Ny og forbedret versjon EDIT er satt i produksjon, her er oversikt over kjente feil og hva som nå fungerer per 10. februar 2021 testsammendrag 10.feb 2021 basert på data for 6 kontraktsområder.

  • Beregning av antall, lengde og areal for fysiske objekter (vegutstyr, vegetasjon m.m.) fungerer, med unntak spesialberegning «Kantklippareal, årlig anbefalt areal»
    • Vi sjekker denne nærmere.
  • Beregning av lengde for vinterdriftsklasse og ÅDT fungerer fremdeles ikke
  • Datakatalogjustering for 838 vegbredde og 241 vegbredde fungerer (Dekke Grus, Stein og Betong), og opptellingen av disse ser riktig ut (antall og lengde).

Info mandag 1.februar: Hva fungerer og hva feiler?

Vi har laget denne oversikten over kjente feil og hva som nå fungerer (per 1.2.2021) oppsummering_test9305_2020-01-29. Kortversjon:

  • 10 oppføringer har arealberegning som feiler (spesialregel areal = Lengde x bredde)
  • Lengdeberegning for vinterdiftsklasse og ÅDT feiler
  • Datakatalogjustering: : 838 Vegbredde og 3 oppføringer for 241 Vegdekke (Betong, Grus, Stein).

De 10 radene (for 8 objekttyper) der arealberegning feiler:

3 Skjerm
   7 Gjerde 
  47 Busslomme
  47 Trafikklomme u/busslommme
  62 Mur
  48 Fortau 
 301 Kantklippareal
 301 Kantklippareal, årlig anbefalt areal
 845 Fanggjerde
 859 Taktile indikatorer 

Vi jobber videre med å få rettet disse feilene. På grunn av leverandørbytte tar dette mere tid enn det burde, men det kommer!

Info fredag 29.1 Fiks produksjonssatt. Mange alvorlige avvik er lukket, men en del gjenstår, se under.

Dette gir et rotete og krevende bilde som er vanskelig å forholde seg til, hvor rapportgeneratoren gir en blanding av gode og dårlige data. Vi jobber videre med disse sporene:

  • Rette opp utestående feil
  • En mer lettlest oversikt over hva som er riktig og feil i de ferdige rapportene
  • Informasjon om hvordan vi tester for riktig og feil i de ferdige rapportene

Info onsdag 27.1 Ny versjon er rullet ut i TESTPROD, forventet produksjonssetting er i morra torsdag eller senest fredag. Så krysser vi fingrene for at det ikke er noen ekstra snubletråder for å rulle ut fra TEST (atm) => produksjon.

Vi har også nyskrevne testrutiner som gir oss god oversikt over summeringer som er OK og hvem som feiler. Oppsummert så vil disse oppføringene fremdeles feile i den nye versjonen:

EDIT: Noen objekttyper føyd til et par timer etter opprinnelig publisering.

objtype Beskrivelse                     Problem
    3    Skjerm                             Store arealavvik fordi spesialregel areal = Lengde x Bredde feiler
    7    Gjerde                            Undersøker, finner arealavvik 4% eller lavere
   37    Kanalisering primærrveg         Telling av vegkryss og avledede      37    Kanalisering sekundærveg         Telling av vegkryss og avledede    37    Vegkryss                         Telling av vegkryss og avledede verdier (primærveg, sekundærveg) feiler
   47    Busslomme                         Spesialregel areal = Lengde x    47    Trafikklomme som ikke er busslomme   Spesialregel areal = Lengde x Bredde feiler
   62    Mur                             Store arealavvik fordi spesialregel areal = Lengde x Bredde feiler
   80    Grøft åpen (ulike typer)         Usikker, må ettergå
   83    Kum (ulike typer)                Usikker, må ettergå 
   96    Skiltplate (ulike typer)         Usikker, må ettergå 
  241    Dekke, Betong                    Regeldefinisjon utdatert ift datakatalogen
  301    Kantklippareal                     Store arealavvik fordi spesialregel areal = Lengde x Bredde feiler
  301    Kantklippareal, årig anbefalt    Store arealavvik fordi spesialregel areal = Lengde x Bredde feiler
  845    Fanggjerde                         Spesialregel areal = Lengde x Bredde feiler
  859    Taktile Indikatorer             Spesialregel areal = Lengde x Bredde feiler
  540    ÅDT per intervall                Telling av ÅDT og vinterdriftsklasse feiler
  810    Vinterdriftsklasse                Telling av ÅDT og vinterdriftsklasse feiler 

Detaljert oversikt over hvilke avvik vi fant når vi sammenlignet data fra detaljert objektoversikt (V4) med aggregert mengdeoversikt per veg (V3). SammenlignV2ogV3_2021_01_27.xlsx

Info fredag 22.1 Vi tør ikke love produksjonssetting i dag, men gjør så godt vi kan. Vi fant også en snublefeil i gårsdagens testing. Detaljert testrapport postes her så fort den er klar.

Info torsdag 21.1 Feilen er retta, vi håper å få produksjonssatt snarest – men noen feil vil fremdeles gjenstå: Etter produksjonssetting så vil arealberegning for disse objektene fremdeles feile:

Skjerm (3 Skjerm)
Busslomme (47 Trafikklomme)
Trafikklomme u/busslomme (47 Trafikklomme)
Mur (62 Mur)
Kantklippareal (301 Kantklippareal)
Kantklippareal, årlig anbefalt areal (301 Kantklippareal)

Her er testrapport utført 20.1

Noen pussigheter oppstår også fordi samme objekt kan «regnes med» i flere av kolonnene i V2-rapporten (f.eks både i E+R og G/S – kolonnen). Dette er ikke feil – tallet i hver av kolonnene er korrekt, men det blir for høyt hvis du summerer alle kolonnene. Ett eksempel er oppføringene for «Alle NVDB-data av typen «Bru» (dvs fra fagsystem Brutus)«.

Info onsdag 20.1 Feilen i antall objekt er fikset, men ikke satt i produksjon. Vi har fremdeles feil lengdeberegning for ÅDT og vinterdriftsklasser i V2/V3.

Info tirsdag 19.1: Utviklerne har skrevet kode med fiks, testing gjenstår. Pga leverandørbytte går det tregere med utrulling til testmiljøet vårt.

Info mandag 18.1: Utviklerne har en teori om hva bug’en består i og regner med de kan fikse ila av uka (men vi lover ingenting før det er klart). Vi er dessverre tregere enn vanlig pga leverandørbytte.

Kontrollere at vegobjekter er stedfestet til riktig veg

Vi har lagt ut en oversikt som viser vegobjekt i NVDB der det er uoverensstemmelse mellom eier/vedlikeholdsansvarlig og eier av vegen de er stedfestet til, samt vegobjekter som er stedfestet til flere veger av ulik vegkategori.

Det er ønskelig at alle vegeiere går gjennom dette for å sikre at det er riktig, og retter der det eventuelt er feil.

Mer informasjon og filer for hvert enkelt fylke er tilgjengelig på siden «hvem er eier og vedlikeholdsansvarlig»

Begrensning i tilgang til trafikkulykkesdata

Informasjon om skadeomfang i trafikkulykker samt noen egenskaper knyttet til ulykkesinvolvert person og ulykkesinvolvert enhet er satt sensitiv i NVDB, og er dermed kun tilgjengelig for brukere med sensitivrolle 1. Dette er gjort fordi publisering av denne informasjonen ikke er i tråd med GDPR og behandling av personopplysninger. Statens vegvesen har derfor ikke anledning til å publisere disse opplysningene. Statens vegvesen har lansert en ny publikumsportal TRINE som kan brukes for å hente aggregerte ulykkesdata.

Det finnes generell informasjon om ulykkesdata og ulykkesstatistikk på Statens vegvesen sine nettsider. Vi ber om at det tas kontakt med Trafikksikkerhetsavdelingen i Statens vegvesen om det er spørsmål utover dette.

Oversikt over de konkrete egenskapstypene som har sensitivkode finnes her

Vegnummer på private vegar

Etter ny modell for vegreferansesystem er det ikkje krav til at private vegar skal ha vegnummer. NVDB støttar seg no på den nye modellen og vi får difor ikkje ut venrummer eller vegsystemreferanse på private vegar utan nummer i API og i Vegkart. Vegsystemreferansen til private vegar uten nummer er vist som PV.

For meir informasjon om vegreferansesystemet sjå «Håndbok V830 – Nasjonalt vegreferansesystem» kapittel 6.4.

Åh nei – excel tror tall betyr dato

Excel har en logikk som gjetter hva tall og tekst betyr når du importerer dato. Dessverre er funksjonen som gjetter på hva som er dato litt i overkant ivrig.

At excel tipper noe er en dato har skapt flere frustrerende problemer og blant annet medført at adskillige årsverk med forskning har gått i vasken. Genforskere bytter nå navn på gensekvenser for å omgå problemet, og adskillige forskningsartikler har måttet trekkes tilbake fordi dataene ble korrupte etter at excel hadde mistolket dem.

Dessverre er også csv-eksporten fra Vegkart til tider rammet – ikke ofte, men noen ganger. For eksempel sliter vi med at excel leser tallene våre for lengde og tolker dem som dato. F.eks dataverdier som SEPT-1, eller visse tallkombinasjoner.

Workaround – importer data manuelt til excel-arbeidsbok

Du skal IKKE åpne filen med excel, men importere den til en ny fane i excel:

  1. Laste ned CSV-filen uten å åpne den.
  2. Åpne Excel på normalt vis med en tom arbeidsbok.
  3. Gå til Data-fanen, klikk på «Fra tekst/csv». Hvis denne knappen er «grået ut» så åpner du en ny fane i excel med pluss-knappen nederst.
  4. Finn CSV-filen du lastet ned og importer denne.
  5. Se over at alt ser riktig ut i preview-vinduet.
  6. Trykk «Last inn».
  7. Du vil få CSV-data inn i et nytt ark. Du kan slette det tomme arket du startet med. .

Dataverdiene skal nå være riktige. I tillegg får en pen formattering

Med bilder:

Steg 1: Last ned data (vegkart-brukerveiledning)

Steg 2: En tom arbeidsbok i Excel

Skjermdump, en tom fane (tomt regneark) i Excel

Steg 3: Gå til «Data» – fanen, klikk «Fra tekst/CSV» Hvis denne knappen er «grået ut» (inaktiv) så åpner du en ny fane i excel med pluss-symbolet nederst.

Skjermdump, importer data til excel via fanen "Data" og valget "From text / CSV"
Fanen data, knappen «From Text/CSV». Hvis denne knappen er inaktiv (grået u) så åpner du bare en ny fane med pluss-knappen nederst, så pleier det virke.

Steg 4: I vinduet «import data» velger du CSV-filen du nettopp lastet ned.

Skjermdump, menyen "Import data" hvor du velger den CSV-filen du lastet ned fra vegkart.

Steg 5 og 6: Se over «data preview»- vinduet, sjekk at alt ser greit ut. Vanligvis går det helt fint med standardvalgene. Klikk «Load» for å laste inn

Skjermdump, data preview vindu i excel.

Steg 7: Suksess!

Skjermdump som viser hvordan data er pent formattert av excel etter dataimport.

Feil – noen søk mangler egengeometri

FIKSA! Denne feilen er nå retta august 2020.

Vi har hadde en feil i NVDB api som gir kjipe konsekvenser for Vegkart, Sinus Infra og Datafangst – og ikke minst registrering av nye data til NVDB. Denne feilen må vi dessverre leve med gjennom sommeren.

Visse typer søk viser data plassert på senterlinja selv om de egentlig har en fysisk plassering i terreng.

Nei, egengeometrien er ikke borte – det er kun feil i kartvisningen

Data med egengeometri er ikke endret i NVDB – det er kun kartvisningen.

Mer presist så serverer vi data med en ekstra geometri-egenskap når du (og vegkart, Sinus og datafangst) henter data fra NVDB api. Normalt så sjekker vi først om det finnes gyldig egengeometri for et objekt; i så fall er det disse dataverdiene som legges på geometri-feltet. Men hvis det ikke finnes egengeometri for et objekt så henter vi koordinater for vegnettet i stedet. Det er her vi gjør feil; logikken skal selvsagt ikke påvirkes av hvilke søkefiltre som brukes – men den gjør det!

Sjekker du detaljene vil du se at egenskapen Geometri, flate, Geometri, linje og Geometri, punkt er slik de skal være.

Konsekvenser

Konsekvensene er størst for dem som driver med registrering og ajourhold av data til NVDB, i for eksempel Sinus.infra eller datafangst, eventuelt med kontroll i Vegkart. Når du registrerer vegutstyr med egengeometri, tydelig plassert til side for vegen, så er det ekstremt forvirrende at objektet ikke dukker opp der du la det.

Det er veldig fort gjort å konkludere at her gikk noe galt, og registrere samme objekt en gang til. Eller kanskje du tror det er noe galt med geometrien, og prøver rette det opp.

Hvilke typer søk har dette problemet?

Alle søk som involverer bruk av vegnettet for å finne ting ser ut til å være påvirket. Det gjelder disse filtrene, muligens flere:

  • Vegsystemreferanse (f.eks E6, slik som vist over)
  • Kommune
  • Fylke

Trolig gjelder dette også en del søk som er mulig i NVDB api, men ikke i vegkart. Slik som overlappfilter.

Hvilke søk fungerer slik de skal?

Disse søkene fungerer slik det skal, og viser objektene med egengeometri

  • Søk med kartutsnitt

VegRefHistorikk – PCprogram for å finne gamle vegnummer

NB! Per august 2021 fungerer ikke dette programmet, vi oppdaterer så snart vi har fått mer informasjon (workaround eller fiks)

Stian Søberg Johansen, Innlandet fylkeskommune (og tidligere vegvesen-kollega) har laget et PC-program som hjelper deg å finne fram i gamle og nye vegreferanser. En vegreferanse har som kjent den leie egenskapen at de går ut på dato, fordi vegnettet endrer seg. Eller så har vi administrative påfunn, som å bytte vegnummer eller hvem som har ansvaret for vegen.

Vegrefhistorikk er et fint tilskudd til verktøykassa for å oversette mellom gamle vegreferanser og nye, og mellom de to referansesystemene.

Hovedfunksjoner

  • Klikk i kart / hent fra koordinat
  • Fritekstsøk
  • Import av regneark med gamle vegreferanser og oversette dem til nye (importtrans).

Her har du lenke til brukerveiledning og her kan du laste ned applikasjonen

VegRefHistorikk-startvinduet.png
VegRefHistorikk-startvinduet-bareKart.png

Workarounds: Eksport av data fra vegkart

NVDB api versjon 3 er under rivende utvikling: Vi jobber kontinuerlig med ytelse og feilretting. Dessverre må vi tære enda en stund på tålmodigheten til våre brukere før vi har den stabiliteten og kvaliteten i alle ledd som vi ønsker. Men vi nærmer oss!

Ett av problemene har vært eksport av data fra Vegkart, som CSV eller SOSI prikk (kun vegkart V3). Dette har vi jobbet mye med, og vi er nesten i mål. Oppskrifter finner du i vegkart brukerveiledning eller under «ofte stilte spørsmål«.

For å bruke CSV- eller SOSI eksport må du først utvide infoboksen med søkeresultatet ditt (høyrepil ved der det står antall objekter).

Dessverre vil noen av søkene dine gi feilmeldingen «Det har skjedd en ulykke» når du prøver å utvide resultatboksen (FIKSA 5.6.2020).

Feilen med crash og feilmelding «Det har skjedd en feil» når du prøver å utvide infoboksen om søket ditt skal nå være retta. Men hvis du fremdeles opplever problemer kan du prøve Versjon 2 av Vegkart (eller vegkart-2019, som den også kalles). CSV-eksporten derfra fungerer (krysser fingre). https://www.vegdata.no/ofte-stilte-sporsmal/hvordan-far-jeg-nvdb-data-inn-i-kartsystemet-mitt/

CSV eksport har rader du må ignorere

CSV-eksporten fra vegkart V3 vil ofte, men ikke alltid ha med noen rader som mangler verdi for fylke, kommune, geometri og vegsystemreferanser. Disse må du ignorere / filtrere ut.

For eksempel CSV-dump for søk etter skiltplate i Bjerkreim inneholder 2036 rader. 40 av disse radene mangler fylke, kommune, geometri og vegsystemreferanser. Ignorer disse, og du står igjen med 1996 gyldige rader.

Mer detaljer: https://www.vegdata.no/2020/04/22/csv-dump-fra-vegkart/

Trenger du hjelp?

Fremhevet

Les først dokumentasjon du finner under menypunktene eller ved å søke her på vegdata.no og vegvesen.no.

Finner du ikke svar, ta kontakt med NVDB igjennom kontaktskjemaet.

Melde feil i NVDB?

Informasjon i Nasjonal vegdatabank (NVDB) er registrert på en systematisk måte, og holder jevnt over høy kvalitet. Men trenger du like vel å melde feil i NVDB? Her finner du en oversikt over hvordan du melder fra.