Webinar i Datafangst for entreprenører

27. mai holdt Statens vegvesen og datafangstverktøyet et webinar for entreprenører.

Datafangst er et webbasert verktøy som brukes i dataflyt til Nasjonal vegdatabank (NVDB) og Felles kartdatabase (FKB). Her mellomlagres data for kontroll og redigering før data sendes til NVDB.

Webinaret hadde fokus på praktisk bruk, tips og triks og svarte på ofte stilte spørsmål rettet mot entreprenører.

Hvordan vise skjermede data

Visning av skjerma data i Vegkart er det mange som etterlyser, men dette ligger nok et stykke frem i tid. Derfor må vi utforske andre løsninger.

Suverent enklest: Bruk QGIS

Innstaller QGIS, og følg oppskriften her for å installere pythonkode for å lese data fra NVDB via pythonkonsollet i QGIS. Deretter er det kun et par linjer for f.eks. å lese ut Vegros-data for Innlandet kommune

vegros=nvdbFagdata(895)
vegros.filter( { 'fylke' : 34, 'vegsystemreferanse' : 'Fv' } )
vegros.forbindelse.login( username='jajens', miljo='prodles', pw='***' )
nvdbsok2qgis( vegros) 
Skjermdump fra QGIS som viser hvordan du leser inn data fra NVDB api LES med et par kjappe kommandoer i python-konsollet
Skjermdump fra QGIS, 895 Vegros lest inn til QGIS.

Når data er inne i QGIS kan man lagre til populære og moderne kartformater, eller eksportere til for eksempel Excel.

Alternativ løsning: Python, FME eller din egen løsning

De samme python-funksjonene som QGIS bruker er selvsagt tilgjengelig for en python-installasjon som står alene. (Vår anbefaling: Installer python distribusjon fra anaconda ). Vår anbefalte arbeidsflyt er å lese data inn i Pandas Dataframe, og eventuelt gjøre om denne til en GeoDataFrame. Derfra har du mange eksportmuligheter. I tillegg er (geo)dataframes i seg selv veldig kraftige analyseverktøy.

Akkurat i dag (14.04.2021) har vi ingen ferdige FME-workspace der påloggingsritualene er implementert, men det vil være en smal sak å implementere.

De samme påloggingsritualene kan du som utvikler også implementere i ditt favoritt programmeringsspråk. Enten for å lage din egen eksportrutine, eller for integrasjon i ditt favorittsystem.

Betingelser – hvilke rettigheter må man ha?

Tilgang til skjerma data i NVDB reguleres to – 2 – steder. (Jada, det er ett for mye, og vi jobber med det):

  • Du må ha definert riktige roller og tilganger i NVDB databasen
  • NVDB api LES har et eget system for hvilke skjerma data som blir tilgjengelig når du logger inn.

Rettighetene disse to stedene (NVDB databasen og i NVDB api LES) må selvsagt stemme overens.

Utfasing av gamle NVDB-systemer

Som konsekvens av kommune- og regionreformen har det vært nødvendig å gjøre større grep i og rundt NVDB. Samtidig har vi også benyttet sjansen til å modernisere og fase ut løsninger som i nær framtid uansett måtte erstattes. Endringene omfatter vegreferansesystem, vegnettsmodell, programmeringsgrensesnitt (API) og verktøy/klienter rundt NVDB. Dette arbeidet har pågått over flere år. I “anleggsperioden” har vi kjørt parallelle løp der både eksisterende og nye løsninger har vært tilgjengelig. Nå nærmer det seg tidspunkt for å fase helt ut de løsningene som ikke skal videreføres.


Planen er som følger:

1. juni 2021: Nedstenging av «NVDB Klassisk» – verktøy for alle som ikke spesifikt ber om tilgang fram til 1.8. Alle «NVDB Klassisk» – brukere kontaktes direkte via epost.

NVDB klassisk omfatter verktøy som NVDB 123, Funkra, NVDB studio, Vegreg og noen flere.

1. august 2021: Full nedstenging av gamle systemer. Det gamle api’et fases fullstendig ut, og de gamle verktøyene kan ikke lengre brukes mot NVDB.

I dette notatet er det beskrevet mer i detalj hva som videreføres og hva som ikke lenger blir tilgjengelig for vegnett, programmeringsgrensesnitt og NVDB-verktøy / NVDB-klienter.

Ruteplandatasett fra geonorge

Det er visst litt i overkant kronglete å pakke ut ruteplan-datasettet lastet ned fra geonorge på esri fil-geodatabase (FGDB) formatHer er par tricks som gjør livet enklere.

ALLER FØRST: Vis filtype (fil-etternavn) når du jobber skal håndtere dette datasettet! Standard i windows er å skjule filtypene. Det er sikkert fint i andre sammenhenger, men her skaper det problemer.

  • Det du laster ned fra geonorge er en zip-fil med fil-etternavnet .zip, for eksempel Samferdsel_0000_Norge_25833_NVDBRuteplanNettverksdatasett_FGDB.zip
  • En Esri fil-geodatabase er ei mappe (katalog) som inneholder .gdb i navnet – altså et fil-etternavn (.gdb) på ei mappe, for eksempel Samferdsel_0000_Norge_25833_NVDBRuteplanNettverksdatasett_FGDB.gdb
  • Etter å ha «pakket ut» zip-fila så vil du ha en fil og en mappe med samme navn (f.eks Samferdsel_0000_Norge_25833_NVDBRuteplanNettverksdatasett_FGDB), kun fil-etternavnet skiller dem (.zip eller .gdb)
  • Hvis du ikke har aktivert visning av filtyper (fil-etternavn) så har du ingen som helst mulighet til å skille zip-fil fra FGDB-mappen.

I filutforskeren viser du filtype ved å velge «Visning» og huke av for «Filtyper»

Skjermdump som viser hvordan du kan vise filtyper i filutforsker.
I filutforskeren kan du vise filtyper (fil-etternavn) ved å velge fanen «Visning» og huke av for «Filtyper».

Derifra og ut er det vanlig utpakking av zip-fil, men med større kontroll.

I siste datasett (Samferdsel_0000_Norge_25833_NVDBRuteplanNettverksdatasett_FGDB) ser vi at mappen mangler fil-etternavnet .gdb. Dette er enkelt å fikse: Bare døp om mappen og føy til .gdb på slutten av filnavnet. Vi skal prøve å sikre at det blir riktig fil-etternavn på neste nettverksdatasett.

Hvor finner jeg vegnettsrapport?

Såkalte «Vegnettsrapporter» er blant de tingene våre flinkeste og ivrigste brukere er vant med å kunne ta ut via NVDB Studio eller NVDB 123, som jo termineres 1. august 2021.

Vi har laget en ny vegnettsrapport i systemet «NVDB rapporter«, i den modulen som er skreddersydd for drift og vedlikehold av vegene (såkalte «driftskontrakter»). Den er ikke identisk med de gamle vegnettsrapportene, men den er såpass lik at de fleste kjenner seg igjen.

Bruksanvisning – last ned vegnettsrapport.

Gå til https://nvdb-vegnett-og-objektdata.atlas.vegvesen.no/generisk/

Velg Vegnettsrapport (V1)

Velg geografisk område: fylke eller kommune – minst én, men gjerne flere. Eventuelt kontraktsområde, hvis det er riktig for deg

Du kan også filtrere på vegkategori (eksempel: E) og vegnummer (eksempel: Ev39) i boksen vegfilter.

Skjermdump av meny for uthenting av vegnettsrapport.
Søkeinnstillinger for vegnettsrapport

Når du har valgt rapporttype og geografisk område skifter «Hent data» – knappen farge fra grå til blå og lar seg trykke på.

Skjermbilde av knapp for å starte produksjon av vegnettsrapport.

Når du trykker på «Hent data» får du ei stoppeklokke som viser at systemet setter sammen en rapport til deg. Når rapporten er ferdig byttes stoppeklokka ut med teksten «Rapporten er klar til nedlasting» og en knapp for å laste ned rapporten.

Skjermdump som viser hvordan det vises når rapporten er ferdig. Vi viser teksten "Rapporten er klar til nedlasting" og en knapp for nedlasting og en knapp for nytt søk.
Slik ser det ut når vegnettsrapporten er klar!

Feil og mangler i navigasjonssystemer

Hvorfor er fartsgrensen feil i bilen min, eller hvorfor finner jeg ikke adressen jeg skal til?

De som lager navigasjonssystemer i biler eller ruteplantjenester på nett henter som regel data om vegnett i Norge fra Nasjonal vegdatabank (NVDB). Dette er data som fartsgrenser, vegsperringer, regulering av hvem som kan kjøre hvor osv. Les mer om dette her.

Adressedata hentes fra Matrikkelen. Matrikkelen er Norges offisielle eiendomsregister, og inneholder også opplysninger om adresser. Vegnettet fra NVDB koblet sammen med adressene fra Matrikkelen gjør at en ruteplanlegger kan vise veg til bestemmelsesstedet ditt.

De enkelte leverandørene setter selv sammen norske data med data fra andre kilder, eller de kjøper ferdige datasett fra andre aktører. Så hva gjør du når du opplever at navigasjonssystemet ikke har korrekte data? Det kan være mange årsaker til dette:

  • Datagrunnlaget i navigasjonssystemet i bilen er ikke oppdatert på en stund. For mange biler er dette noe du kan gjøre selv. Sjekk i instruksjonsboka i bilen, eller kontakt forhandler for å få vite hvordan du skal gå fram.
  • Det er feil eller mangler i originaldataene (NVDB for veger, Matrikkel for adresser).

Før du melder feil er det nyttig å sjekke originaldataene, slik at du vet om problemet ligger der eller i navigasjonssystemet. Her er noen eksempler på ting du kan sjekke selv:

  • Søk opp adressen på http://norgeskart.no. Finnes adressen der?
  • Sjekk fartsgrensen i Vegkart. Zoom inn til området og vegen du er interessert i. Stemmer fartsgrensen i kartet med det som står langs vegen?
  • Sjekk om vegsperring er riktig. Zoom inn til området interessert i. Finnes det feilplassert eller manglende vegsperring som kan føre til feilnavigasjon?
  • Bruk Vegkart til å se om vegene i området ditt ser ut til å stemme med virkeligheten. Kanskje har det vært en ombygging eller et nytt boligfelt som ikke har kommet inn i NVDB?
  • Sjekk om vegvesenets ruteplanlegger i http://vegvesen.no/trafikk  gir riktig ruteforslag. Denne ruteplanleggeren oppdateres ved hvert månedsskifte, men noen ganger unntatt 1. januar og 1. august.

Norgeskart og  Vegkart er verktøy der du kan se og søke etter kartdata direkte fra Kartverkets og Vegvesenets databaser. Norgeskart bør være selvforklarende, mens Vegkart har en del spesialfunksjoner. Du finner tips og mer informasjon om Vegkart her.

Mistenker du feil eller mangler i originaldataene for europa- riks- og fylkesveger, så melder du inn feil gjennom Statens vegvesen sin feilmeldingstjeneste for vegdata, Fiksvegdata.no.

Mistenker du feil eller mangler på originaldataene for kommunale og private veger, eller for adresser, så melder du inn feil gjennom kartverkets tjeneste Rettikartet.no. Gå inn på valget for Veger og adresser.

Er du usikker på hvor du bør melde feil, så velger du bare en av disse. Mottageren vil sende feilmeldingen din videre til riktig etat.

Kontrakter manglar i lista etter bytte til ny Datafangst-adresse

Vi har registrert at mange opplever at kontraker manglar etter å ha bytta til ny adresse for Datfangst.

Det er ingen endring i Datafangst i samband med adresse-ending, og alle tilganger er som før.

Den vanlegaste årsaka til manglande kontrakter er at brukaren har fleire brukarnamn. Det kan vere fleire ulike e-post-adresser (privat og jobb) eller e-postbrukar og SVV-identitet. Undersøk difor at det er samsvar mellom brukar-ID som kontraktansvarleg eller forvaltar har lagt til i kontrakta og den brukar-iden det vert logga inn med.

Hvordan beregne veglengder i en kommune?

Tidligere har vi publisert oppskrifter på hvordan du kan bruke vegkart til å finne lengder av veg til KOSTRA-rapportering. Disse oppskriftene er fremdeles gyldige, men nå er det kommet flere muligheter.

Bruk «NVDB rapporterut vegnettsrapport for valgfritt område.

Fra systemet «NVDB rapporter» for driftskontrakter , under fanen for «Egendefinerte rapporter kan du ta ut «vegnettsrapport» for en kommune. Denne løsningen finner du her: https://nvdb-vegnett-og-objektdata.atlas.vegvesen.no/generisk/

Skjermdump fra https://nvdb-vegnett-og-objektdata.atlas.vegvesen.no/generisk/ . Velg "Vegnettsrapport (V1)" og angi kommune og eventuell dato før knappen "Hent data" blir aktiv.
Skjermdump fra https://nvdb-vegnett-og-objektdata.atlas.vegvesen.no/generisk/ . Velg «Vegnettsrapport (V1)» og angi kommune og eventuell dato før knappen «Hent data» blir aktiv.

Velg «Vegnettsrapport (V1)» og angi kommune og eventuell dato før knappen «Hent data» blir aktiv.Valgene for Kontraktsområde og Fylke lar du stå tomme.

Skjermdump fra https://nvdb-vegnett-og-objektdata.atlas.vegvesen.no/generisk/ . Vi har valgt "Vegnettsrapport (V1)" og latt alternativene for Kontraktsområde og Fylke være tomme, men har valgt Holmestrand kommune og datoen 2020-12-31. Knappen "Hent data" er nå aktiv, og kan brukes til å laste ned vegnettsrapporten.
Ferdig utfylt skjema for Holmestrand kommune per nyttår 2020, du er nå klar til å laste ned vegnettrapporten.

Last ned ved å klikke den blå knappen «Hent data». Hvis knappen er grå (dvs inaktiv) betyr det at du må se over valgene en gang til. Knappen byttes ut med beskjeden «kjører» og hvor lang tid det har gått til nå. Etter et par minutters venting er rapporten klar, og telleverket byttes ut med dialog for nedlasting:

Skjermdump, slik det ser ut når rapporten er klar til nedlasting. Telleverk byttes ut med overskriften "Rapporten er klart til nedlasting" og en blå knapp for å laste ned. En rød knapp tilbyr alternativet "nytt søk".
Slik ser det ut når rapporten er ferdig beregnet og klar til nedlasting.

Last ned rapporten ved å klikke på den blå knappen.

Filtrering av vegnettsrapport

Vegnettsrapporten (excel) må filtreres før den gir riktige verdier. Den har fanene «Samlet, alt vegnett» som inneholder alle vegkategorier, for både gående og syklende. I tillegg har vi egne faner for kjørende og gående for hhv «riksveg» (vegkategori E og R), fylkesveg og «andre» (vegkategoriene K, P og S). Stort sett må du alltid filtrere regnearket for å få fornuftige tall.

Her er oppskriften på «Kostra»-rapportering med utgangspunkt i fanen «Samlet, alt vegnett»

  • Kolonne E «Trafikkantgruppe»: Velg «G» (gående og syklende) eller «K), alt etter hva som passer best.
  • Filtrer vekk sideanlegg – kolonne N: KS/SA
    • Fjern verdien SA (sideanlegg), behold Blanks (vanlig veg) og KS (kryssdel).
  • Filtrer kolonnen Y «typeVeg»
    • Du skal ha med Blanks, rampe, rundkjøring, gatetun
    • TypeVeg kan ha flere verdier samtidig, for eksempel konnektering, rampe. Ta vekk de verdiene der noen av de ikke-gyldige begrepene inngår. For eksempel skal du velge vekk alternativet «rampe, Konnektering»
  • Filtrer W «adskilte løp»
    • Verdien «Mot» skal velges bort. Du skal ha med verdiene ‘Ukjent», «Nei» og «Med».
  • B «Vegkategori «Til sist filtrerer du på den vegkategorien du ønsker,

Etter filtrering summeres lengden med kolonne V «Lengde veg (m)»

Skjermdump, eksempel på filterfunksjon i Excel. TypeVeg filtreres slik at vi kun teller de riktige vegtypene.
Eksempel på hvordan «typeVeg» – filteret (kolonne Y) kan se ut. Her har vi filtrert vekk Konnektering, kombinasjonen rampe, Konnektering og Serviceveg.
Filtreringsvalg for kolonne "
Velg vekk SA fra kolonne N: KS/SA, dvs du skal ikke ha med sideanlegg. Kun kryssdel (KS) og vanlig veg (Blanks).

Vegnummer på private vegar

Etter ny modell for vegreferansesystem er det ikkje krav til at private vegar skal ha vegnummer. NVDB støttar seg no på den nye modellen og vi får difor ikkje ut venrummer eller vegsystemreferanse på private vegar utan nummer i API og i Vegkart. Vegsystemreferansen til private vegar uten nummer er vist som PV.

For meir informasjon om vegreferansesystemet sjå «Håndbok V830 – Nasjonalt vegreferansesystem» kapittel 6.4.

Åh nei – excel tror tall betyr dato

Excel har en logikk som gjetter hva tall og tekst betyr når du importerer dato. Dessverre er funksjonen som gjetter på hva som er dato litt i overkant ivrig.

At excel tipper noe er en dato har skapt flere frustrerende problemer og blant annet medført at adskillige årsverk med forskning har gått i vasken. Genforskere bytter nå navn på gensekvenser for å omgå problemet, og adskillige forskningsartikler har måttet trekkes tilbake fordi dataene ble korrupte etter at excel hadde mistolket dem.

Dessverre er også csv-eksporten fra Vegkart til tider rammet – ikke ofte, men noen ganger. For eksempel sliter vi med at excel leser tallene våre for lengde og tolker dem som dato. F.eks dataverdier som SEPT-1, eller visse tallkombinasjoner.

Workaround – importer data manuelt til excel-arbeidsbok

Du skal IKKE åpne filen med excel, men importere den til en ny fane i excel:

  1. Laste ned CSV-filen uten å åpne den.
  2. Åpne Excel på normalt vis med en tom arbeidsbok.
  3. Gå til Data-fanen, klikk på «Fra tekst/csv». Hvis denne knappen er «grået ut» så åpner du en ny fane i excel med pluss-knappen nederst.
  4. Finn CSV-filen du lastet ned og importer denne.
  5. Se over at alt ser riktig ut i preview-vinduet.
  6. Trykk «Last inn».
  7. Du vil få CSV-data inn i et nytt ark. Du kan slette det tomme arket du startet med. .

Dataverdiene skal nå være riktige. I tillegg får en pen formattering

Med bilder:

Steg 1: Last ned data (vegkart-brukerveiledning)

Steg 2: En tom arbeidsbok i Excel

Skjermdump, en tom fane (tomt regneark) i Excel

Steg 3: Gå til «Data» – fanen, klikk «Fra tekst/CSV» Hvis denne knappen er «grået ut» (inaktiv) så åpner du en ny fane i excel med pluss-symbolet nederst.

Skjermdump, importer data til excel via fanen "Data" og valget "From text / CSV"
Fanen data, knappen «From Text/CSV». Hvis denne knappen er inaktiv (grået u) så åpner du bare en ny fane med pluss-knappen nederst, så pleier det virke.

Steg 4: I vinduet «import data» velger du CSV-filen du nettopp lastet ned.

Skjermdump, menyen "Import data" hvor du velger den CSV-filen du lastet ned fra vegkart.

Steg 5 og 6: Se over «data preview»- vinduet, sjekk at alt ser greit ut. Vanligvis går det helt fint med standardvalgene. Klikk «Load» for å laste inn

Skjermdump, data preview vindu i excel.

Steg 7: Suksess!

Skjermdump som viser hvordan data er pent formattert av excel etter dataimport.