Feilretting Datafangst kurve-alias

Vi rettet nettopp to feil knyttet til vegobjekt-alias i Datafangst. Feilen rammet noen av brukerne våre hardt, mens andre ikke opplevde problemer. Vi beklager ulempene!

Et alias er et midlertidig navn vi bruker for å skille objekter fra hverandre i tabell, for eksempel «Kurve 1» eller «skiltpunkt:85397901». I størst mulig grad prøver vi å gjenbruke SOSI-numerereringen, slik at når det står «Kurve 1» i SOSI så bruker vi også «Kurve 1» i Datafangst. For Geojson prøver vi også så langt det går prøver å tolke tagger for å finne passende kurvenummer. Hvis vi ikke klarer finne noe passende informasjon så genererer vi et tall.

Feil nummer 1 var at innlesning til Datafangst feilet hvis det sto andre ting, for eksempel datoer, i den taggen der vi forventet å finne et heltall. Da fikk du feilmeldingen «kan ikke lese vegobjekter for visning» når du trykker på en vegobjekt-type.

Feil nummer to var knyttet til kopiering, der et objekt med en alias («Kurve 1») blir til to objekter med samme alias. Når du prøver å endre disse to så ga det kun effekt på den ene av dem, noe som var både forvirrende og frustrerende.

Begge disse feilene ble retta og rullet ut i produksjon i løpet av torsdag og fredag, ref driftsmeldingene på twitterkontoen vår NVDB åpne vegdata (@NVDBapi) / Twitter

Les-API i ATM/test-miljø blir utilgjengeleg.

Vi er nødt til å ta ned API-Les i ATM/test-miljø for å teste ei endring vi planlegg i PROD til helga. ATM Les vil då vere nede frå eit tidspunkt no i ettermiddag (3/3 2022) til i morgon formiddag ein gong.

Målet med endringa er å kraftig redusere tidsbruken i IND som vil gjere at ventetida frå registrering i Skriv til data er tilgjengelg i Les vert betydeleg kortare enn i dag. Potensiell gevinst her er så stor og etterspurd at vi prioriterer å teste dette i ATM no så vi kan innføre det i PROD alt denne helga.

Bugfix release datafangst

Vi fjernet to bugs, en i sammenkoblingsfanen og søk i datafanen skal nå fungere

I tillegg har vi tatt vekk Rød prikk som symboliserer hvilke kontrakter det er endringer på. Vi jobber med å få tilbake denne funksjonen. Dette var en altfor treg databasespørring. Når vi har mange brukere samtidig så får vi da altfor mange trege spørringer som kverner og kverner og spiser opp systemressurser – og på et punkt går alt i stå, vi kan ikke ha ubegrenset med trege spørringer samtidig.

Vi har funnet flere tricks som fjerner denne tregheten. For det første har vi fått spørringene til å gå radikalt raskere. Videre er det noen tricks knyttet til at vi ikke spør om alt på en gang, kun de kontraktene du har synlige i skjermbilde, og litt tilsvarende tricks. Dette blir produksjonssatt så snart det er klart.

Demo datafangst 2. februar 2022

Vi pleier ikke poste oppsummering fra demo, men på grunn av situasjonen med dårlig stabilitet i Datafangst så kom det fram ting på demo vi mener bør nå fram til flere.

NVDB Rapporter:

Kan bestille zip-fil med V1,V2,V3,V4 og tilstand/skade. Sum veglengder: Ny rad med summen av kjøreveg og gang/sykkelsti.

Datafangst – ytelse og stabilitet

Ytelse og stabilitet henger sammen – hvis en type spørring går tregt så vil det bli en lang «kø» med disse trege spørringene, og i verste fall blir det så mange samtidige trege spørringer samtidig at alt sammen stopper opp.

Vi har tatt vekk «røde prikken» som viser hvilke kontrakter som er endret. Dette var en av de trege spørringene som ga oss utfordringer. Vi skal gjøre denne databasespørringen raskere og når den blir rask nok så kommer prikken tilbake.

Brukerønske ang den røde prikken: Vi har behov for denne typen «Vis at her er det skjedd endringer» på alle GUI-elementer, fra den overordnede listen med kontrakter helt ned til visning av enkeltobjekter.

Ekstremt tydelig og klar tilbakemelding på at vi må bli flinkere til å publisere driftsmeldinger fortløpende på twitter, og dernest bli flinkere til å skrive oppsummeringer om arbeidet med problemløsning (og øvrige planer) på vegdata.no.

Ny funksjonalitet i datafangst: «Opprett nytt strekningsobjekt»

Vist på forrige demo, men måtte gå en runde til fordi brukertesten avdekket mangler. I denne testprosessen fått gode innspill og idéer fra testerne våre, og ut fra det har vi laget flere løsningsforslag som vi mener tilsammen skal gi knallbra funksjonalitet. Men disse må prioriteres bak arbeidet med ytelse og stabilitet. Vi vil prøve å snurpe sammen en minimumsløsning som ikke vil være så brukervennlig som vi ønsker, men som fungerer godt nok til at den kan tas i bruk. Så får den knallgode implementasjonen komme senere, når vi har mer overskudd.

Balansering – arbeidet med ny versus gammel datafangst-løsning

Vi kommer ikke til å offisielt «fryse» videreutvikling av gammel datafangst-løsning selv om vi lager en ny. Verden endrer seg, og det kan dukke opp behov som er for viktige til at de kan vente på den nye løsningen. Vi nekter derfor å sette opp harde regler for hva vi gjør og ikke gjør av forbedringer i gammel løsning.

Aller høyest prioriterer vi at Datafangst virker! Ytelse og stabilitet henger sammen, og dette prioriterer vi høyt. Ref oversikten over arbeidet med å forbedre brukeropplevelse

Bortsett fra den nye funksjonen «Opprett nytt strekningsobjekt» vil det ikke bli tilført noe særlig nytt i eksisterende datafangst.

Vi vil også prøve å gjeninnføre del av de tingene vi måtte deaktivere på grunn av ytelsesproblemer, for eksempel «rød prikk» ved de kontraktene der det har skjedd endringer. Og det er ett og annet småtteri og bugs som ikke lenger fungerer like godt som før, det prøver vi å fikse. Og så er det slik at hvis vi med liten innsats kan gjøre en fiks eller forbedring som gir brukerne våre en bedre arbeidshverdag så prøver vi jo å klemme det inn. Men ikke forvent for mye.

Varsel !!! – Mogleg nedetid i NVDB-Les i helga.

Vi har som mange nok har erfart hatt utfordringar utover et normale i NVDB den siste veka. I samband med feilretting kan det verte aktualt å bygge opp data i NVDB på nytt. Dersom det vert nødvendig vil vi gjere det i helga.

Under gjenoppbygging av data vil NVDB-Les vere heilt utilgjengeleg i ei periode. Dette vil påverke alle klientar som nyttar NVDB-data. Vegkart vil og framstå som tom.

Data i NVDB vil ikkje verte berørt, og ingen data skal gå tapt. Vi må berre bygge opp igjen tilgangen til dataene.

Les-API v2 vil vere oppe, det same gjeld vegkart-2019.atlas.vegvesen.no dersom nokon treng tilgang på data, men då med dei avgensingane som er i v2 med gamle fylker og kommuner, samt gamle vegreferansar.

Vi vil oppdatere med ny informasjon i løpet av morgongaden om kva som vil skje i helga.

Hvorfor bygger vi splitter ny Datafangst?

Kortversjon: På fem år har Datafangst vokst fra en enkel prototype til en kompleks applikasjon. I dag håndterer DF større datavolum enn den ble bygget for, og vi har en veldig uheldig blanding av gammel kode skrevet i ett rammeverk (Angular, som ikke blir videreutviklet) og ny kode skrevet i et annet rammeverk (React). Brukerne våre opplever treghet, og utviklernes jobb er unødig plundrete.

Den aller første versjonen kommer våren eller sommeren 2022. Denne versjonen vil kun ha det minimumet av funksjoner som trengs for å levere data til NVDB, men da kun for et snevert utvalg av data, med et minimum av de aller mest nødvendige funksjonene. Nye releaser vil komme i form av hyppige, men små forbedringer. Slik vil vi gradvis føye til mer avansert funksjonalitet. Gradvis vil den nye løsningen kunne overta stadig flere arbeidsoppgaver fra den gamle løsningen.

Presentasjon og stikkord fra møte 25.1.2022 om ny datafangst:

Vi må ta ned Datafangst for vedlikehold i helga!

EDIT Mandag 24.1: Suksess, nå har vi fått metreringsretning inn i datafangst!

Vi beklager kort varsel – men fra fredag 21.1 kl 17 så blir Datafangst utilgjengelig på grunn av database vedlikehold.

Bonus er jo at vi kommer tilbake mandag morgen med metreringsretning på stedfesting!

I løpet av helga vil vi legge informasjon om metreringsretning på all vegnettsinformasjon, dvs stedfestingen for samtlige objekter i databasen til Datafangst. Denne informasjonen hentes fra leseapi, og det er en tidkrevende prosess. Vi antar kjøretida blir rundt ett døgn, men foretrekker å sette av hele helga til oppdatering, for sikkerhets skyld.

Planen var jo at denne oppdateringen skulle kjøre i bakgrunnen mens dere brukte Datafangst som vanglig, men som vi så i går – det fungerte ikke spesielt bra. Det kunne kanskje fungert i helga, når det er færre brukere, men vi har valgt å gjøre det trygt og sikkert denne gangen.