Fwd: [OpenStreetMap] duplicate nodes na Talk-cz

"Petr Morávek [Xificurk]" xificurk na gmail.com #mcc57e9 14. 11. 2010 15:12

Ahoj, zdá se, že import dibavodu nadělal v databázi dost duplicit... Krom bažin (u kterých jsem se pustil do systematického mazání duplicit) to vypadá na problém v napojení částí vodních toků na sebe (příp. na rybník, kterým protékají). Máte někdo rozumný nástroj na odstranění duplicitních nodů? O bažiny se v následujících dnech postarám, ale chtělo by to vyřešit i ty nody. Petr

honny honnycze na gmail.com #m36f058 14. 11. 2010 19:32

Ve volných chvílích (v místech, kde zrovna něco mapuju) promazávám zdvojený objekty - mám v tom teda pokračovat? Nic automatickýho nemám. :) Já jen jestli v tom nedělám zmatek třeba. ~ honny

"Petr Morávek [Xificurk]" xificurk na gmail.com #mfea2d7 14. 11. 2010 21:12

Jo, určitě... mě jen zajímalo jestli to někdo nemá zautomatizované. Na duplicitní cesty jsem si něco napsal, tak to použiuju na bažiny. Ale hledání duplicitních nodů takhle v místech dělení cest moc snadné není.

Lukas Kabrt lukas na kabrt.cz #md1eb52 14. 11. 2010 21:53

Tak ja jsem si chvilku hral a neco jsem si napsal. Zatim jsem to zkousel na malem kousku a vypada to dobre. Postup: nactu toky (waterway:stream) a nadrze (landuse: reservoir) najdu duplicitni body mezi toky a nadrzemi duplicitni body v tocich nahradim odpovidajicimi body z nadrzi puvodni duplicitni body z toku smazu Az mi skript dobehne na cele republice, tak nekam uploduju vysledek, kdyby se chtel nekdo podivat a zkontrolovat to predtim nez to uploduju. --- Lukas 2010/11/14 "Petr Morávek [Xificurk]" <xificurk na gmail.com>:

"Petr Morávek [Xificurk]" xificurk na gmail.com #mf52787 14. 11. 2010 22:19

Az mi skript dobehne na cele republice, tak nekam uploduju vysledek, kdyby se chtel nekdo podivat a zkontrolovat to predtim nez to uploduju.

Tenhle postup asi není zrovna ideální - mezitím se celkem jistě některé cesty z dumpu změní. Při updatování je imho potřeba pracovat s co nejaktuálnějšími daty a hlavně uploadnout update hned, jak je připraven. Petr

signature.asc

MP singularita na gmail.com #m7c28f6 14. 11. 2010 22:21

On Sun, 14 Nov 2010 21:12:18 +0100, "Petr Morávek [Xificurk]"

Jo, určitě... mě jen zajímalo jestli to někdo nemá zautomatizované. Na duplicitní cesty jsem si něco napsal, tak to použiuju na bažiny. Ale hledání duplicitních nodů takhle v místech dělení cest moc snadné není.

Mám skript co do něj nacpu dump a vyjede mi mapa, kde jsou vidět duplicitní nody (resp pokud je tam N duplicitních bodů, tak se jich na výstup posledních N-1 zkopíruje). Tohle pak lze otevřít v JOSM a podle toho si vybírat kde se na to podívat, ale přímo z toho výsledku to opravovat nelze (většina nodů je zároveň součástí nějakých cest). Teď je to asi 45000 nodů jako vedlejší důsledek všech duplicit v dibavodu. Výsledek je na http://git.wz.cz/dup_nodes_cz.osm.bz2 pokud by někoho zajímalo, kde ty duplicity jsou. Stručně řečeno jsou skoro všude.

Ve volných chvílích (v místech, kde zrovna něco mapuju) promazávám zdvojený objekty - mám v tom teda pokračovat? Nic automatickýho nemám. :) Já jen jestli v tom nedělám zmatek třeba.

Teď jsem si napsat obdobný skript i na vyhledávání duplicitních cest (celkem to našlo asi 14 000 případů duplicitních cest v ČR), ale spousta jich tam už není. Vypadá to, že velké množství duplikací je (bylo) v pruhu mezi 17. a 18. stupněm. Když jsem zjišťoval jestli je chyba ve skriptu, nebo jestli to někdo opravuje, tak jsem narazil na tohle: http://www.openstreetmap.org/browse/changeset/6362586 Vypadá to, že ty duplicity v ČR už někdo řeší (aspoň pro potoky), tak bych ho nechal ho to dořešit. Jinak duplicitních bažin je asi 5000, při hromadném odstraňování by to chtělo být opatrný, aby se nakonec neodstranily obě kopie (někdo smaže první z těch duplicit, někdo tu druhou a nebude tam ani jedna). Validator v JOSM při odstraňování duplicitních cest postupuje deterministicky (z duplicitních cest nechá tu z nejnižším ID, tedy tu co tam byla první, a zbylé smaže), ten kdo řeší potoky, tak na to jde co jsem koukal asi stejně (zdá se, že používá JOSM). Takže pokud by to někdo dělal, doporučuju, aby použil buď taky JOSM, nebo aspoň stejný algoritmus (z duplikátů tu s nejnižším ID nechat, smazat ty zbylé) Já bych v tom promazávání během regulérního opravování pokračoval, aspoň je pak vidět kde ještě nikdo nic neopravoval (tam kde jsou zdvojené věci) a kde už jo (tam kde nic duplicitního není). Navíc v JOSM je smazání duplicitních v aktuálně staženém výřezu záležitost asi na 3 kliknutí ve validatoru. Martin

On Sun, 14 Nov 2010 21:12:18 +0100, "Petr Morávek [Xificurk]" <xificurk na gmail.com> wrote:

Jo, určitě... mě jen zajímalo jestli to někdo nemá zautomatizované. Na duplicitní cesty jsem si něco napsal, tak to použiuju na bažiny. Ale hledání duplicitních nodů takhle v místech dělení cest moc snadné není.

Mám skript co do něj nacpu dump a vyjede mi mapa, kde jsou vidět duplicitní nody (resp pokud je tam N duplicitních bodů, tak se jich na výstup posledních N-1 zkopíruje). Tohle pak lze otevřít v JOSM a podle toho si vybírat kde se na to podívat, ale přímo z toho výsledku to opravovat nelze (většina nodů je zároveň součástí nějakých cest). Teď je to asi 45000 nodů jako vedlejší důsledek všech duplicit v dibavodu. Výsledek je na http://git.wz.cz/dup_nodes_cz.osm.bz2 pokud by někoho zajímalo, kde ty duplicity jsou. Stručně řečeno jsou skoro všude.

honny napsal(a):
Ve volných chvílích (v místech, kde zrovna něco mapuju) promazávám zdvojený objekty - mám v tom teda pokračovat? Nic automatickýho nemám. :) Já jen jestli v tom nedělám zmatek třeba.

Teď jsem si napsat obdobný skript i na vyhledávání duplicitních cest (celkem to našlo asi 14 000 případů duplicitních cest v ČR), ale spousta jich tam už není. Vypadá to, že velké množství duplikací je (bylo) v pruhu mezi 17. a 18. stupněm. Když jsem zjišťoval jestli je chyba ve skriptu, nebo jestli to někdo opravuje, tak jsem narazil na tohle: http://www.openstreetmap.org/browse/changeset/6362586 Vypadá to, že ty duplicity v ČR už někdo řeší (aspoň pro potoky), tak bych ho nechal ho to dořešit. Jinak duplicitních bažin je asi 5000, při hromadném odstraňování by to chtělo být opatrný, aby se nakonec neodstranily obě kopie (někdo smaže první z těch duplicit, někdo tu druhou a nebude tam ani jedna). Validator v JOSM při odstraňování duplicitních cest postupuje deterministicky (z duplicitních cest nechá tu z nejnižším ID, tedy tu co tam byla první, a zbylé smaže), ten kdo řeší potoky, tak na to jde co jsem koukal asi stejně (zdá se, že používá JOSM). Takže pokud by to někdo dělal, doporučuju, aby použil buď taky JOSM, nebo aspoň stejný algoritmus (z duplikátů tu s nejnižším ID nechat, smazat ty zbylé) Já bych v tom promazávání během regulérního opravování pokračoval, aspoň je pak vidět kde ještě nikdo nic neopravoval (tam kde jsou zdvojené věci) a kde už jo (tam kde nic duplicitního není). Navíc v JOSM je smazání duplicitních v aktuálně staženém výřezu záležitost asi na 3 kliknutí ve validatoru. Martin

"Petr Morávek [Xificurk]" xificurk na gmail.com #mb6987c 14. 11. 2010 22:49

Jinak duplicitních bažin je asi 5000, při hromadném odstraňování by to chtělo být opatrný, aby se nakonec neodstranily obě kopie (někdo smaže první z těch duplicit, někdo tu druhou a nebude tam ani jedna).

Na tohle mám skript - už jsem to minulý týden pouštěl na část ČR, ještě dodělám v následujících dnech zbytek. Po smazání duplicitních cest ověřuji, jestli ten "originál" (cesta s nejnižším id) někdo mezitím taky nesmazal, příp. to na mě začne řvát. Takže to není problém. Taky kontroluju jestli některé cesty už nejsou přidány v nějakých relacích. Petr

signature.asc

Pavel Machek pavel na ucw.cz #m4b2db4 16. 11. 2010 15:29

Ahoj!

Ahoj, zdá se, že import dibavodu nadělal v databázi dost duplicit... Krom bažin (u kterých jsem se pustil do systematického mazání duplicit) to vypadá na problém v napojení částí vodních toků na sebe (příp. na rybník, kterým protékají).

Diky! Cekal bych, ze i na potocich budou nejake "klasicke" duplicity, v jednu chvili mi nehezky lehnul josm. Pavel

Michal Grézl michal.grezl na openstreetmap.cz #m048ec6 16. 11. 2010 16:38

2010/11/16 Pavel Machek <pavel na ucw.cz>:

Ahoj!
Ahoj, zdá se, že import dibavodu nadělal v databázi dost duplicit... Krom bažin (u kterých jsem se pustil do systematického mazání duplicit) to vypadá na problém v napojení částí vodních toků na sebe (příp. na rybník, kterým protékají).
Diky! Cekal bych, ze i na potocich budou nejake "klasicke" duplicity, v jednu chvili mi nehezky lehnul josm. Pavel

asi tak 80% potoku co kontroluju sou 2x