WeeklyOSM CZ 328 na Talk-cz - OpenStreetMap.cz

Tom Ka tomas.kasparek na gmail.com #mb37b38 9. 11. 2016 7:30

Ahoj, je dostupné vydání 328 týdeníku weeklyOSM: http://www.weeklyosm.eu/cz/archives/8273 * Duplicitní adresy POI. * Dary pro Nadaci OSM. * Složité opening_hours. * Pravidla dlaždicových serverů. * 16.11. - Den GIS. * 4. narozeniny Wikidata. * OSM trička na Kickstarteru. * Odpady v New Yorku. Pěkné počtení...

Marián Kyral mkyral na email.cz #m9ae82f 9. 11. 2016 8:06

Zaujaly mne tři věci: Sven Geggus, správce německého OSM stylu , začal diskuzi o renderování jmen zemí. Navrhuje opravu všech názvů zemí do jejich oficiálního jazyka místo anglických jmen. Už aby se rozšířily vektorové dlaždice. Tam lze jazyk dynamicky změnit. Já bych raději viděl "Čína" než "??". Ale zase každý Číňan raději uvidí ten svůj rozsypaný čaj ;-) Operations Working Group by ráda (https://github.com/openstreetmap/operations/issues/113) redukovala zátěž na dlaždicových serverech pod správou Nadace OSM (tile.openstreetmap.org) Jsem zvědav, jak moc se to dotkne osmap.cz. Zatím snad nijak. DB Cargo, společnost z rodiny Deutsche Bahn pro nákladní dopravu, zve (automatický překlad ) mappery na mapping party na seřaďovací nádraží v Mainz-Bischofsheimu (poblíž Frankfurt). A co na to SDŽC, ČD, ČD Cargo? Marián

Vladimír Slávik slavik.vladimir na seznam.cz #m0d1d1f 9. 11. 2016 8:45

Ahoj,

/Operations Working Group by ráda <https://github.com/openstreetmap/operations/issues/113> redukovala zátěž na dlaždicových serverech pod správou Nadace OSM (tile.openstreetmap.org) / Jsem zvědav, jak moc se to dotkne osmap.cz. Zatím snad nijak.

Zatím snad ne, ale jednou určitě - komu se nechce číst celá ta diskuse na githubu https://github.com/openstreetmap/operations/issues/113 : "Malé stránky" a použití dělají 60% zátěže - to jsme i my. Návrh je požadovat Referer a unikátní User-Agent. Stejně se ovšem něco (někdo?) bude muset hodit přes palubu aby si renderoval dlaždice sám. V tomhle kontextu je možné upozornit i na to že se na provoz zatím vybralo 44 ze 70 tisíc euro... https://donate.openstreetmap.org/ Je tam i odkaz na diskusi pro tentýž problém pro Wikimedia - teď když mají mapy - jestli bude možné "přehodit" tento problém na ně a jak se staví k takové situaci. https://phabricator.wikimedia.org/T141815 Vláďa

Lukáš Karas lukas.karas na centrum.cz #m801392 9. 11. 2016 9:27

Podle těch statistik a diskuze mi nepřijde že by bylo možné ukázat na jasného viníka. Na mnoha platformách/knihovnách nemají vývojáři možnost změnit user-agenta (iOS?). Se zaříznutím libwww-perl bych klidně souhlasil, ale v tomto konkrétním případě by to pomohlo pouze 2% requestů... Pokud mají problém s CPU kapacitou na render nodech, osobně bych se nejvíce přiklánil změnit nastavení cache serverů aby se omezili cache-miss hity, případně použít jiné nastavení přímo pro osm.org website kterou používají mapeři pro kontrolu své práce a potřebují rychlé aktualizace... Lukáš

signature.asc

Pavel Machek pavel na ucw.cz #m06f570 9. 11. 2016 9:31

Ahoj!

Už aby se rozšířily vektorové dlaždice. Tam lze jazyk dynamicky změnit. Já bych raději viděl "Čína" než "??". Ale zase každý Číňan raději uvidí ten svůj rozsypaný čaj ;-)

Jo, vektorove dlazdice by se hodily. Jen tusim maly problem s ruznymi programky jako tangogps / ... pro ktery budou vektorovy dlazdice neprekonatelna zmena.

Operations Working Group by ráda (https://github.com/openstreetmap/operations/issues/113) redukovala zátěž na dlaždicových serverech pod správou Nadace OSM (tile.openstreetmap.org) Jsem zvědav, jak moc se to dotkne osmap.cz. Zatím snad nijak.

Zatim asi nijak. Jestli ma nekdo bohatyho sponzora, asi by nebyl spatnej lokalni mirror. A tady s trochou stesti taky pomuzou vektorovy dlazdice.... Pavel

signature.asc

Marián Kyral mkyral na email.cz #mc08fa6 9. 11. 2016 9:52

Ahoj, "Operations Working Group by ráda (https://github.com/openstreetmap/operations/issues/113) redukovala zátěž na dlaždicových serverech pod správou Nadace OSM (tile.openstreetmap.org) Jsem zvědav, jak moc se to dotkne osmap.cz. Zatím snad nijak." Zatím snad ne, ale jednou určitě - komu se nechce číst celá ta diskuse na githubu https://github.com/openstreetmap/operations/issues/113 (https://github.com/openstreetmap/operations/issues/113) : "Malé stránky" a použití dělají 60% zátěže - to jsme i my. No jo. Ale proč to tak je? Většina těch malých stránek nabízí nějakou funkci, která na hlavní stránce osm.org chybí. Návrh je požadovat Referer a unikátní User-Agent. Stejně se ovšem něco (někdo?) bude muset hodit přes palubu aby si renderoval dlaždice sám. V tomhle kontextu je možné upozornit i na to že se na provoz zatím vybralo 44 ze 70 tisíc euro... https://donate.openstreetmap.org/ Dokáži si představit, že bychom renderovali ČR, ale celý svět? A navíc násobeno počtem mapových stylů, které chci nabídnout. A takhle by to museli dělat všichni. Docela nereálné. Dosáhnou jen toho, že malé stránky skončí a tím se sníží i zájem o OSM. Což může být výhoda i nevýhoda. Styly řeší vektorové dlaždice, ale ty se taky musí odněkud stahovat, takže to ten hlavní problém nevyřeší. BTW: já už přispěl. Marián Je tam i odkaz na diskusi pro tentýž problém pro Wikimedia - teď když mají mapy - jestli bude možné "přehodit" tento problém na ně a jak se staví k takové situaci. https://phabricator.wikimedia.org/T141815 Vláďa

---------- Původní zpráva ---------- Od: Vladimír Slávik <slavik.vladimir na seznam.cz> Komu: talk-cz na openstreetmap.org Datum: 9. 11. 2016 8:47:38 Předmět: Re: [Talk-cz] WeeklyOSM CZ 328 " Ahoj, Dne 9.11.2016 v 8:06 Marián Kyral napsal(a): "Operations Working Group by ráda (https://github.com/openstreetmap/operations/issues/113) redukovala zátěž na dlaždicových serverech pod správou Nadace OSM (tile.openstreetmap.org) Jsem zvědav, jak moc se to dotkne osmap.cz. Zatím snad nijak." Zatím snad ne, ale jednou určitě - komu se nechce číst celá ta diskuse na githubu https://github.com/openstreetmap/operations/issues/113 (https://github.com/openstreetmap/operations/issues/113) : "Malé stránky" a použití dělají 60% zátěže - to jsme i my. " No jo. Ale proč to tak je? Většina těch malých stránek nabízí nějakou funkci, která na hlavní stránce osm.org chybí. " Návrh je požadovat Referer a unikátní User-Agent. Stejně se ovšem něco (někdo?) bude muset hodit přes palubu aby si renderoval dlaždice sám. V tomhle kontextu je možné upozornit i na to že se na provoz zatím vybralo 44 ze 70 tisíc euro... https://donate.openstreetmap.org/ (https://donate.openstreetmap.org/) " Dokáži si představit, že bychom renderovali ČR, ale celý svět? A navíc násobeno počtem mapových stylů, které chci nabídnout. A takhle by to museli dělat všichni. Docela nereálné. Dosáhnou jen toho, že malé stránky skončí a tím se sníží i zájem o OSM. Což může být výhoda i nevýhoda. Styly řeší vektorové dlaždice, ale ty se taky musí odněkud stahovat, takže to ten hlavní problém nevyřeší. BTW: já už přispěl. Marián " Je tam i odkaz na diskusi pro tentýž problém pro Wikimedia - teď když mají mapy - jestli bude možné "přehodit" tento problém na ně a jak se staví k takové situaci. https://phabricator.wikimedia.org/T141815 (https://phabricator.wikimedia.org/T141815) Vláďa _______________________________________________ Talk-cz mailing list Talk-cz na openstreetmap.org https://lists.openstreetmap.org/listinfo/talk-cz"

jzvc jzvc na tpfree.net #m838790 9. 11. 2016 10:04

Ahoj,
/Operations Working Group by ráda <https://github.com/openstreetmap/operations/issues/113> redukovala zátěž na dlaždicových serverech pod správou Nadace OSM (tile.openstreetmap.org) / Jsem zvědav, jak moc se to dotkne osmap.cz. Zatím snad nijak.
Zatím snad ne, ale jednou určitě - komu se nechce číst celá ta diskuse na githubu https://github.com/openstreetmap/operations/issues/113 : "Malé stránky" a použití dělají 60% zátěže - to jsme i my. Návrh je požadovat Referer a unikátní User-Agent. Stejně se ovšem něco (někdo?) bude muset hodit přes palubu aby si renderoval dlaždice sám. V tomhle kontextu je možné upozornit i na to že se na provoz zatím vybralo 44 ze 70 tisíc euro... https://donate.openstreetmap.org/

Cus, pokud dobre vidim, maly stranky delaji 40% ... Dalsich 44% delaji pristupy bez referealu, coz bude trebas i muj, protoze kazdej kdo nechce byt ve velkym smirovan to ma vyply. A to zaroven znamena, ze tvrzeni o 11% neni pravda, protoze tech 44% klidne muze byt primo na web osm.

Pavel Machek pavel na ucw.cz #m7d4bf3 9. 11. 2016 18:13

AHoj!

Ahoj, "Operations Working Group by ráda (https://github.com/openstreetmap/operations/issues/113) redukovala zátěž na dlaždicových serverech pod správou Nadace OSM (tile.openstreetmap.org) Jsem zvědav, jak moc se to dotkne osmap.cz. Zatím snad nijak." Zatím snad ne, ale jednou určitě - komu se nechce číst celá ta diskuse na githubu https://github.com/openstreetmap/operations/issues/113 (https://github.com/openstreetmap/operations/issues/113) : "Malé stránky" a použití dělají 60% zátěže - to jsme i my. No jo. Ale proč to tak je? Většina těch malých stránek nabízí nějakou funkci, která na hlavní stránce osm.org chybí.

Ja myslim ze osm.cz je v bezpeci.. kdyby nam ji "zakazali", tak stejne mapperi budou pouzivat openstreetmap.org, takze zadny traffic neusetri.

Návrh je požadovat Referer a unikátní User-Agent. Stejně se ovšem něco (někdo?) bude muset hodit přes palubu aby si renderoval dlaždice sám. V tomhle kontextu je možné upozornit i na to že se na provoz zatím vybralo 44 ze 70 tisíc euro... https://donate.openstreetmap.org/ Dokáži si představit, že bychom renderovali ČR, ale celý svět? A navíc násobeno počtem mapových stylů, které chci nabídnout. A takhle by to museli dělat všichni. Docela nereálné. Dosáhnou jen toho, že malé stránky skončí a tím se sníží i zájem o OSM. Což může být výhoda i nevýhoda.

Ja myslim ze to neni na poradu dne.

Styly řeší vektorové dlaždice, ale ty se taky musí odněkud stahovat, takže to ten hlavní problém nevyřeší.

No, vekterove dlazdice budou o kus mensi, a bude se jich stahovat min protoze fungujou pro vic zoomu najednou, ne? Pavel

signature.asc

jzvc jzvc na tpfree.net #mf4b116 9. 11. 2016 20:26

AHoj!
Ahoj, "Operations Working Group by ráda (https://github.com/openstreetmap/operations/issues/113) redukovala zátěž na dlaždicových serverech pod správou Nadace OSM (tile.openstreetmap.org) Jsem zvědav, jak moc se to dotkne osmap.cz. Zatím snad nijak." Zatím snad ne, ale jednou určitě - komu se nechce číst celá ta diskuse na githubu https://github.com/openstreetmap/operations/issues/113 (https://github.com/openstreetmap/operations/issues/113) : "Malé stránky" a použití dělají 60% zátěže - to jsme i my. No jo. Ale proč to tak je? Většina těch malých stránek nabízí nějakou funkci, která na hlavní stránce osm.org chybí.
Ja myslim ze osm.cz je v bezpeci.. kdyby nam ji "zakazali", tak stejne mapperi budou pouzivat openstreetmap.org, takze zadny traffic neusetri.

Pokud sem to dobre pochopil, coz z te diskuse neni uplne zrejmy, tak problem je predevsim v on demand renederingu dlazdic = ani ne tak v jejich uploadu. Tzn, kdyz si reknes o nejakou oblast, tak se reneder de podivat, jestli tam nejsou nejake dlazdice "dirty" a pokud sou, tak je renederuje. A pokud je to pravda, tak to je spis ciste technicky problem, a k jakymukoli omezovani neni vlastne duvod. Viz "Here's the breakdown based on renderer requests". Tohle ma zcela jednoduchy a primitivni reseni - staci zrusit reneder on demand, trebas s vyjimkou ze ses primo prihlasenej na webu osm. Protoze realne, je mi celkem putna, jestli to co vidim je minutu nebo pulden stary. Vpodstate me aktualni stav zajima jen v okamziku, kdy nekde neco upravim, a chci videt vysledek. BTW: A muzou si za to sami, osobne sem si rozchozoval hokuspokusne reneder, a dokumentace veskera zadna, s kazdym dalsim krokem sem narazel na dalsi problem typu chybejici tool, jina verze knihovny ... Navic kdykoli se nekde neco zmeni, znamena to defakto cely laborovani odznova. Ostatne, stejne tak by urcite nasli radu dobrovolniku, kteri poskytnou vykon a konektivitu, ale rozhodne se nehodlaji babrat se silenou konfiguraci.

Dne 9.11.2016 v 18:13 Pavel Machek napsal(a):

AHoj!
Ahoj, Dne 9.11.2016 v 8:06 Marián Kyral napsal(a): "Operations Working Group by ráda (https://github.com/openstreetmap/operations/issues/113) redukovala zátěž na dlaždicových serverech pod správou Nadace OSM (tile.openstreetmap.org) Jsem zvědav, jak moc se to dotkne osmap.cz. Zatím snad nijak." Zatím snad ne, ale jednou určitě - komu se nechce číst celá ta diskuse na githubu https://github.com/openstreetmap/operations/issues/113 (https://github.com/openstreetmap/operations/issues/113) : "Malé stránky" a použití dělají 60% zátěže - to jsme i my. " No jo. Ale proč to tak je? Většina těch malých stránek nabízí nějakou funkci, která na hlavní stránce osm.org chybí.
Ja myslim ze osm.cz je v bezpeci.. kdyby nam ji "zakazali", tak stejne mapperi budou pouzivat openstreetmap.org, takze zadny traffic neusetri.

Pokud sem to dobre pochopil, coz z te diskuse neni uplne zrejmy, tak problem je predevsim v on demand renederingu dlazdic = ani ne tak v jejich uploadu. Tzn, kdyz si reknes o nejakou oblast, tak se reneder de podivat, jestli tam nejsou nejake dlazdice "dirty" a pokud sou, tak je renederuje. A pokud je to pravda, tak to je spis ciste technicky problem, a k jakymukoli omezovani neni vlastne duvod. Viz "Here's the breakdown based on renderer requests". Tohle ma zcela jednoduchy a primitivni reseni - staci zrusit reneder on demand, trebas s vyjimkou ze ses primo prihlasenej na webu osm. Protoze realne, je mi celkem putna, jestli to co vidim je minutu nebo pulden stary. Vpodstate me aktualni stav zajima jen v okamziku, kdy nekde neco upravim, a chci videt vysledek. BTW: A muzou si za to sami, osobne sem si rozchozoval hokuspokusne reneder, a dokumentace veskera zadna, s kazdym dalsim krokem sem narazel na dalsi problem typu chybejici tool, jina verze knihovny ... Navic kdykoli se nekde neco zmeni, znamena to defakto cely laborovani odznova. Ostatne, stejne tak by urcite nasli radu dobrovolniku, kteri poskytnou vykon a konektivitu, ale rozhodne se nehodlaji babrat se silenou konfiguraci.

" Návrh je požadovat Referer a unikátní User-Agent. Stejně se ovšem něco (někdo?) bude muset hodit přes palubu aby si renderoval dlaždice sám. V tomhle kontextu je možné upozornit i na to že se na provoz zatím vybralo 44 ze 70 tisíc euro... https://donate.openstreetmap.org/ (https://donate.openstreetmap.org/) " Dokáži si představit, že bychom renderovali ČR, ale celý svět? A navíc násobeno počtem mapových stylů, které chci nabídnout. A takhle by to museli dělat všichni. Docela nereálné. Dosáhnou jen toho, že malé stránky skončí a tím se sníží i zájem o OSM. Což může být výhoda i nevýhoda.
Ja myslim ze to neni na poradu dne.
Styly řeší vektorové dlaždice, ale ty se taky musí odněkud stahovat, takže to ten hlavní problém nevyřeší.
No, vekterove dlazdice budou o kus mensi, a bude se jich stahovat min protoze fungujou pro vic zoomu najednou, ne? Pavel _______________________________________________ Talk-cz mailing list Talk-cz na openstreetmap.org https://lists.openstreetmap.org/listinfo/talk-cz

Pavel Machek pavel na ucw.cz #mb5c8e5 10. 11. 2016 21:27

Ahoj!

No jo. Ale proč to tak je? Většina těch malých stránek nabízí nějakou funkci, která na hlavní stránce osm.org chybí.
Ja myslim ze osm.cz je v bezpeci.. kdyby nam ji "zakazali", tak stejne mapperi budou pouzivat openstreetmap.org, takze zadny traffic neusetri.
Pokud sem to dobre pochopil, coz z te diskuse neni uplne zrejmy, tak problem je predevsim v on demand renederingu dlazdic = ani ne tak v jejich uploadu. Tzn, kdyz si reknes o nejakou oblast, tak se reneder de podivat, jestli tam nejsou nejake dlazdice "dirty" a pokud sou, tak je renederuje. A pokud je to pravda, tak to je spis ciste technicky problem, a k jakymukoli omezovani neni vlastne duvod.

No, vypada to ze v takovem pripade bude potreba oddelit "aktualni dlazdice" od "dlazdic ktery muzou byt zastaraly".

Tohle ma zcela jednoduchy a primitivni reseni - staci zrusit reneder on demand, trebas s vyjimkou ze ses primo prihlasenej na webu osm. Protoze realne, je mi celkem putna, jestli to co vidim je minutu nebo pulden stary. Vpodstate me aktualni stav zajima jen v okamziku, kdy nekde neco upravim, a chci videt vysledek.

Presne :-).

BTW: A muzou si za to sami, osobne sem si rozchozoval hokuspokusne reneder, a dokumentace veskera zadna, s kazdym dalsim krokem sem narazel na dalsi problem typu chybejici tool, jina verze knihovny ... Navic kdykoli se nekde neco zmeni, znamena to defakto cely laborovani odznova.

No, oni za to asi nemuzou ze software je komplikovanej... a ze k nemu nikdo nenapsal poradnou dokumentaci. Ale ano, byla by to jedna cesta jak snizit zatez na jejich serverech. Jinak, zda se ze je nejaky telefonovy projekt, ktery dela renderovani, routovani a vyhledavani lokalne, ale nabizi to pres http://localhost/. Tim ze je to mysleny na telefon by to mel byt jeden, rozume zkompilovatelny, balicek. Odkaz byl tusim v minulym nebo predminulym weekly. (A teda.. vypadalo to rozume ale nezkousel jsem).

Ostatne, stejne tak by urcite nasli radu dobrovolniku, kteri poskytnou vykon a konektivitu, ale rozhodne se nehodlaji babrat se silenou konfiguraci.

No, ta konfigurace se snad casem zjednodusi :-). Pavel

Ahoj!

No jo. Ale proč to tak je? Většina těch malých stránek nabízí nějakou funkci, která na hlavní stránce osm.org chybí.
Ja myslim ze osm.cz je v bezpeci.. kdyby nam ji "zakazali", tak stejne mapperi budou pouzivat openstreetmap.org, takze zadny traffic neusetri.
Pokud sem to dobre pochopil, coz z te diskuse neni uplne zrejmy, tak problem je predevsim v on demand renederingu dlazdic = ani ne tak v jejich uploadu. Tzn, kdyz si reknes o nejakou oblast, tak se reneder de podivat, jestli tam nejsou nejake dlazdice "dirty" a pokud sou, tak je renederuje. A pokud je to pravda, tak to je spis ciste technicky problem, a k jakymukoli omezovani neni vlastne duvod.

No, vypada to ze v takovem pripade bude potreba oddelit "aktualni dlazdice" od "dlazdic ktery muzou byt zastaraly".

Tohle ma zcela jednoduchy a primitivni reseni - staci zrusit reneder on demand, trebas s vyjimkou ze ses primo prihlasenej na webu osm. Protoze realne, je mi celkem putna, jestli to co vidim je minutu nebo pulden stary. Vpodstate me aktualni stav zajima jen v okamziku, kdy nekde neco upravim, a chci videt vysledek.

Presne :-).

BTW: A muzou si za to sami, osobne sem si rozchozoval hokuspokusne reneder, a dokumentace veskera zadna, s kazdym dalsim krokem sem narazel na dalsi problem typu chybejici tool, jina verze knihovny ... Navic kdykoli se nekde neco zmeni, znamena to defakto cely laborovani odznova.

No, oni za to asi nemuzou ze software je komplikovanej... a ze k nemu nikdo nenapsal poradnou dokumentaci. Ale ano, byla by to jedna cesta jak snizit zatez na jejich serverech. Jinak, zda se ze je nejaky telefonovy projekt, ktery dela renderovani, routovani a vyhledavani lokalne, ale nabizi to pres http://localhost/. Tim ze je to mysleny na telefon by to mel byt jeden, rozume zkompilovatelny, balicek. Odkaz byl tusim v minulym nebo predminulym weekly. (A teda.. vypadalo to rozume ale nezkousel jsem).

Ostatne, stejne tak by urcite nasli radu dobrovolniku, kteri poskytnou vykon a konektivitu, ale rozhodne se nehodlaji babrat se silenou konfiguraci.

No, ta konfigurace se snad casem zjednodusi :-). Pavel -- (english) http://www.livejournal.com/~pavelmachek (cesky, pictures) http://atrey.karlin.mff.cuni.cz/~pavel/picture/horses/blog.html

signature.asc