aktualizace mapových dlaždic - klient na Talk-cz

Karel Volný kavol na seznam.cz #m2a4acc 21. 4. 2011 11:31

Zdravím, s rostoucím rozsahem map (mapových dlaždic pro TangoGPS) stažených v telefonu začíná být můj updatovací bashový skriptík poněkud nedostatečný ... nevěděl by někdo o něčem šikovném, co by se dalo na Freeruneru použít? případně nějaký zde přítomný programátor, nejlépe asi pythonista, nebyl by tak hodný a nespíchnul by za dlouhých jarních večerů něco? hlavní problém s mým skriptem je ten, že pro každou dlaždici volá znovu curl, což je úděsná režije jednak na straně skriptu (spuštění procesu), jednak síťová, protože se znovu otvírá spojení nechci po tom nic závratného, jen aby prošel adresářovou strukturu a každý soubor se znovu pokusil stáhnout s If-Modified-Since, tzn. aby se posílalo jen to, co je na serveru aktualizované, ať se zbytečně nezatěžuje (což o to, u mě by to bylo jedno, linku na to mám, času přes noc dost, ale provozovatelé serverů by mě asi neměli rádi ... :-)) přitom ne vše je všude dostupné, takže pokud se dlaždici nepodaří stáhnout (404 not found apod.), tak by měl umět fallback na jiný zdroj K.

Michal 'vorner' Vaner vorner na ucw.cz #m306b07 21. 4. 2011 11:52

Dobré ráno

nechci po tom nic závratného, jen aby prošel adresářovou strukturu a každý soubor se znovu pokusil stáhnout s If-Modified-Since, tzn. aby se posílalo jen to, co je na serveru aktualizované, ať se zbytečně nezatěžuje (což o to, u mě by to bylo jedno, linku na to mám, času přes noc dost, ale provozovatelé serverů by mě asi neměli rádi ... :-))

Nechce se mi sice nic psát, ale líné řešení by mohlo být mezi skript a server dát nějakou cache, řekněme polipo. On umí držet otevřené spojení mezi requesty, takže by se vyřešilo minimálně to. Pokud ten bashový skript neumí to if-modified-since sám, tak by to uměl taky doplnit, ale v tom případě je asi potřeba mít mapu na disku 2* (jednou v cache). S pozdravem

[žádný popis není k dispozici]

Karel Volný kavol na seznam.cz #maaa3db 21. 4. 2011 13:00

Dobré ráno
nechci po tom nic závratného, jen aby prošel adresářovou strukturu a každý soubor se znovu pokusil stáhnout s If-Modified-Since, tzn. aby se posílalo jen to, co je na serveru aktualizované, ať se zbytečně nezatěžuje (což o to, u mě by to bylo jedno, linku na to mám, času přes noc dost, ale provozovatelé serverů by mě asi neměli rádi ... :-))
Nechce se mi sice nic psát, ale líné řešení by mohlo být mezi skript a server dát nějakou cache, řekněme polipo. On umí držet otevřené spojení mezi requesty,

wov, netušil jsem, že existuje něco tak inteligentního, že ty requesty spojí

takže by se vyřešilo minimálně to.

druhá část mě tak netrápí, pokud si to pustím na počítači, který má poněkud vyšší výkon, a pak jen syncnu na telefon

Pokud ten bashový skript neumí to if-modified-since sám, tak by to uměl taky doplnit, ale v tom případě je asi potřeba mít mapu na disku 2* (jednou v cache).

to IMS umí právě ten curl dík za tip! K.

Karel Volný kavol na seznam.cz #m382b2f 22. 4. 2011 10:30

... tož nadšení trošku vyprchalo, když jsem zjistil, že s polipo se mi to nezaktualizovalo ani přes noc - tempo jedna dlaždice za sekundu či pomalejší jaksi není nic moc K.

Radek Bartoň blackhex na post.cz #m063981 22. 4. 2011 10:51

nevěděl by někdo o něčem šikovném, co by se dalo na Freeruneru použít?

A yaouh (http://wiki.openmoko.org/wiki/Yaouh!) nevyhovuje?

Karel Volný kavol na seznam.cz #m2fd358 22. 4. 2011 11:17

nevěděl by někdo o něčem šikovném, co by se dalo na Freeruneru použít?
A yaouh (http://wiki.openmoko.org/wiki/Yaouh!) nevyhovuje?

ten mi padal, a navíc byl děsně pomalý (mám podezření, že stahoval vše, ač stránka tvrdí, že by neměl) no a hlavně neumí ten fallback, když to nejde stáhnout z jednoho zdroje, ať zkusí jiný K.

Mike mike na mikecrash.com #m517a30 22. 4. 2011 11:18

Já to dělal tak, že jsem ten celý adresář jednou za čas smazal a stáhnul si co jsem potřeboval znovu. Navíc jsem aspoň odstranil ty dlaždice, které už nepotřebuju. Přijde mi to jednodušší než tahat vše znovu a aktualizovat to. On i ten jednoduchý dotaz na čas souboru něco zabere a trvá to docela dlouho.

Já to dělal tak, že jsem ten celý adresář jednou za čas smazal a stáhnul si co jsem potřeboval znovu. Navíc jsem aspoň odstranil ty dlaždice, které už nepotřebuju. Přijde mi to jednodušší než tahat vše znovu a aktualizovat to. On i ten jednoduchý dotaz na čas souboru něco zabere a trvá to docela dlouho. On 22.4.2011 10:30, Karel Volný wrote:

... tož nadšení trošku vyprchalo, když jsem zjistil, že s polipo se mi to nezaktualizovalo ani přes noc - tempo jedna dlaždice za sekundu či pomalejší jaksi není nic moc K. Dne Čt 21. dubna 2011 Karel Volný napsal(a):
Dne Čt 21. dubna 2011 Michal 'vorner' Vaner napsal(a):
Dobré ráno On Thu, Apr 21, 2011 at 11:31:00AM +0200, Karel Volný wrote:
nechci po tom nic závratného, jen aby prošel adresářovou strukturu a každý soubor se znovu pokusil stáhnout s If-Modified-Since, tzn. aby se posílalo jen to, co je na serveru aktualizované, ať se zbytečně nezatěžuje (což o to, u mě by to bylo jedno, linku na to mám, času přes noc dost, ale provozovatelé serverů by mě asi neměli rádi ... :-))
Nechce se mi sice nic psát, ale líné řešení by mohlo být mezi skript a server dát nějakou cache, řekněme polipo. On umí držet otevřené spojení mezi requesty,
wov, netušil jsem, že existuje něco tak inteligentního, že ty requesty spojí
takže by se vyřešilo minimálně to.
druhá část mě tak netrápí, pokud si to pustím na počítači, který má poněkud vyšší výkon, a pak jen syncnu na telefon
Pokud ten bashový skript neumí to if-modified-since sám, tak by to uměl taky doplnit, ale v tom případě je asi potřeba mít mapu na disku 2* (jednou v cache).
to IMS umí právě ten curl dík za tip! K. _______________________________________________ Talk-cz mailing list Talk-cz na openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-cz
_______________________________________________ Talk-cz mailing list Talk-cz na openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-cz