Trgovci objavili cijene, bacio sam se na posao i provjerio kako podaci izgledaju, mogu li se prikupljati automatizirano i proširio ponudu na jelposkupilo.eu

Kako od jučer trgovine moraju javno objavljivati cijene proizvoda, bacio sam se na posao i dodao podršku za trgovine koje smo do sada na jelposkupilo.eu imali u manjem obujmu ili ih uopće nismo pratili zbog manjka izvora online.

Nove trgovine:

• KTC
• Lidl (bio prije, sada još više proizvoda)
• Spar
• Plodine
• Eurospin

Sveukupno, ovo je dodalo novih 70.000 proizvoda u ponudu na jelposkupilo.eu, a od danas će se njihove cijene zapisivati i bilježiti povijesno, kao i za ostale proizvode na stranici. Naravno za sada za većinu novih proizvoda imamo samo 2 dana cijena, no kroz tjedne će se to povećati. Za postojeće trgovine jelposkupilo.eu prikuplja podatke već 2+ godine.

Naravno, dodat ću podršku i za postojeće trgovine kao što je Konzum. No kako za njih već imam prikupljanje podataka iz drugih izvora, zasad sam se htio fokusirati na proširenje ponude i nove trgovine.

O CSV datotekama koje trgovine sada objavljuju i preko kojih skupljam podatke, imam nekoliko zamjerki i ideja za poboljšanje (potencijalno ću u natuknicama navesti neke tehničke pojmove, bare with me):

• ✅ Pohvaljujem što svaki proizvod ima uz sebe bar kod, što jako olakšava uparivanje proizvoda između trgovina.
• ❌ CSV datoteke su često krivo enkodirane (č, đ, š i ostali znakovi se ne prikazuju dobro), pa je potrebno dekodirati svaku datoteku kako bi se to popravilo, što usporava prikupljanje podataka.
• ❌ CSV datoteke imaju sličnu strukturu, ali se nazivi stupaca razlikuju među trgovinama — to bi se moglo standardizirati. Isto tako dosta njih nazive proizvoda ima u dosta ne čitkom formatu, sve velika slova i skraćenice.
• ❌ Kod automatskog prikupljanja podataka važno je poštovati integritet datoteke i omogućiti njeno jednostavno preuzimanje. Mnoge trgovine skrivaju linkove, što otežava automatsko preuzimanje.
• ✅ Pohvalio bih Spar, koji uz SHA256 za provjeru integriteta ima i jednostavnu listu datoteka koju je lakše pregledavati i dohvaćati.
• ❌ Kod nekih trgovina sam već drugi dan primijetio promjene u strukturi datoteka, pa je bilo potrebno prilagođavati logiku prikupljanja. Ovo je dugoročno loše — nadam se da su to samo početne dorade.
• ✅ Cijene su izražene po trgovini, pa će u budućnosti biti moguće filtrirati cijene po trgovinama i gradovima.
• 💡 Nedostaju slike i linkovi za kupnju. Trgovine koje imaju webshop mogle bi u CSV dodati link na sliku i stranicu za kupnju — to bi im pomoglo jer bi stranice poput jelposkupilo.eu mogle direktno linkati na njih i dovesti promet.

Sve u svemu — pozitivna inicijativa! Ovo je tek početat, ima tu nekih ne konzistentnosti u podacima i CSV datotekama, no nadam se da će trgovine. Za bilo kakva pitanja stojim na raspolaganju.