Potrebe projekta

Zdravo,

Ako ima nekoga dobre volje i sa malo viška vremena, želeo bih da saznam nešto više o potrebama iz programerskog ugla vezano za projekat koji planiramo. Mi nismo u programersjkim vodama, pa nas nije sramota da pitamo :-)

Elem, želimo da napravimo program koji bi pregledao sajtove (crawling :-) ) potrebne podatke čuvao u našu bazu podataka, i onda na zahtev klijenta ili jednog od algoritama te podatke prikazivao ili prvo izračunavao (preko ranije utvrdjenog algoritma) pa prikazivao.

Program za krajnjeg korisnika bi se u stvari sastojao iz dva dela...PC programa i online servisa. Front end bi bio skoro isti u oba dela, s'tim što bi PC program trebao da obaveštava korisnika o odredjenim dešavanjima (takodje odredjeno algoritmom). Naš crawler (ako se tako kaže :-) ) bi po utvrdjenom rasporedu ili na zahtev korisnika/programa obilazio odredjene sajtove i vršio update baze i prikaza. Neki od sajtov bi bila tipa Facebook, Google plus, rezultati pretrage na Google, a neki bi bili i klasični sajtovi.

Generalno program bi radio neku vrstu monitoringa i prikupljene podatke prikazivao ili prvo obradjivao pa prikazivao.

Nadam se da sam dobro objasnio, ako vam treba još neki detalj, samo recite..

E, sad..naše pitanje je...Šta mi treba da tražimo od programera, tj. koje jezike on treba da zna? Koliko je (okvirno) ovo težak projekat? Potrebno (okvirno) vreme za recimo ekipu od 2-3 programera?

I koji način bi bio najbolji za programera da mu predstavimo zahteve projekta/programa? Samo tekstualno, uz pomoć crteža nekih proces..naravno uz live podršku.

Hvala unapred,
Milan

P.S.
Ako ovo čita neko od zainteresovanih programera, neka me slobodno kontaktira. Projekat se radi sa stranim partnerom i namenjen je za svetsko tržište. Partner i ja smo vlasnici čitavog projekta, što bi značilo ako ova priča uspe, našli bi se u vrlo uspešnoj kompaniji. Priča jeste na početku, ali prvi koraci mogu da počnu odmah u sledećim danima.

OK..Nema problema...Mislio sam da ima veze sa PHP. Sve OK

Samo vi premeštajte...Izgleda da ionako neću dobiti odgovor

Koliko znam, ovo već postoji i zove se https://scraperwiki.com

Potpis

Have you found helpful examples, solutions or ideas-in-work, please consider the
following:
• Citation of *actual page* you are going to using is welcome.
• Have you saw "Value Added" examples you are going to incorporate to your
profitable blog, daily job or any money making venture: How about online donation?
↗Ana & Vlade Divac Foundation
Hvala!

Ovo što nama treba je dosta obiminje i komplikovanije...nije čisto skidanje podataka.

To nije jedinstveno. Tj. razlicite varijante mogu biti resenje.
Izvlacenje podataka moze raditi maltene bilo koji jezik.
Posto imas web sajt, tu su ti mogucnosti .NET, Java, PHP.
Ako ces imati i desktop aplikaciju, nju mozes raditi u .NET-u, Javi, C++u...

E sad, ja generalno preferiram .NET i za ovo ti moze dobro posluziti jer mogu da se rade sve tri stvari u jednoj tehnologiji. Downside je da ti desktop aplikacija verovatno nece raditi na Linux-u.
Kod Jave je slicna stvar s tim da je sa jedne strane prednost to sto ce raditi i na linux-u, s druge strane, napornije je raditi razvoj i... Pa, znas kako je sa stvarima koje "svuda rade". Ovde ne zelim da pokrecem jos jedan rat .NET vs Java. Rekao sam svoj stav, neko iz Java sveta ce ti reci drugacije verovatno :)


Ovo zavisi od specifikacije. Zavisi od toga koliko su slozeni sajtovi, koliko su dobro struktuirani podaci na njima, koliko toga raznovrsnog treba izvuci.
Zatim, koliko ima sajtova.
Onda i sta treba raditi sa tim podacima koji su izvuceni. Znam, receno je izvlacenje, eventualna obrada i prikaz ali kolicina posla zavisi od detalja toga. I google radi to - crawle-uje sajtove, smesta neke podatke u bazu i posle izvlaci i prikazuje ;)
Od broja sajtova zavisi i arhitektura projekta. Nece se raditi na isti nacin ako je 3-4 i ako je 20-30 i vise.


Pa, u sustini, neki crtez bi dobro dosao za predstavljanje procesa a detalji specifikacije tekstualno. Sto preciznije definises sta ti treba, to ce developer preciznije moci odrediti koliko posla ima. Naravno, sto je projekat veci to je i teze odrediti vreme potrebno da se uradi.

Potpis

Nebojsa Milanovic:
-Trumpa smatram vrhunskim predsednikom i voleo bih da živim u državi na čijem je on čelu
-Rusija ne laže, ne vodi osvajačke ratove
-Trump je svetla tačka u USA blatu
-Elon Musk, možda najpametniji i najtrezveniji Amerikanac

Samo da napomenem da ne podrzavaju svi sajtovi taj vid cuvanja podataka, proveri prvo terms of use da li je uopste dozvoljeno crawling njihovog web sajta.

Potpis

http://i.imgur.com/V3feW.jpg
http://on.wsj.com/H9yjz6 -- India Graduates Millions, but Too Few Are Fit to Hire

Zašto mislite da vam je neophodna desktop aplikacija? Kažeš da treba da bude vrlo slična veb aplikaciji. Pisanje desktop aplikacije uvodi dosta potencijalnih problema koje se ogledaju u složenosti proizvoda, ceni i vremenu izrade.

Inače, bez detaljne specifikacije niko vam neće dati procenu vremena/cene, barem niko s malo mozga. :)

Sasvim tacno. Zapravo, ko ti da takvu procenu, taman znas da je bolje da ga obidjes :)

Potpis

Nebojsa Milanovic:
-Trumpa smatram vrhunskim predsednikom i voleo bih da živim u državi na čijem je on čelu
-Rusija ne laže, ne vodi osvajačke ratove
-Trump je svetla tačka u USA blatu
-Elon Musk, možda najpametniji i najtrezveniji Amerikanac

Hvala na informacijama



Da, tako sam i mislio..Kao osnovac sam išao na informatičku sekciju, pa se ponečeg i sećam. Sad sam zaboravio nazive i značenja svih onih oblika, ali znam da bi programeru tako nešto slično pomoglo da shvati suštinu.


Znam, samo opet programer će bar dati realniju sliku nego što mi imamo u glavi. Ja mislim 5 meseci, a programer zna da ne može ispod 9...Na to sam mislio, neku generalnu ocenu...ali znam da sam i dao malo podataka za tako nešto.


E zbog ovoga mi treba programer...da zajednički svedemo ceo projekat..da ga sagledamo u celini iz oba ugla...Mog ugla, koji znam šta hoću i programerovog koji zna šta je moguće i koliko je to teško/treba vremena/samim tim i novca



Ako vama nije lako, pomisli kako je tek nama...


Iskreno, na ovo nisam ni pomišljao. Hvala na ukazu. Ali, programi sličnog tipa postoje u svetu. I rade već godinama, tako da verujem da rešenja ima...tj., pitanje je da li i treba neko rešenje, jer mi generalno nećemo čuvati njihove sadržaje...već recimo videti da li je nešto tamo i tu informaciju sačuvati u našoj bazi; ili da li se i kada nešto promenilo, i to bi čuvali u našoj bazi...i sl.

PC aplikacija je veoma glavna karika u ovom projektu. Jednostavno user će kroz nju da dobija informacije i šalje zahteve. Pored desktop, online..planiramo i aplikaciju, ali otom potom


Obe su vam na mestu...zlata vredne

Ovu poruku sam namerno hteo da odvojim, da se ne stopi sa onolikim tekstom.

Možda bi moglo da se kaže da mi tražimo "oca" projekta u programerskom smislu. Tražimo programera koji će sa nama biti od početka, preboleti zajednički sve dečje bolesti, postati šef programerskog tima i "otac" programa..i ako bude malo sreće, sutra stvori ime na osnovu programa, a i para neće da mu manjka :-)

Znam da je teška misija preda mnom...ali kako kaže ona izreka...I put dugačak hiljadu milja, započinje jednim (prvim) korakom :-)

Nisi mi dao odgovor na pitanje: zašto to treba da bude PC aplikacija a ne može da bude veb aplikacija? Da li ti je potrebna veza sa nekim komadom hardvera (tipa štampač) ili nešto drugo što eksplicitno zahteva da postoji instalirana windows aplikacija na mašini?

Možda su pc aplikacije, ipak jače od web aplikacija? Moćnije jedno .. pa, mnogo puta. Konkretno, ova možda ne treba da bude, ali u globalu.. :)

Potpis

about:networking

Možda ja grešim...Da bi web aplikacija davala informacije useru, on mora biti online...mora imati otvoren browser i možda otvoren i taj sajt? Ja to laički...Grešim li?

Kada kažem davala informacije, mislim na nešto tipa info balloons..

Drop-box fazon vama treba, jel' da? Ali ne da radi to što radi Dropbox, već nešto ... levo. Nešto tipa "What's on your mind?", pa još komplikovanije.

Potpis

about:networking

Sto se tice samog projekta je ok, ali desktop app mislim da je to greska. Ako zelim da vidim nova obavestenja (sajtove koje sam ja izabrao) onda cu da udjem na vas sajt i da prelistam. Zamisli dok radis nesto na racunaru npr gledas film,igras igrice, itd on ti izbacuje za svaku novu stvar po jedno obavestenje i odvlaci ti paznju tad vec postaje spam i nije vise koristan... Za pocetak samo site i ako zazivi napravite anketu da li bi ljudi koristi desktop aplikaciju ili ne... To je samo moje misljenje ... Sve najbolje ;)

Ne...Alat koji će nadgledati odredjene sajtove i obaveštavati korisnika. (+ još dosta toga )



A ako je to o čemu te obaveštava veoma važno po tvoj posao? Jedino ako nema ništa važnije od igrica ;-)

Pri tom u podešavanjima ćeš moći da selektuješ za šta hoćeš da te obaveštava, itd...Rekoh, nije jednostavan program..ali po meni nije ni komplikovan. Ali ja nisam programer..

Pa ako mislis da i nesto zaradite od projekta, glavna ciljana grupa i najveca vam nece biti ljudi iz poslovnog sveta vec tinejdzeri koji najvise vise po facebook-u,youtube-u,twitter-u,tumblr itd,... Ne znam sta toliko moze da bude vazno za bilo koji posao (a da se radi o popularnijim sajtovima) da bih imao obavestenja u realnom vremenu...

Grešiš. Antivirus programi, svi do jednog, daju informacije useru preko weba, uz pomoć weba, user mora biti online da bi dobio određene informacije, ali, ne mora imati otvoren browser, niti bilo koji sajt. Ima 'svoje sve'. Konkretan primer - antivirus definitions update.

A Dropbox je inače aplikacija koja je poprilično kompleksna i širok pojam je ono "već nešto ...levo".
I instalira se i za offline upotrebu, takoreći valjda je obavezno, dropbox pc desktop deo, dakle, Dropbox aplikacija koja je u jako bliskoj vezi sa Dropbox web servisom/serverom/serverima.

Pošto inače nisi programer, ti onda nekome ko jeste, treba da napišeš teksta, poprilično. Ceo projekat u malom, sažet .. na 5 - 6 stranica, A4, npr. Neka bude i na engleskom, ali da ga bude toliko da treba vremena da se pročita. Jer, neće samo jedan da se hvata takvih stvari, ukoliko je projekat daleko od "labav". Vrača pogađača ovde nema. A nema ni tajni. Ne bi trebalo ni da ih ima.

Potpis

about:networking

Ne razumemem kakvih dodirnih tačaka ima Dropbox sa ovime što čoveku treba i
kako je to što njemu treba u fazonu Dropbox-a?
Zato što je klijent-server arhitektura, ima notifikacije, koristi internet i šta ti ja znam???
Pa nešto od toga koristi gotovo svaka aplikacija.