Skidanje podataka sa Neta

Skidanje podataka sa Neta 26.02.2008. u 16:26 · pre 227 meseci #1

Problem je sledeci:

1. Treba da pristupim jednom web strani. (www.fonet.co.yu)
2. Da se ulogujem sa mojim user name i password
4. Da pronadjem na strani ili servisu sta mi treba
3. Da skinem sa njihovog servisa sve sto mi treba (mislim na fajlove koje nude pod: Download i ostalo)

Ovo radim svakih pola sata u jednoj firmi, i oduzima mi dosta vremena.

Kako ovo sve da uradim, ali AUTOMATSKI - znaci da napisem neki program koji bi to sve za mene uradio.

Da li je to moguce, i koja tehnika se za to mora upotebiti.

Da li VB, .NET ili.....

Re: Skidanje podataka sa Neta 26.02.2008. u 17:00 · pre 227 meseci #2

Mozes u vb.net-u, u c#-u, cemu hoces :)
posto nemam username i password, ne mogu ti detaljnije reci, ali potrebno je da pogledas taj form koji koriste za login i da pozoves stranu iz action atributa, da prosledis odgovarajuce post parametre a onda kada ucitas stranu da pretrazujes po sadrzaju koji dobijes.

Potpis

Nebojsa Milanovic:
-Trumpa smatram vrhunskim predsednikom i voleo bih da živim u državi na čijem je on čelu
-Rusija ne laže, ne vodi osvajačke ratove
-Trump je svetla tačka u USA blatu
-Elon Musk, možda najpametniji i najtrezveniji Amerikanac

Re: Skidanje podataka sa Neta 26.02.2008. u 17:59 · pre 227 meseci #3

Hvala na odgovoru, cenim da su te iskusniji programeri razumeli, ali ja ne spadam u tu grupu

Ne znam kako da pozovem stranu iz action atributa. Ukazi mi na neku smernicu ili da guglam.

Kad bih imao neki mali primer kako da pocnem takav jedan projekat u VB.netu bilo bi mi jasnije.

Re: Skidanje podataka sa Neta 26.02.2008. u 18:19 · pre 227 meseci #4

Ne bih da te obeshrabrim i da ti kazem da ti to ne mozes, ali ako nisi iskusniji programer bolje i da ne razmatras ovo. To sto ti hoces da napravis se zove web-crawler, slican npr koristi google da indeksira stranice sajtova, sa tim da ti hoces da tvoj crawler bude jos kompleksniji od njihovog, da moze da prepoznaje custom login sheme (sto je samo po sebi feat da uradi automatika), da locira specijalno download-e i onda da ih skine. Mrka kapa, ako mene pitas.

Potpis

Sloba je za 12 godina promenio antropološki kod srpskog naroda. On je od jednog
naroda koji je bio veseo, pomalo površan, od jednog naroda koji je bio znatiželjan, koji
je voleo da vidi, da putuje, da upozna,
od naroda koji je bio kosmopolitski napravio narod koji je namršten, mrzovoljan,
sumnjicav, zaplašen, narod koji se stalno nešto žali, kome je stalno neko kriv - Z.Đinđić

Re: Skidanje podataka sa Neta 26.02.2008. u 22:33 · pre 227 meseci #5

Ja sam se u par navrata igrao sa tim automatizovanjem nekih radnji po web stranicama. Ono sto sam uspeo je da unesem tekst u polja, odaberem neki item iz listbox-a i da kliknem na dugme. Za ove stvari sam napisao pomocnu klasu sa kojom te stvari mozes da odradis veoma jednostavno. Skini HTML klazu iz attachmenta pa probaj sledece primere:

Code:

            WebBrowser wb = HTML.Navigate("www.google.com", 10);
            HTML.ShowBrowser(wb, true);
            HTML.SetText(HTML.GetElementById(wb, "q"), "proba");
            HTML.ShowBrowser(wb, true);
            HTML.ButtonClick(HTML.GetElementById(wb, "btnG"));
            HTML.ShowBrowser(wb, true);

Metoda ShowBrowser je pomocna metoda da mozes da vidis sta je ucitano i da vidis elemente koji su ti dostupni na stranici. Ovaj prvi primer ti prvo otvori google i prikaze ga. Kada ugasis prozor popunice polje za pretragu pa ponovo prikazati browser. Kada ga ponovo ugasis kliknuce na dugme za pretragu.

Code:

            WebBrowser wb = HTML.Navigate("ogame.ba", 30);
            HTML.SetSelectedIndex(HTML.GetElementById(wb, "universe"), 6);
            HTML.SetText(HTML.GetElementThatContains(wb, "INPUT", "login"), "moje ime");
            HTML.SetText(HTML.GetElementById(wb, "pass"), "moja lozinka");
            HTML.ShowBrowser(wb, true);
            HTML.ButtonClick(HTML.GetElementById(wb, "button"));
            HTML.ShowBrowser(wb, true);

Ovaj drugi primer ce da otvori stranicu za logovanje na sajt ogame.ba. Odabrace iz opadajuce liste univerzum, popuniti user name i lozinku i zatim prikazati prozor. Kada gu ugasis kliknuce na dugme za prijavu i zatim ponovo prikazati browser.

Vidi ako moze ovo ista da ti pomogne.
Pozdrav!

HTML.zip5.57k

Re: Skidanje podataka sa Neta 28.02.2008. u 15:31 · pre 227 meseci #6

a sta ako je sajt, recimo, zasticen, odnosno ima ili nema onaj security certificate (kako se vec zove, nemam pojma)... u svakom slucaju preko web browsera izbaci security alert, pa kliknem yes, i tek onda otvara stranicu!

Forum kao aplikacija na telefonu

Srodne teme