[es] - Ogranicenje broja konekcija u sekundi po korisniku?

bmarkovic06

Član broj: 301412
Poruke: 716

+66 Profil

Re: Ogranicenje broja konekcija u sekundi po korisniku?

^{03.01.2014. u 20:06 - pre 125 meseci}

Odgovor na temu

Aleksandar Đokić

Član broj: 13478
Poruke: 4793
*.dynamic.isp.telekom.rs.

+638 Profil

Re: Ogranicenje broja konekcija u sekundi po korisniku?

^{03.01.2014. u 21:15 - pre 125 meseci}

Najbolji L7 regexp koji sam ja nasao:

Code:
^(bittorrent protocol|azver$|get/scrape\?info_hash=)|d1:ad2:id20:|'7P\)[RP]

Naravno, enkriptovani P2P nije moguce nikako "uhvatiti". Najbolje sto mozes uraditi je da napravis dobas QoS, koji ce dati prioritet bitnom saobracaju. Ostalom saobracaju cak mozes i ograniciti broj konekcija.

Odgovor na temu

Mile-Lile
Beograd

Član broj: 269936
Poruke: 1176
*.dynamic.isp.telekom.rs.

+79 Profil

Re: Ogranicenje broja konekcija u sekundi po korisniku?

^{04.01.2014. u 07:36 - pre 125 meseci}

Citat:

Aleksandar Đokić:

Citat:

ako te torenti muče trebalo bi i udp konekcije ograničiti...

Mile, UDP je "connection-less", tako da u stvari ne postoji UDP "konekcija".

Mada je tacno da od verzije (cini mi se) 5.7 u Mikrotiku moze da se ogranici i broj UDP "strimova".

To je velika mana RuterOS-a. Što još uvek koristi ipchains a ne iptables... ipchains ne podržava sve protokole zato je u novijim kernelima (iznad 2.6) Linux-a zamenjen sa iptables.
Baš me zanima šta će uraditi ljudi iz Mikrotika kada iskompajliraju novije verzije. I da li će morati da objave "source code" kod zbog GPL ili će i dalje ostati "proprietary"... Opasni su ti vaši "Letonci":)
Izvinjavam se postavljaču za OT. Volim da peckam ove ljubitelje MT-a:)
Nepažljivo sam upotrebio izraz UDP konekcije a mislio sam na UDP protokol... na nekim torrent klijentima piše "prefer UDP connections"... naravno da je ovo neispravno...

E, sad nešto o mojim iskustvima sa ograničavanjem broja konekcija... Torent klijent otvori mnogo konekcija u trenutku (prvih 30 sekunndi) ali nakon par minuta se sve smiri i bukvalno sa stotinak konekcija vuče punom brzinom (čak i gde je propusna moć 10 mbps i više)....
Zato je dobro da se na ruteru podesi "trajanje konekcija(timeouts)"... ddwrt (i svi firmweri otvorenog koda zasnovani na Linux-u Tomato, Gargoyle, Shibby itd.) ima tzv. "TCP Congestion Control" (Vegas, Hybla, Westwood...) koji je najbolji mehanizam za izlaženje na kraj sa P2P... Klijent ne oseti ništa a ruteru daje odličnu stabilnost....

_{[Ovu poruku je menjao Mile-Lile dana 04.01.2014. u 08:46 GMT+1]}

Odgovor na temu

Mile-Lile
Beograd

Član broj: 269936
Poruke: 1176
*.dynamic.isp.telekom.rs.

+79 Profil

Re: Ogranicenje broja konekcija u sekundi po korisniku?

^{04.01.2014. u 07:55 - pre 125 meseci}

Inače, Aleksandre moguće je uhvatiti i enkriptovani P2P...
pre nego se uspostavi enkriptovana konekcija, klijent šalje paket od par bitova kojim zahteva enkriptovanu konekciju...
Ima ljudi koji koriste wireshark da identifikuju te pakete i onda prave L7 "patterne"... Ovo radi verovao ili ne kao sat...

Odgovor na temu

Aleksandar Đokić

Član broj: 13478
Poruke: 4793
*.dynamic.isp.telekom.rs.

+638 Profil

Re: Ogranicenje broja konekcija u sekundi po korisniku?

^{04.01.2014. u 09:20 - pre 125 meseci}

Citat:

u novijim kernelima (iznad 2.6) Linux-a zamenjen sa iptables

RouterOS v6.x koristi Kernel v3.3.5+.

Citat:

da li će morati da objave "source code" kod zbog GPL ili će i dalje ostati "proprietary"

Ja sam prvi za to da se sve sto je GPL objavi (bilo da je RouterOS ili kod nekog "embedded" uredjaja).

Citat:

moguće je uhvatiti i enkriptovani P2P...

Da li mislis da ljudi koji su pravili sam "uTP" protokol nisu mislili na to?

Kazes radi kao sat bez ikakvog primera i mi jedino da ti verujemo na rec.

Odgovor na temu

Mile-Lile
Beograd

Član broj: 269936
Poruke: 1176
*.dynamic.isp.telekom.rs.

+79 Profil

Re: Ogranicenje broja konekcija u sekundi po korisniku?

^{04.01.2014. u 12:36 - pre 125 meseci}

Citat:

Aleksandar Đokić:
Kazes radi kao sat bez ikakvog primera i mi jedino da ti verujemo na rec.

"works for me"
Pa, ja sad mogu da okačim slike, ali ti ćeš verovatno reći kako su nameštene u PhotoShopu...
Koristim Vuze kao klijent. Uključim forsiranu enkripciju na klijentu. Na ruteru koji koristi ddwrt ima opcija "catch all P2P"... Kroz klijent ne prolazi ništa. Čak sam radi testiranja ostavljao da celu noć radi klijent, i skine 0% (kažu da ima manje peer-ova koji koriste enkripciju pa treba vremena). Ikonice koje se tiču portova nisu crvene (na klijentu) ali nema saobraćaja. ddwrt koristi modul IPP2P... o njemu možeš pročitati ovde http://www.ipp2p.org/ Mada je razvoj ovog modula prestao, jer ih je otkupila neka firma koja radi profi mrežnu opremu. Kada sam ukucao ključne reči bittorent i encrypted traffic na wiki sam našao ovo http://en.wikipedia.org/wiki/BitTorrent_protocol_encryption i evo ga citat samo jedne rečenice

Citat:

Protocol header encryption (PHE) was conceived by RnySmile and first implemented in BitComet version 0.60 on 8 September 2005. Some software like IPP2P claims BitComet traffic is detectable even with PHE.[5] PHE is detectable because only part of the stream is encrypted. Since there are no open specifications to this protocol implementation the only possibility to support it in other clients would have been via reverse engineering.

Ovo sam sve na brzinu, iz googla...
ovo je deo mog "dmesg" samo da vidiš da postoji modul

Code:
<6>[    0.420000] Netfilter messages via NETLINK v0.30.
<6>[    0.420000] nf_conntrack version 0.5.0 (455 buckets, 1820 max)
<4>[    0.430000] nf_conntrack_rtsp v0.6.21 loading
<4>[    0.440000] nf_nat_rtsp v0.6.21 loading
<6>[    0.440000] ip_tables: (C) 2000-2006 Netfilter Core Team
<6>[    0.440000] IPP2P v0.8.2 loading
<6>[    0.450000] TCP: westwood registered
<6>[    0.450000] TCP: hybla registered
<6>[    0.450000] TCP: vegas registered
<6>[    0.460000] NET: Registered protocol family 17
<5>[    0.460000] Bridge firewalling registered
<6>[    0.470000] 8021q: 802.1Q VLAN Support v1.8
<6>[    0.470000] searching for nvram
<6>[    0.480000] nvram size = 0
<6>[    0.530000] Atheros AR71xx hardware watchdog driver version 0.1.0
<6>[    0.540000] ar71xx-wdt: timeout=15 secs (max=42) ref freq=100000000
<6>[    0.550000] VFS: Mounted root (squashfs filesystem) readonly on device 31:2.
<6>[    0.560000] Freeing unused kernel memory: 156k freed
<7>[    3.390000] ar71xx-wdt: enabling watchdog timer
<4>[    3.500000] ag7100_mod: module license 'unspecified' taints kernel.
<4>[    3.500000] Disabling lock debugging due to kernel taint
<6>[    3.540000] ag7100_mii: probed
<4>[    3.540000] eth0: Marvell 88E6060 PHY driver attached.

Ako mi i dalje ne veruješ, jedino da se nađemo na nekoj kafici pa da istestiramo zajedno i da objavimo rezultate ovde na forumu?
Verovatno postoje razni klijenti, i mnogo toga se menja neprestano i nemoguće je totalno blokirati p2p, a i zašto bi.... ali ja sam samo hteo da razbijem jedan mit da je nemoguće uhvatiti enkriptovani saobraćaj. Moguće je! Možda ne sa svim kućnim ruterima ali je moguće. Svako može da ukuca ključne reči i naći na googlu sam odgovor. Priča kako je to nemoguće je ZASTARELA!

Citat:

RouterOS v6.x koristi Kernel v3.3.5+.

koji je kompajliran sa ipchains...
iptables ima Copyright i zato ga nisu ubacili u kernel...
Ukucaj u google "iptables vs ipchains" i videćeš da je Linux u kernelima iznad, čini mi se, 2.4 počeo da koristi iptables...
jedna od prednosti je zato što prepoznaje sve protokole...
odgovori sam sebi, da li možeš sa ipchains da mangluješ ICMP ili GRE? Možda može. Ja nisam toliko upućen, znam da kada sam ranije čitao ipchains podržava samo TCP i UDP protokole.
zato se i smatra da nije moderan firewall kao i zbog činjenice je "stateless"... taj koncept je napušten i smatra se da je "statefull" modernija varijanta...
E, zbog svega toga sam napisao da jedva čekam da vidim šta će se desiti ako MT objavi RuterOS-ov izvorni kod a, moraće ako želi da koristi sve prednosti Linux-a koji je zajednica razvijala...
Inače o MT-u stvarno mislim da je moćan. Imam jedan ruterčić u firmi mog druga koji povremeno održavam...
Ne bih da idem dalje od teme i da neko pomisli da reklamiram nekog drugog ili prozivam nekog, tako da neću više komentarisati... probaću da izvučem neke "regexp L7" iz ddwrt pa da ih ostavim ovde ako nekom zatreba da proba... kod ddwrt se zovu l7 patterns... na ddwrtu moguće je preko L7 i preko IPP2P identifikacija p2p saobraćaja...

Odgovor na temu

Mile-Lile
Beograd

Član broj: 269936
Poruke: 1176
*.dynamic.isp.telekom.rs.

+79 Profil

Re: Ogranicenje broja konekcija u sekundi po korisniku?

^{04.01.2014. u 12:44 - pre 125 meseci}

Code:
^get (/task/bt/.*|/task_recommend.*|/issupported )http/*[\x09-\x0d -~]

Code:
^get (/announce.php\?info_hash=.*|/announce\?info_hash=.*|/announce.php\?passkey=.*|/announce\?passkey=.*|/\?info_hash=.*|/data\?fid=.*)http/*[\x09-\x0d -~]

Code:
^\x01

Code:
^(\x13bittorrent protocol|azver\x01$|get /scrape\?info_hash=)

Odgovor na temu

Aleksandar Đokić

Član broj: 13478
Poruke: 4793
*.dynamic.isp.telekom.rs.

+638 Profil

Re: Ogranicenje broja konekcija u sekundi po korisniku?

^{04.01.2014. u 13:57 - pre 125 meseci}

Videces u mom prethodnu postu da sam stavio isti regexp kao i ti (i meni radi ali ne hvata sve trakere).

Citat:

i mnogo toga se menja neprestano i nemoguće je totalno blokirati p2p

Ok, mislimo isto a pisemo razlicito. Moguce je, ali ne sve :).

Citat:

da li možeš sa ipchains da mangluješ ICMP ili GRE? Možda može.

Prikačeni fajlovi

Untitled.png - 43.54k

Odgovor na temu

zivanicd
Dejan Zivanic
KLADOVONET ISP
Kladovo

Član broj: 137218
Poruke: 1129
*.CyberCity.KladovoNet.Com.

Sajt: www.kladovo.net

+139 Profil

Re: Ogranicenje broja konekcija u sekundi po korisniku?

^{04.01.2014. u 16:58 - pre 125 meseci}

Sto se tice "hvatanja" p2p traffica, nikada necemo napraviti resenje koje radi 100%.

Mi smo odustali od bilo kog filtriranja portova jer na velikom saobracaju (500+ Mbps) to gubi smisao jer ubija ruter.

U nasoj praksi se pokazalo recimo da neki l7 p2p filteri jednostavno zabranjuju citanje trackera iz torrent fajla. Sve zavisi od klijenata.
Bittorent se koristi u 90% slucajeva, tako da ce ti sigurno pomoci l7 resenje.

Drugo resenje je da im podignes proxy u mrezi pa da im dozvolis full tcp sync ka proxy-u a da im ogranicavas ostalo...

Sve u svemu nisi napisao ni kakva je mreza u pitanju, ni sta hoces da postignes...

Ako prodajes internet preko ADSL-a drugarima, onda p2p moze da bude problem jer ne verujem da ce ADSL ruter da forwarduje saobracaj kada se napuni nat tabela (oko 1000 sesija).

Edit: ima par postova na ES vezano za filter p2p-a i limitiranje konekcija pa pretrazi...

Regexp koji smo mi koristili u testovima:
^(\x13bittorrent protocol|azver\x01$|get /scrape\?info_hash=|get /announce\?info_hash=|get /client/bitcomet/|GET /data\?fid=)|d1:ad2:id20:|\x08'7P\)[RP]

Edit 2:

Moze mnogo da se experimentise... recimo mozes da 'hvatas' p2p po portu 80 pa da dropujes taj saobracaj.
Takodje mozes da limitiras samo l7 markirane pakete na odredjeni broj po hostu, tako da time ne utices na rad ostalih tcp servisa kod klijenta.
Mozes da limitiras l7 udp strimove isto kao i tcp...

::www.kladovo.net ::

Odgovor na temu

Aleksandar1987

Član broj: 129312
Poruke: 119
*.ptt.rs.

+1 Profil

Re: Ogranicenje broja konekcija u sekundi po korisniku?

^{13.01.2015. u 19:58 - pre 112 meseci}

Citat:

Mile-Lile:

Citat:

Aleksandar Đokić:

Citat:

ako te torenti muče trebalo bi i udp konekcije ograničiti...

Mile, UDP je "connection-less", tako da u stvari ne postoji UDP "konekcija".

Mada je tacno da od verzije (cini mi se) 5.7 u Mikrotiku moze da se ogranici i broj UDP "strimova".

Ja bih isto zeleo da ogranicim broj konekcija za p2p. Tacnije cilj mi je da u mrezi od 20ak racunara svi normalno surfaju ako jedan korisnik upali torrent. Interesuje me ovaj timeouts, deluje mi jako zanimljivo kroz pricu pa bih isprobao. Moze detaljno objasnjenje kroz winbox? Hvala unapred!

Odgovor na temu