Srodne teme

14.04.2024. Re: Gde je Kejt? (samo pogrešni odgovori)
20.06.2001. Squid-Cache (dot) org
16.01.2002. SQUID - multiple parent
03.01.2004. Proxy/Mail server
16.12.2003. Pristup news serveru iz mreze
18.11.2004. Transparentni proxy Squid SuSe 9.0 ?
19.01.2005. Squid proxy problem
18.01.2005. Squid Proxy Server
18.01.2005. podesavanje squida proxya za p2p mrezu
23.02.2005. squid za pocetnika

Navigacija

Brisanje liste

Lista poslednjih: 16, 32, 64, 128 poruka.

Squid proxy server, iskustva imisljenja

[es] :: Wireless :: Mikrotik :: Squid proxy server, iskustva imisljenja

Strane: 1 3

[ Pregleda: 8932 | Odgovora: 42 ] > FB > Twit

Autor

nino1987
nino1987
Optima Telekom, Hrvatska

Član broj: 24638
Poruke: 381
*.adsl.net.t-com.hr.

+14 Profil

Re: Squid proxy server, iskustva imisljenja

^{09.02.2011. u 17:51 - pre 160 meseci}

uuuu vidim da imas super statistiku. kolko ti ustedi oko 35/40% ? najljepsi mi ovaj plavi neboder di pise videos flv :)

ROCK"n"Roll

Odgovor na temu

BigFoot
Boban Jovanović
Arilje

Član broj: 1098
Poruke: 991
*.dynamic.sbb.rs.

+35 Profil

Re: Squid proxy server, iskustva imisljenja

^{09.02.2011. u 18:14 - pre 160 meseci}

Kako kad

Kako i ne bila dobra kad su 4 Squid instance pokrenute, jedna master + 3 Round-robin... Nego mreža mala, nekomercijalna, pa zver ne može da bude ni probudjena, a kamoli iskorišćena...

_{[Ovu poruku je menjao BigFoot dana 09.02.2011. u 21:45 GMT+1]}

Two beer or not two beer...

Odgovor na temu

nino1987
nino1987
Optima Telekom, Hrvatska

Član broj: 24638
Poruke: 381
*.adsl.net.t-com.hr.

+14 Profil

Re: Squid proxy server, iskustva imisljenja

^{09.02.2011. u 20:30 - pre 160 meseci}

nema veze bitno da se vidi na grafikonu da radi kako treba :)

ROCK"n"Roll

Odgovor na temu

zivanicd
Dejan Zivanic
KLADOVONET ISP
Kladovo

Član broj: 137218
Poruke: 1129
*.CyberCity.KladovoNet.Com.

Sajt: www.kladovo.net

+139 Profil

Re: Squid proxy server, iskustva imisljenja

^{09.02.2011. u 23:14 - pre 160 meseci}

... :)

:) :) :)

:)

:):)

:))))))

::www.kladovo.net ::

Odgovor na temu

BigFoot
Boban Jovanović
Arilje

Član broj: 1098
Poruke: 991
*.dynamic.sbb.rs.

+35 Profil

Re: Squid proxy server, iskustva imisljenja

^{10.02.2011. u 09:02 - pre 160 meseci}

Probah UTF-8, razne ISO-8859-x, rusku ćirilicu (KOI8-R), ali ne mogu da dešifrujem. Da se nije tastatura zaglavila na tačkicama i zagradama ili je neki novi Kladovo Encoding izmišljen?

Nego, zna li ko ovo da protumači (sa nekim standardnim Encoding-om):

Connection information for squid:
Number of clients accessing cache: 73
Number of HTTP requests received: 2900054
Number of ICP messages received: 0
Number of ICP messages sent: 0
Number of queued ICP replies: 0
Number of HTCP messages received: 0
Number of HTCP messages sent: 0
Request failure ratio: 0.00
Average HTTP requests per minute since start: 584.5
Average ICP messages per minute since start: 0.0
Select loop called: 139419234 times, 2.135 ms avg
Cache information for squid:
Request Hit Ratios: 5min: 37.4%, 60min: 27.1%
Byte Hit Ratios: 5min: 44.7%, 60min: 26.9%
Request Memory Hit Ratios: 5min: 26.0%, 60min: 33.1%
Request Disk Hit Ratios: 5min: 51.1%, 60min: 32.5%
Storage Swap size: 120381720 KB
Storage Mem size: 1048700 KB
Mean Object Size: 188.78 KB
Requests given to unlinkd: 976

Koliko čujem, ovo Byte Hit Ratio je bitnije od Request Disk/Memory Hit Ratio?

_{[Ovu poruku je menjao BigFoot dana 10.02.2011. u 10:18 GMT+1]}

Two beer or not two beer...

Odgovor na temu

zivanicd
Dejan Zivanic
KLADOVONET ISP
Kladovo

Član broj: 137218
Poruke: 1129
*.CyberCity.KladovoNet.Com.

Sajt: www.kladovo.net

+139 Profil

Re: Squid proxy server, iskustva imisljenja

^{10.02.2011. u 09:14 - pre 160 meseci}

:D

Da prevedem..... squid rules... Jedino je malo nezgodno sto ne mozes da napravis tcp_outgoing_address dynamic za potrebe RapidShare-a i slicnih sajtova...

::www.kladovo.net ::

Odgovor na temu

BigFoot
Boban Jovanović
Arilje

Član broj: 1098
Poruke: 991
*.dynamic.sbb.rs.

+35 Profil

Re: Squid proxy server, iskustva imisljenja

^{10.02.2011. u 09:23 - pre 160 meseci}

Kažu da i to može, ako iza Squid-a ima neki LB. Medjutim, ja jednom pitah, ali ispade da ni ovo nije moguće...

Two beer or not two beer...

Odgovor na temu

zivanicd
Dejan Zivanic
KLADOVONET ISP
Kladovo

Član broj: 137218
Poruke: 1129
*.CyberCity.KladovoNet.Com.

Sajt: www.kladovo.net

+139 Profil

Re: Squid proxy server, iskustva imisljenja

^{12.02.2011. u 22:50 - pre 160 meseci}

Moguce je... Ako se ne snadjes u mom odgovoru, poshalji PM pa cu ti poslati step-by-step.

Moras da budes konkretniji sa konfiguracijom... (kolko tikova, kolko linkova i ostalo)...

Sa tikom i squidom mozes da radis loadbalance na N nezavisnih linkova.

Poz

::www.kladovo.net ::

Odgovor na temu

dualze
alen markovic
dual

Član broj: 254852
Poruke: 151
77.239.26.*

Profil

Re: Squid proxy server, iskustva imisljenja

^{15.02.2011. u 17:10 - pre 160 meseci}

a ja sada imam problem sa squidom. sve radi lijepo, a onda odjednom samo zaglupi i nece da otvori nikakav sajt ili ga otvara 5 min.
znaci nije do opterecenja rama niti hdd-a jer masina ima 6 GB rama a tek manje od 1 GB koristi, takodjer i hdd nije oppterecen.
a sto je najgore nekad radi 30min pa zaglupi a nekad radi 10 sati, nikad ne znam vrijeme kad ce zaglupiti.
pratio sam da nije zbog prevelikog broja zahtjeva, al nije ni to u pitanju.

imal ko kakvu ideju u cemu je kvaka?

P.S.
@zivanicd ja ti slabo mail vezano za squid al ne znam jesil dobio, jer nisam dobio nikakav odgovor :)

Odgovor na temu

Aleksandar Đokić

Član broj: 13478
Poruke: 4793
*.dynamic.isp.telekom.rs.

+638 Profil

Re: Squid proxy server, iskustva imisljenja

^{15.02.2011. u 17:40 - pre 160 meseci}

da nije cache?

Odgovor na temu

dualze
alen markovic
dual

Član broj: 254852
Poruke: 151
77.239.26.*

Profil

Re: Squid proxy server, iskustva imisljenja

^{15.02.2011. u 18:40 - pre 160 meseci}

nebi reko, jer zna zablokirat odma nakon 10 min rada, a nekad zna raditi po 10-15 sati bez problema. kao da se desi neki loop ili tako sta.
koristio sam squid 3.0 pa kontam da nije do verzije mada pise da je stable

Odgovor na temu

BigFoot
Boban Jovanović
Arilje

Član broj: 1098
Poruke: 991
*.dynamic.sbb.rs.

+35 Profil

Re: Squid proxy server, iskustva imisljenja

^{15.02.2011. u 20:51 - pre 160 meseci}

Proveri DNS. Ja isto imam trenutna usporenja, a još nisam pronašao pravi razlog. Moguće da je i preopterećenje mreže, posebno ako Squid-u nisi pravilno limitirao protok pa uzme max i zakuca link.

Two beer or not two beer...

Odgovor na temu

zivanicd
Dejan Zivanic
KLADOVONET ISP
Kladovo

Član broj: 137218
Poruke: 1129
*.CyberCity.KladovoNet.Com.

Sajt: www.kladovo.net

+139 Profil

Re: Squid proxy server, iskustva imisljenja

^{15.02.2011. u 21:27 - pre 160 meseci}

Uh... ja se izvinjavam ako nekom nisam odgovorio na mail... jednostavno mi se ponekad desi da mi "izadju iz vidnog polja", tj da nisu u "last 20" pa onda nikad i ne odgovorim...

Tuningovanje squida je opipljiva stvar... i dosta se razlikuje od opterecenosti mreze...

Nasa mreza trenutno propusta nekih 1200 wireless korisnika kroz squid. Saobracaj na squid-u je oko 80-100Mbps u vecernjim satima.

E sad problem da sve stane moze da bude visestruki, pogotovu ako mashina gde je squid sluzi i kao NAT server...

Najbolje je da se provere logovi (syslog, access.log, cache.log).

Moja pretpostavka (ako nije tuningovan linux server) je da je squid ostao bez filedescriptora.

Takodje je pozeljno da se na mashini gde je linux promene timeout vrednosti za connection tracking.

Established connection timeout je 1 dan po defaultu, tako da vremenom squid izgenerise previse konekcija i napuni tcp conntrac table i pojede filedescriptore.

::www.kladovo.net ::

Odgovor na temu

zivanicd
Dejan Zivanic
KLADOVONET ISP
Kladovo

Član broj: 137218
Poruke: 1129
*.CyberCity.KladovoNet.Com.

Sajt: www.kladovo.net

+139 Profil

Re: Squid proxy server, iskustva imisljenja

^{15.02.2011. u 21:49 - pre 160 meseci}

Da napisem u posebnom postu:
Eksperimentisanjem sam utvrdio da je coss storeio type dosta dobar. Problem je sto nije podrzan u 3.0 verzijama. Sa druge strane 3.0 verzije podrzavaju weighed loadbalance parent pa je zaista tesko izabrati koju verziju squida korisititi.

Nas trenutni konf:
Squid Cache: Version 2.7.STABLE9
configure options: '--prefix=/usr' '--localstatedir=/var' '--sysconfdir=/etc/squid' '--with-maxfd=8192' '--enable-removal-policies=heap,lru' '--enable-linux-netfilter' '--enable-storeio=ufs,aufs,null,diskd,coss' '--enable-epoll' '--disable-ident-lookups' '--enable-async-io' '--enable-truncate' '--with-pthreads' '--disable-dlmalloc' '--with-large-files' '--enable-htcp' '--enable-coss-aio-ops' '--enable-large-cache-files'

--with-large-files omogucava logove vece od 2Giga. Squid puca ako logovi dodju na 2Giga. Zato nama logrotate radi svaki dan zip logova.
--with-large-cache-files omogucava skidanje velikih fajlova (veci od 1GB ili 2GB) jer i tu ima squid neki bug.

Do 60Mbps smo koristili coss za fajlove manje od 24k i diskd za fajlove vece od 24k.
SQUID proces smo forsirali na jedno jezgro a diskd proces na drugo.
Eksperimentisali smo i sa vise squid procesa na jednoj mashini i to takodje lepo radi.

Mashina je Xeon E5310 FS Primergy sa 6Giga ECC rama i 2x500 GB raid.

Da li je zbog raida ili zbog velikih IO zahteva na disku, opterecenje mashine na 60Mbps je dostizalo i 90% pri uptime komandi. Pri SNMP merenju opterecenje pokazuje oko 25% CPU.

Trenutno koristimo null storeio i squid sluzi kao loadbalancer. Opterecenje pri 80-100MBps je oko 60-70%.

TIMEOUTS:

# Timeouts
net.ipv4.tcp_keepalive_time = 180
net.ipv4.tcp_keepalive_intvl = 60
net.ipv4.tcp_fin_timeout = 30

# Filedescriptors
fs.file-max = 30000

Broj default filedescriptora je 1024 na linuxu, kao i na squidu kad se kompajlira "po defaultu".

squidclient:
Number of clients accessing cache: 524
Number of HTTP requests received: 367707
Average HTTP requests per minute since start: 9760.3
Cache information for squid:
Request Hit Ratios: 5min: 4.9%, 60min: 4.7%
Byte Hit Ratios: 5min: 3.6%, 60min: 3.9%
Request Memory Hit Ratios: 5min: 67.9%, 60min: 64.7%
Request Disk Hit Ratios: 5min: 0.1%, 60min: 0.0%
CPU Usage: 49.87%
CPU Usage, 5 minute avg: 43.87%
CPU Usage, 60 minute avg: 50.09%
Maximum number of file descriptors: 8192
Largest file desc currently in use: 774
Number of file desc currently in use: 564
Available number of file descriptors: 7628
Reserved number of file descriptors: 100
Store Disk files open: 0
IO loop method: epoll

[root@powerslave accounting]# uptime
22:46:56 up 148 days, 14:56, 3 users, load average: 0.55, 0.53, 0.57

[root@powerslave accounting]# free
total used free shared buffers cached
Mem: 6197132 4468384 1728748 0 375604 2129748
-/+ buffers/cache: 1963032 4234100
Swap: 4112376 9596 4102780

I da napomenem na kraju da su sva podesavanja koja smo radili bila PIG metodom :) Proba i greska... Ovo je konf koji nama trenutno lepo funkcionise. Ostaje da probam da skinem diskove iz raida i da vidim kako ce squid raditi na posebnom disku i da li bi opterecenje mashine bilo manje.

Poz

::www.kladovo.net ::

Odgovor na temu

dualze
alen markovic
dual

Član broj: 254852
Poruke: 151
87.250.116.*

Profil

Re: Squid proxy server, iskustva imisljenja

^{16.02.2011. u 14:49 - pre 160 meseci}

@BigFoot mislim da je do linka. kod mene je 10mbit link i kad on zakuca squid pobudali.

da li n asquid uticu drugi serveri tima web,ftp,mysql itd. ako su na istoj masini

Odgovor na temu

zivanicd
Dejan Zivanic
KLADOVONET ISP
Kladovo

Član broj: 137218
Poruke: 1129
*.CyberCity.KladovoNet.Com.

Sajt: www.kladovo.net

+139 Profil

Re: Squid proxy server, iskustva imisljenja

^{16.02.2011. u 16:15 - pre 160 meseci}

i nama je link povremeno zakucan pa ne utice to na squid..

sve aplikacije koje rade na toj mashini naravno da uticu, mada smatram da web, ftp i slicni serveri ne opterecuju mnogo procesor, osim ako na toj mashini ne hostujes neki zesci webhosting :)

poz

::www.kladovo.net ::

Odgovor na temu

dualze
alen markovic
dual

Član broj: 254852
Poruke: 151
77.239.26.*

Profil

Re: Squid proxy server, iskustva imisljenja

^{16.02.2011. u 17:18 - pre 160 meseci}

@zivanicd koji ti je linux na toj m asini. upravo zavrsavam instalaciju 3.1 verzije koja podrzava multiprocesore. staru verziju sam obrisao pa cemo vidjeti kako ce ovo frcerat.

Odgovor na temu

zivanicd
Dejan Zivanic
KLADOVONET ISP
Kladovo

Član broj: 137218
Poruke: 1129
*.CyberCity.KladovoNet.Com.

Sajt: www.kladovo.net

+139 Profil

Re: Squid proxy server, iskustva imisljenja

^{16.02.2011. u 18:12 - pre 160 meseci}

Fedora Core 11.

::www.kladovo.net ::

Odgovor na temu

BigFoot
Boban Jovanović
Arilje

Član broj: 1098
Poruke: 991
*.dynamic.sbb.rs.

+35 Profil

Re: Squid proxy server, iskustva imisljenja

^{16.02.2011. u 22:35 - pre 160 meseci}

Potpuno sam zaboravio na Linux connection tracking. Sad sam podesio, ali i dalje imam puno konekcija. Npr.

Code:
root@proxy:~# netstat -ant |wc -l
2064

Da li je ovo ok?

Drugi, možda problem, jeste što imam puno konekcija na MT oblika:

Code:

U <proxy_IP>:3128 -> <user_IP><neki_port> established

U - Unreplied

Npr.

Code:
U 10.17.0.21:3128 -> 172.16.2.233:44266 established
...

Kako napraviti neku dijagnostiku ovoga, neki debug ruta, konekcija? Zašto su ove konekcije Unreplied? Da li su ovo možda Related konekcije ili je ovo normalno? Sve ovo je u kombinaciji sa PCC LB.
Konfiguracija je sledeća. Za svaku konekciju van na portu 80, MT radi dstnat <user_IP>:80 na 10.17.0.21:3128, a onda proxy pravi konekciju van <proxy_IP>:3128 -> <van_IP>:80. Možda je problem povratna ruta jer se ne radi NAT prema proxy?

Two beer or not two beer...

Odgovor na temu

dualze
alen markovic
dual

Član broj: 254852
Poruke: 151
77.239.26.*

Profil

Re: Squid proxy server, iskustva imisljenja

^{19.02.2011. u 10:39 - pre 160 meseci}

rjesio sam problem sa squidom.
ukratko komplet server sam nanovo odradio, centos 5.5. + SQUID 3.1.

u ovoj verziji su izbacenne neke komandea u odnosu na 2.7 tako da oni primjeri za youtube ne rade.
u odnosu na stare verzija ova verzija ima komandi koje automatski rade, pa je moguce da i youtube tako radi.
uglavnom koliok sam primjetio kesira audio,video fajlove.
sve do sadasnje verzije su singlecore, a u novoj verziji (3.2. koja jos nije stable) najavili su da ce biti multiprocesorska.

Odgovor na temu

[es] :: Wireless :: Mikrotik :: Squid proxy server, iskustva imisljenja

Strane: 1 2 3

[ Pregleda: 8932 | Odgovora: 42 ] > FB > Twit

Srodne teme

06.05.2005. Squid ACL kontrole
27.05.2005. proxy na proxy i iznajmljeni vod
03.02.2007. Proxy server????????????
07.06.2007. Squid Proxy i rekompresija slika
14.06.2007. Squid kao transparent proxy a pritom nije gateway..
13.09.2007. ***Proxy Server i Flesh site***
28.01.2009. Konfiguracija Squid proxy servera!!!
12.05.2009. Proxy cache server i Web server na istom CentOS s..
22.10.2009. mikrotik open proxy ???

Navigacija

Lista poslednjih: 16, 32, 64, 128 poruka.