Problem od kog sam počeo da ćelavim...
Servis koji trenutno koristimo (jedan od eksterno hostovanih), treba da migriramo u Google cloud. Od servis provajdera (GCP ne radi direktno sa nama već sa našim provajderom) smo dobili parametre (lokalna mreža, adresa peer-a) i link ka dokumentu u kom piše kako se konfiguriše IKEv2 između Cisco-a i njihovog VPN rešenja. Koje je nekakav strongSwan (nkad čuo do tad, Linux open source VPN). Konfigurišem, tunel se podigne odmah i kreće veselje... Saobraćaj ide, ali uz momački packet loss. Aplikacija koja kroz taj tunel radi, radi toliko kilavo da je praktično neupotrebljiva. Kad pingujem privatnu adresu servera na kom se vrti aplikacija, ping nekad prođe bez i jednog izgubljenog paketa, nekad ne prođu 3 od 10, 6 od 20, nikakvog pravila nema. Mrežu koju su mi dali nemam kod sebe (pa da kažem da je problem u rutiranju), saobraćaj ka njoj hvata default ruta i baca gde treba. Vidim da paketi ulaze u tunel, ali mi se ne vraćaju svi. Tunel je stabilan, ne puca, javnu adresu pingujem bez problema ( i oni moju takođe), ali ping kroz tunel ka-ta-stro-fa.
Kako mreža izgleda:
Kampus core svič 6880-X-LE (dva u VSS-u), na njemu konfigurisan VLAN koji ide u tunel. Na core vezana gomila IA6800 (15kom, 48 portova na svakom), na njihove portove vezani korisnici iz predmetne mreže. Kampus core svič vezan na DC core (opet dva 6807-XL) optikom preko dva provajdera (Telekom L2VPN 150Mbps i SBB EPL 800Mbps), OSPF se stara da saobraćaj ide preko boljeg linka. DC core direktno vezan na VPN gateway (ASA 5525X sa FirePOWER servisima). Na ASA-i imam gomilu podignutih tunela (IKEv1 i jos jedan IKEv2) i svi rade kako treba bez i jednog problema godinama. Ali ovaj... Ubi!
Tu se negde uključuje i Google ekipa i počinje da me bombarduje. Te ne valja ti rutiranje u lokalnoj mreži, pa ne valja ti konfiguracija tunela (koji je u tom trenutku bio up nekih 7 dana...), zeza te softver na uređajima (uradim upgrade svega na ASA-ma, tu su bili u pravu, puknem poslednju preporučenu verziju, sad je na 9.8(4)15, svi ostali uređaji su bili ok) i ništa. Opet isto. Isključim inspekciju saobraćaja za obe mreže (i moju i njihovu) misleći da to pravi problem, isto. Paketi se gube. Odem kod kolega na lokaciju da testiram sa čiste masine, klot Windows 10, ugašen Defender i firewall, bez antivirus softvera, isto. Sa tog istog laptopa startujem virtualku sa nekim Linux-om, tcpdump i ping daju isti rezultat, paketi se gube. Otvorim TAC case, zakači se čovek, pregleda sve i na ASA-i i na svičevima, isprati sav saobraćaj i kaže mi da je kod mene sve u redu i da moji uređaji sigurno nisu uzrok problema. Javim to drugoj strani, kažu mi da je to OK, ali 'ajde ti prijatelju promeni provajdera za probu, to te nesto zeza ili MTU (smanji/povećaj) ili ISP.
Posle ovog sam bio prilično neprijatan, kažem im da je MTU na interfejsima na 1500 (default vrednost) i da se sa tim neću igrati, taman da nebo padne.
što se promene provajdera tiče, kažem im da mi nismo trafika, da imamo svoj AS i BGP peering sa dva ISP-a i da mi daju više iformacija o njihovoj strani, pa da probamo da rešimo problem jednom za svagda, kao ljudi. Pogađate, Google mi nije dao ništa (a tražili su od mene sve i svašta i dao sam im). Predložim da napravimo IKEv1 tunel (pomislim da mozda IKv2 sa moje strane može da napravi problem sa tim njihovim rešenjem), isto. Opet packet loss. Vratimo na IKEv2, ali promenimo lokalnu mrežu (moju), da ne bih stalno trčao do aerodroma (znam, znam, RSPAN...) i nazad, a i da bih promenio putanju i uređaje i linkove sa moje strane, opet isto.
E, sad ide najluđa stvar. Zamolim ih da dignu server u nekom drugom data centru (do tad sam gađao Cirih) i da probamo i tu varijantu. Kažu u redu, evo ti nova mreža, nova javna, IKEv2, diži tunel. Uradim, tunel se podigne, ali saobraćaja nigde! Ništa sa moje strane ne izlazi napolje. Parametri oba tunela su isti, imam dve access liste koje trigeruju saobraćaj (po jedna za svaki tunel), onaj prvi radi isto onako kilavo, ali preko novog ništa ne ide. Digli smo ga samo da bismo testirali ping. Ali ja ni do tunela ne stižem. A ping na novu javnu ide normalno i bez ikakvog problema.
Jel ima neko ideju šta još mogu da pogledam, probam, uradim, ja stvarno više ne znam šta da radim.
Servis ne možemo da migriramo dok ovo ne rešim, stari radi savršeno vec godinama, tunel nije na ASA-i
već na jednom starom 1841 (samo njega nisam prebacio, mrzelo me, da budem iskren).
Uzgred, sad, u ovo ludo vreme, na ASA-u mi se svaki dan kači izmedju 300 i 400 klijenata AnyConnect-om i niko nikakav problem nema.
Hvala svakom ko pročita ovaj čarsaf, a naročito onom ko kaže da nisam (mnogo) glup.
Servis koji trenutno koristimo (jedan od eksterno hostovanih), treba da migriramo u Google cloud. Od servis provajdera (GCP ne radi direktno sa nama već sa našim provajderom) smo dobili parametre (lokalna mreža, adresa peer-a) i link ka dokumentu u kom piše kako se konfiguriše IKEv2 između Cisco-a i njihovog VPN rešenja. Koje je nekakav strongSwan (nkad čuo do tad, Linux open source VPN). Konfigurišem, tunel se podigne odmah i kreće veselje... Saobraćaj ide, ali uz momački packet loss. Aplikacija koja kroz taj tunel radi, radi toliko kilavo da je praktično neupotrebljiva. Kad pingujem privatnu adresu servera na kom se vrti aplikacija, ping nekad prođe bez i jednog izgubljenog paketa, nekad ne prođu 3 od 10, 6 od 20, nikakvog pravila nema. Mrežu koju su mi dali nemam kod sebe (pa da kažem da je problem u rutiranju), saobraćaj ka njoj hvata default ruta i baca gde treba. Vidim da paketi ulaze u tunel, ali mi se ne vraćaju svi. Tunel je stabilan, ne puca, javnu adresu pingujem bez problema ( i oni moju takođe), ali ping kroz tunel ka-ta-stro-fa.
Kako mreža izgleda:
Kampus core svič 6880-X-LE (dva u VSS-u), na njemu konfigurisan VLAN koji ide u tunel. Na core vezana gomila IA6800 (15kom, 48 portova na svakom), na njihove portove vezani korisnici iz predmetne mreže. Kampus core svič vezan na DC core (opet dva 6807-XL) optikom preko dva provajdera (Telekom L2VPN 150Mbps i SBB EPL 800Mbps), OSPF se stara da saobraćaj ide preko boljeg linka. DC core direktno vezan na VPN gateway (ASA 5525X sa FirePOWER servisima). Na ASA-i imam gomilu podignutih tunela (IKEv1 i jos jedan IKEv2) i svi rade kako treba bez i jednog problema godinama. Ali ovaj... Ubi!
Tu se negde uključuje i Google ekipa i počinje da me bombarduje. Te ne valja ti rutiranje u lokalnoj mreži, pa ne valja ti konfiguracija tunela (koji je u tom trenutku bio up nekih 7 dana...), zeza te softver na uređajima (uradim upgrade svega na ASA-ma, tu su bili u pravu, puknem poslednju preporučenu verziju, sad je na 9.8(4)15, svi ostali uređaji su bili ok) i ništa. Opet isto. Isključim inspekciju saobraćaja za obe mreže (i moju i njihovu) misleći da to pravi problem, isto. Paketi se gube. Odem kod kolega na lokaciju da testiram sa čiste masine, klot Windows 10, ugašen Defender i firewall, bez antivirus softvera, isto. Sa tog istog laptopa startujem virtualku sa nekim Linux-om, tcpdump i ping daju isti rezultat, paketi se gube. Otvorim TAC case, zakači se čovek, pregleda sve i na ASA-i i na svičevima, isprati sav saobraćaj i kaže mi da je kod mene sve u redu i da moji uređaji sigurno nisu uzrok problema. Javim to drugoj strani, kažu mi da je to OK, ali 'ajde ti prijatelju promeni provajdera za probu, to te nesto zeza ili MTU (smanji/povećaj) ili ISP.
Posle ovog sam bio prilično neprijatan, kažem im da je MTU na interfejsima na 1500 (default vrednost) i da se sa tim neću igrati, taman da nebo padne.
što se promene provajdera tiče, kažem im da mi nismo trafika, da imamo svoj AS i BGP peering sa dva ISP-a i da mi daju više iformacija o njihovoj strani, pa da probamo da rešimo problem jednom za svagda, kao ljudi. Pogađate, Google mi nije dao ništa (a tražili su od mene sve i svašta i dao sam im). Predložim da napravimo IKEv1 tunel (pomislim da mozda IKv2 sa moje strane može da napravi problem sa tim njihovim rešenjem), isto. Opet packet loss. Vratimo na IKEv2, ali promenimo lokalnu mrežu (moju), da ne bih stalno trčao do aerodroma (znam, znam, RSPAN...) i nazad, a i da bih promenio putanju i uređaje i linkove sa moje strane, opet isto.
E, sad ide najluđa stvar. Zamolim ih da dignu server u nekom drugom data centru (do tad sam gađao Cirih) i da probamo i tu varijantu. Kažu u redu, evo ti nova mreža, nova javna, IKEv2, diži tunel. Uradim, tunel se podigne, ali saobraćaja nigde! Ništa sa moje strane ne izlazi napolje. Parametri oba tunela su isti, imam dve access liste koje trigeruju saobraćaj (po jedna za svaki tunel), onaj prvi radi isto onako kilavo, ali preko novog ništa ne ide. Digli smo ga samo da bismo testirali ping. Ali ja ni do tunela ne stižem. A ping na novu javnu ide normalno i bez ikakvog problema.
Jel ima neko ideju šta još mogu da pogledam, probam, uradim, ja stvarno više ne znam šta da radim.
Servis ne možemo da migriramo dok ovo ne rešim, stari radi savršeno vec godinama, tunel nije na ASA-i
već na jednom starom 1841 (samo njega nisam prebacio, mrzelo me, da budem iskren).
Uzgred, sad, u ovo ludo vreme, na ASA-u mi se svaki dan kači izmedju 300 i 400 klijenata AnyConnect-om i niko nikakav problem nema.
Hvala svakom ko pročita ovaj čarsaf, a naročito onom ko kaže da nisam (mnogo) glup.