Nowy Spejs – sieć ethernetowa / LAN

[kpc]

Fajnie by było w nowym HS-ie porozprowadzać sieć komputerową do poszczególnych pomieszczeń, wstawić AP tak, by całość pokryć zasięgiem itp.

Ja to bym widział – docelowo – tak:

1. sieć dostawcy (ISP) doprowadzona do głównej “serwerowni” – rack od Keri
2. w racku:
   a. core infrastruktury sieciowej tzn. modem dostawcy, główny router, główny switch
   b. infra serwerowa onprem (gdy kiedyś się pojawi…)
   c. lab sieciowy – niestety, fajnie to byłoby mieć osobno ze względów bezpieczeństwa, niekoniecznie ktoś z dostępem do laba powinien mieć fizyczny dostęp do urządzeń robiących za core sieci, ale drugiego racka chyba nie dożyjemy
3. z racka rozprowadzone skrętki do poszczególnych pomieszczeń i tam lokalne switche
4. z tych switchy (to już można zrobić później zależnie od potrzeb) rozprowadzone kable do gniazdek/poszczególnych urządzeń + wpięte tam ze dwa AP na cały spejs, w takich lokalizacjach, by pokryć całość zasięgiem (jednym chyba będzie problem całość pokryć)

Oczywiście ja to widzę tak, że infrastruktura ta będzie z czasem ewoluować. Na razie skleciłbym to możliwie niskim kosztem na sprzęcie, który już mamy, i to raczej tym mało prądożernym, czyli jakieś stare domowe routerki czy małe switche, które gdzieś po spejsie się poniewierają. W docelowym układzie chciałbym mieć, jako minimum, na wszystkich switchach obsługę vlanów + wypadałoby mieć wszystkie linki przynajmniej w gigabicie. No i fajnie, by miały PoE (i AP też), z tego powodu, by nie ciągnąć tam osobno zasilania z UPS-a.

Pytania…

1. Czemu taka architektura two-tier (jeśli chodzi o switching)?
   a. Bo miedź droga i mało elastycznie pod kątem późniejszych przeróbek byłoby w razie potrzeby ciągać za każdym razem nowy kabel z głównego racka (bądź go przerabiać). A pewnie rozmieszczenie urządzeń korzystających z sieci w spejsie będzie się zmieniać. Można jeszcze odwalić takie dziadostwo, jak topologia a’la magistrala od switcha do switcha, na jednej skrętce (poszłoby mniej miedzi), ale szanujmy się.
2. Czemu core sieci w racku?
   a. Bo może się to w przyszłości rozwinie do jakichś bardziej “pro” sprzętów, poza tym osoby postronne raczej nie powinny mieć tam dostępu, przynajmniej nie w łatwy sposób (co innego do laba), a racka można zamknąć na kluczyk (nie mamy kluczyka, ale można wymienić zamki, one grosze kosztują).
3. Czemu osobno modem, router, switch?
   a. Modem osobno, bo to sprzęt dostawcy, na który nie mamy wjazdu i na którym nie możemy nic robić. Router i główny switch – na początek to może być to samo pudełko; mam w spejsie urządzenie, które można w tej roli wykorzystać (niestety z OpenWRT, które nie bardzo trawię, ale może to właśnie będzie okazja, by się nauczyć).
   b. Router powinien dostarczać, poza samym routingiem do ISP, usługi takie jak: routing (i firewall) między segmentami sieci, VPN remote access, VPN do blade’a w Warszawie (chociażby na potrzeby stojących tam usług, dostarczających “coś” w samym HS-ie, trzeba choćby w końcu tego LDAP-a postawić).

Na ten moment chodzi przede wszystkim o to, by rozprowadzić okablowanie do poszczególnych pomieszczeń, tak by to było, po prostu, tak future proof jak się da.

I nie byłoby z tym większego problemu, gdyby nie dosłownie jedna rzecz. Musimy wiedzieć, gdzie będzie docelowo stał rack. I to tak na zasadzie “na 100%”. Oczywiście na ten moment nie musimy go tam wstawiać, ale trzeba tam dociągnąć kable, z odpowiednim zapasem, by potem je do racka wprowadzić. No i przy okazji, dociągnęłoby się też do niego dedykowane zasilanie.

Ja go zawsze widziałem w Narnii (gdzieś w kącie), bo ona miała być tylko tymczasowo głównym pomieszczeniem HS-u, a docelowo – jakimś technicznym, jako magazyn itp. Ale ostatnio chyba pojawiła się koncepcja, by stała się ona głównym pomieszczeniem HS-u na stałe, przeniesiona z docelowego hardroomu, do którego Spejs wprowadza się w tym momencie.

Tylko gdzie w takim razie rack? On powinien być w miejscu, które raczej nie będzie docelowo użytkowane jako “codzienny” spejs, z uwagi na potencjalny hałas. Mogłaby to teoretycznie być docelowa “kuchnia”, ale pytanie, czy na hałas nie będą marudzić sąsiedzi, poza tym będzie to słychać z klatki schodowej i może wzbudzać zainteresowanie złodzieja. I tam dopiero będzie remont (chociaż na ten moment to może mało istotne; ale potem się okaże, że wstawimy tam racka, a dopiero później zaczniemy remontować to pomieszczenie i będzie problem). Hardroom? Istnieje ryzyko, że opiłki metalu będą wpadać do serwerów, a poza tym bez sensu ciągnąć uplink od ISP kompletnie na drugi koniec HS-u i stamtąd wracać skrętką do poszczególnych pomieszczeń. Ta Narnia wydawała się być względnie optymalna – blisko środka HS-u (tzn. mocno z boku, ale bliżej środka się już nie da), brak okien (okna w serwerowni są generalnie niewskazane), nie sąsiaduje z korytarzem kamienicy.

Co o tym sądzicie? Chętnie bym to zaczął ogarniać, bo tak czy siak w hardroomie (tymczasowy spejs) potrzebna jest sieć, a bez sensu robić z tym jakieś prowizorki, ze względu na odległość.

[d33tah]

Z serii “nie znam się, ale się wypowiem” - traktować z przymrużeniem oka, bo mocno tego nie przemyślałem:

• Podoba mi się pomysł z VLANami. Wtedy na jednej skrętce moglibyśmy ogarnąć w sumie całą “magistralę” spejsu na początek, dobrze to rozumiem? Mi się trochę marzy żeby była skrętka od kuchni do hardroomu na start. Czy wymóg POE oznacza że musimy mieć jakiś droższy kabel?
• Co do położenia racka… Hm. Na ile trudno będzie to zmienić? Na ten moment nie mamy chyba dużo hałasu, więc kuchnia “na teraz” chyba dałaby radę. Plus, biorąc pod uwagę że to bedzie to jednostajny dźwięk, czy na pewno faktycznie będzie on przeszkadzać? Ile osób może on dotknąć z kuchni? Tylko sąsiadów nad nami? Skoro zakładamy dwa racki, może dać tylko ten głośniejszy z serwerami do Narni?

Ja bardzo lubię w takich sytuacjach myślenie redukcjonistyczne i to jest mój oczywisty bias. Dlatego cały czas zadaję sobie pytanie: jak z tego co już mamy zrobić niewielkim nakładem kosztów i czasu coś co będzie lepsze? Dlatego ten rack w kuchni mi się podoba na ten moment, bo w zasadzie to już nam się tam serwerownia “wyłoniła”. Co Ty na to, @kpc?

[kpc]

Trudno będzie zmienić, bo trzeba będzie w zasadzie kłaść całe okablowanie od nowa.

Ja zakładam jeden rack, bo dwóch się raczej nie doczekamy. Chyba, że jakiś mały. Ale nie widzę w zasadzie sensu poza “fajnie by było”. Szansa, że ktoś nam się włamie do infry przez fizyczny dostęp jest znikoma, bo obcych osób raczej nie będziemy pozostawiać bez nadzoru.

Co do kuchni, obawiam się niesienia się dźwięku przez korytarz.

Jak głęboka jest ta wnęka z drzwiami do klatki schodowej, weszłoby to tam? Choć w sumie dobrze do takiego racka mieć dostęp z obu stron… A pomieszczenie “kuchni” IMO nie wchodzi w grę, bo ma wielkie okno.

Hałas w okresie początkowym nie będzie problemem, bo nikt nie będzie na stałe włączać tego wielkiego serwera.

[pzduniak]

@kpc Ogólna architektura sieci - spoko, zgadzam sie co do wszystkiego. Jednak chciałbym zaznaczyć, że ABSOLUTNIE nie możemy rozważać poszczególnych “systemów” w HSie w izolacji. Sieć telekomunikacyjna powinna być rozważana równolegle z siecią elektryczną, skoro i tak musimy zrobić wszystko od nowa. To, w jaki sposób poprowadzimy różne okablowania, będzie miało wpływ np. na to jakie przewody będziemy musieli stosować. Przy UTP zalecana jest DUŻA odległość między 230V/400V (w szczególności do hardroomu) i skrętkami itd.

@d33tah

#1 Zależy, ostatecznie zawsze musisz mieć switch, który do gniazda doczepi informację, że “to gniazdo jest na tym VLANie”. IMO najlepiej zamontować od razu koryto na przewody prowadzące do docelowej lokalizacji racka. PoE nie wymaga innych kabli. I tak w tym momencie IMO powinniśmy montować CAT6 lub lepszy - różnice w cenach są teraz znikome.

#2 Zgadzam się, żeby na razie robić “cokolwiek co będzie miało sens w kontekście remontu”. IMO nawet nie ma sensu teraz montować czegokolwiek do szafy rack, niech ona sobie gdzieś w rogu stoi, potem ją wykorzystamy. Ale absolutnie powinniśmy już szykować docelowe plany.

Przypominam też o wentylacji. I docelowym ogrzewaniu. I że to ogrzewanie będzie miało też wpływ na to, gdzie będą puszczone przewody walące polem EM. IMO należy wszystko kompilować w jednym projekcie, najlepiej w jakimś darmowym (najlepiej opensource!) programie, który by umożliwił nam wprowadzenie wszystkich instalacji. Mogę pomóc z “integracją” tego wszystkiego, zaprojektowałem wszystko u siebie w domu i wiem już trochę na temat jak to się robi.

A tak bardziej bezpośrednio, to z mojej strony mogę zaoferować, że przetestuję swój sprzęt sieciowy w HSie, zanim zamontuję go u siebie w domu. Idę w Ubiquiti - trochę nie ta półka cenowa, ale będziemy mogli sprawdzić jak poszczególne ściany blokują sygnał WiFi.

[kpc]

Zgadzam się z tobą @pzduniak co do wszystkiego, łącznie z planowaniem przebiegu wszystkich instalacji równocześnie, ale myślę też realistycznie. A realistycznie, jak tak drobiazgowo do tego podejdziemy, to w życiu w spejsie żadna infrastruktura nie powstanie. Póki co nie wiemy nawet, gdzie będzie stał rack, i mimo że to dosyć krytyczna wiedzą, wygląda na to, że trzeba się bez niej obyć.

Faktycznie fajnie by było zrobić w cat 6 przynajmniej połączenia między głównym switchem, a tymi dostępowymi. Choć gigabit raczej zestawia się też na cat 5e…