SREとコーポレートエンジニアをやっている @sion_cojp です。
今回は新オフィスのネットワーク構築を実施したので、こちらについてお話します。
私自身、学生時代の研究や、10年前にデータセンターのネットワーク構築しか経験がないため、所々おかしな点があるかもしれませんが、ご了承ください。
また今回相談に乗ってくださった @kajinari さんに感謝の意を表します。
TL;DR
- 旧オフィスはとても不安定なネットワークでしたが
- coltの回線とmerakiのネットワーク機器で
- 快適なネットワークができました
- 予算問題で達成できなかったこと: L3/L2機器 + ネットワーク回線の冗長化
なんで今オフィス移転？
旧オフィスの契約終了が7月末だったため、新しいオフィスはコロナが流行する前に契約しました。
違約金など考慮した結果、オフィス移転の判断をしております。
もちろん新オフィスを構えましたが、会社としては現在もリモートワーク推奨です。
旧オフィスの課題
回線が家庭用だったため、数百人規模には耐えれませんでした。
docker pullしてネットワークが落ちたこともありますし、日常的に遅くなったりとても不安定でした。
またネットワーク構築をアウトソースしているため、ネットワーク機器にアクセス出来ず、設定変更するにも連絡しないとダメでした。
これを踏まえて、自分たちでネットワーク構築する判断をしました。
設計
こちらの図はdraw.ioで書いて、png + drawioファイルをGitHubで管理しております。
L3, L2ですが、予算の兼ね合いで一旦シングル構成にしております。APに関しても工事と予算の関係上、半分の台数のみ購入となっております。
そのため弊社で根幹となっている、カスタマーサポートと「ネットワークが止まった場合のフロー」を相談し合意の上でシングル構成にしました。
いずれ冗長構成にする予定です。
配線
天井と床下があり、それぞれ図面から長さを測って作成しました。
同じようにGitHubで管理しております。
こちらをオフィス移転の工事業者に提出して配線依頼しました。
また年内は諸事情により、図の右半分だけのオフィス運用になっておりますが、配線だけは全部完了させて、使ってないLANケーブルはネットワークポートのほうでshutdownしております。
業者を呼ぶ手間と料金を省きたかったからです。
L3, L2
コンソールケーブルやSSHで設定...私は可能性ですが、今時代だと管理コストが高いため、全てcisco merakiにしました。
選定理由はオフィスネットワークで安定した結果を出しておりますし、dashboardから機器の管理, 設定が可能なのである程度ネットワーク知識さえあれば設定できると思ったからです。
またmerakiだとWLC（ワイヤレスコントローラー）が不要なのもメリットです。
こちらはCTCから下記を購入しております。
L3(MX100) ×1台, L2(MS120-48) ×1台, AP(MR36) ×3台（１台は今の所予備機）
機種の選定理由は下記。
- MX100...数年後見据えた人員計画を元に、最大収容人数と合致したのがこれでした。
- MS120-48...1000Base対応 + 要件的に48ポート欲しかったのでこちらに。
- MR36...将来クライアントで利用できるWiFi6(802.11ax)対応 + PoE。ある程度長く使えそうだと思いました。
VLANや設定周り
有線LANはMACアドレスフィルタリングと固定IPで管理するようにしております。これにより第三者が有線LANを物理的に奪ってからのクラッキングリスクを防ぎます。
WiFiに関しては、ゲスト用はプリンタに接続出来ないようにしてます。プリンタを踏み台にしたクラッキングリスクを防いでます。
また弊社にはネットワークカメラがあるので、そちらにはどの端末からもLocal IPアクセス出来ないようVLANを切ってます。
AP
APの配置は柱などで電波が届かない場所を考慮しながら設置します。
そしてAPの台数を決めるのにクライアント数の計算は必要です。
社員1人あたり、2~3クライアント（PC, スマフォ,検証端末）* 100 = 200~300クライアント。
また、いずれできるオープンスペースの収容人数も追加計算しました。
一般的には1APあたり20~25らしいですがあくまで目安なので、もっと多くのクライアントを捌くことも出来ます。
そこら辺は経験の上、台数を決めて、もし足りなくなったら増やす方針にしました。
またLANケーブルから電力供給するため、PoE対応のものが必須です。
ラック
摂津金属工業のサイトから購入しました。
選定理由はデータセンターでも実績があり、安心感がありました。
ポイントはONU（実際は回線業者から提供されたスイッチ）を置く棚板 + L3 ×2台 + L2 ×2台分のU数は確保したいですね。
またLANケーブルを地面に置いたりする可能性があるので、その分のスペースも確保すると良いです。
最終的に購入したのは下記となります。
- SKR-16U60A0VB - 背面マウントのSKRO-16UPF-B（黒色）追加、 - コインロックのSKRO-3CL追加 - 棚板（D600㎜）1セット、耐サージ機能付OAタップ（8口）2本
電源
電源の冗長化のために、オフィスのビルに２系統引いてます。
（と言っても今はシングル構成なので、意味ないですが将来のため。。）
回線
Colt 300M Fixed（帯域保証）の回線を利用してます。
選定理由は金融機関でも使われてるため安心して利用出来そうだったからです。
社員が増えれば1Gにupgradeも良いでしょう。
またネットワーク冗長で、Nuroあたりの従量課金もサブで利用したかったのですが、予算のため今回はやっておりません。
ラック内配線のポイント
実際のラックです。
配線のポイントとしては、ラックの外側にLANケーブルを這わせることです。
もし面倒くさがってラックの内側からケーブリングしてしまうと、機器を追加マウントする時にケーブルが邪魔になる可能性があります。
また今後追加予定の機器を想定してスペースを確保してます。
GitHubで管理してるもの
- ネットワーク設計図
- 天井、床下の配線図
- 固定IP/VLAN/SSIDのリストとdescription
- 購入->初期設定の手順やこの構成になった経緯
- 各機器の問い合わせ先と契約内容
などを管理してます。余談ですが、ネットワーク以外にもプリンタ周りや、セキュリティソフト関連もGitHubで管理しております。
どれくらい期間かかるの？
基本的にネットワーク機器、ラック、回線の手配で2ヶ月はみた方がいいでしょう 特に回線ですが、コロナ禍やオリンピックの影響で手配が遅れる可能性が高いです。
参考にした資料は？
出たエラーに関してgoogleで検索すれば大抵の内容はhttps://community.meraki.com/ で議論されてるので、それを読めば解決しました。
アウトソースしなかったメリットについて
ネットワーク機器のアクセス権があるので、好きなタイミングで自分たちで設定出来るのが嬉しいですね。 ある程度ネットワークの知識があるならアウトソースしないほうがコストと運用面でメリットが大きいと思います。
まとめ
素人ながらネットワーク設計をしっかり調べてやった結果、旧オフィスと比べ物にならないくらい快適なネットワーク環境になりました。
移転後、ネットワーク周りの問い合わせが来ないかとても不安でしたがそれもなかったです。
merakiには様々な設定があるみたいなので、もっと学んで強化していきたいと思います。
