2018インフラ環境リプレース

目的

  • インフラ勉強会のインフラをOSレベルからリプレースする

既存のシステムに抱える課題

  • 監視できてない
  • 負荷分散できてない
    • 石油王 大家NW問題(遅い)
    • L3部分がシングルでCDNも入ってない
  • 基幹部分は石油王一人でやってるので属人化しがち

コンセプト

  • 先進的なアーキテクチャ(コンテナ・サーバレスなど)を積極的に採用する
    • エンジニアがワクワクできるものを作る
  • 冗長性を担保する

計画

フェーズ1

オーケストレーションツールのセットアップ

  • dozonoさんが用意してくれている仮想環境の上にVMを作って、下記環境を構築する。 - OpenShift - Kubernetes - Docker Swarm
  • →物理サーバ4台増やしましたので、使い方を考えましょう。コントローラノードは仮想? コンピュートノードは物理? とか検討できればと by dozono
  • → Nutanix CEが使えそうなので、パーツ買い足します。みんなでHCIを体験しよう(by dozono)
    • k8s、OpenShift、Docker Swarmの構築はパラレルで進行させる。(現段階でどれを採用するかは決めない)
    • どれも、オンプレミスレベルに依存させず、再現性を確保して構築する。
      • 明日までにGCP上に実装してと言われてもできるぐらいの感覚)

メンバー

名前やろうと思ってること
りょーk8s
inductorDocker Swarmをやっていく
dozonok8s, Nutanix
0Deltak8s VyOS(あれば)
takotakot
MIYATA TadaakiOpenShiftは知ってるので、逆にk8s。あと、仮想化基盤としてOpenStack検証は継続したい。本番運用させるならTripleOを試したい。
ayaponk8s/OpenShift/Nutanixどれも興味あり。受け持ち中のOpenStackのコア部分を完成→公開するのが先かも。多少面倒でも構造を詳しく理解したい
くじゃく未経験ですがk8sやってみたいです。
miyak8sやってるから、openshiftやろうかな。あとspinnaker導入してみたい
Elastic Kaji Servicek8sやりたい。
かめねこ未経験が多いですが、k8s挑戦してみたい。知らないこと知りたいです。
Genjirok8sやってみたいです。
oyazi_q9550k8sやりたい
shohe_zsmk8sもopenshiftも未経験なのでどちらでも。
花火k8s Nutanix (dozonoさんサーバーのバックアップ先になりたいな)(今Nutanixのインストールで躓いてます)
M.IR!S未経験のためk8s/openshiftどちらも興味ありです
itsuyank8s
ながしーk8sと上物のサービスも多少はやりたし
ば~そんk8s VyOS
高杉必要でしたらバックアップ拠点用意します。

使用可能HW

どうぞのさんち

種別型番数量参考URL備考
サーバ筐体PRIMERGY RX1330 M34カタログ 
CPUE3-1230v64仕様 CINT2006 Rates ≒ 265
MemorySMD4-E64G48M-24R-Q4SanMax 1サーバあたり 64GB
Disk1適当なNVMe 500GB4ホットティア。 HCIはDiskが命。PCIe接続のためのアダプタ 
Disk2SanDiskのSSD 1TB4Amazon コールドティア。 HCIはDiskが命。PCIe接続のためのアダプタ 
NICX550-T2 or X540-T2(Intel製10G)4メーカHP HCIはネットワークが命
L2スイッチXS708E1メーカHP 前職のロッカーに忘れてきたので、取りに行きます。

花火さんち

種別型番  数量参考URL備考
サーバ筐体CSE-825TQ-R740LPB1仕様 
M/BX9dr3-ln4f+1仕様 
CPUE5-26702仕様 
MemoryHMT42GR7MFRA4A  8Hynix 16GBx8
Diskintel ssd 910 400GB+HDD2TBくらい1つずつssd 910仕様 NVMeには非対応
NICFC 10G or 16G1部屋のどっかに転がってた気がする
L2スイッチ1対応スイッチいい感じの導入予定

高杉さんち

種別型番数量参考URL備考
サーバ筐体hp ProLiant DL380G62カタログ 今後最大3台で運用予定。一部リソースの提供可
CPU491332-291Xeon E55402仕様 2.53 GHz, 8MB L3 Cache, 80W, DDR3-1066, Hyper-Threading, Turbo Boost
Memory491324-291 / 491332-2913カタログ 6GB (2GB×3) 他方は4GB*4
Disk1375872-B21 HP 146-GB 3G 15K 3.5 SP SAS HDD7カタログ SAS。今後増やしていきます><b
NICHP NC382i4デュアル ポート マルチファンクションGigabitサーバーアダプタ, 1台につき2枚
UPSオムロンBN150R1メーカHP 今後様子をみて2台に。それぞれ15Aとれる1F, 2Fに設置予定。現在1F設置中
FWFWX1201
L2スイッチSWX2200-24G1メーカHP 
L2スイッチSWX2200-8G2メーカHP 
  • 現在運用中のサービスあり。2019.2を目処にXen上での運用予定
  • iSCSI対応NAS導入予定。
  • up/down 80MB/s

公開予定の場所

GitHub 

設計のこだわりポイント

  • APIのエンドポイントはいいけどフロントエンドのエッジは絶対CDNにおくぞー(by inductor)
  • 検証基盤の性能・管理性を考えるの面倒くさいからHCI入れよう(by dozono)

ノウハウ

投稿者リンク
りょーRancher2.0でKubernetes環境を構築する 
M.IR!SPortFowardを使い複数サーバ経由でアクセスする
ESXiにVM作る