2018インフラ環境リプレース
目的
- インフラ勉強会のインフラをOSレベルからリプレースする
既存のシステムに抱える課題
- 監視できてない
- 負荷分散できてない
- 石油王 大家NW問題(遅い)
- L3部分がシングルでCDNも入ってない
- 基幹部分は石油王一人でやってるので属人化しがち
コンセプト
- 先進的なアーキテクチャ(コンテナ・サーバレスなど)を積極的に採用する
- エンジニアがワクワクできるものを作る
- 冗長性を担保する
計画
フェーズ1
オーケストレーションツールのセットアップ
- dozonoさんが用意してくれている仮想環境の上にVMを作って、下記環境を構築する。 - OpenShift - Kubernetes - Docker Swarm
- →物理サーバ4台増やしましたので、使い方を考えましょう。コントローラノードは仮想? コンピュートノードは物理? とか検討できればと by dozono
- → Nutanix CEが使えそうなので、パーツ買い足します。みんなでHCIを体験しよう(by dozono)
- k8s、OpenShift、Docker Swarmの構築はパラレルで進行させる。(現段階でどれを採用するかは決めない)
- どれも、オンプレミスレベルに依存させず、再現性を確保して構築する。
- 明日までにGCP上に実装してと言われてもできるぐらいの感覚)
メンバー
名前 | やろうと思ってること |
---|---|
りょー | k8s |
inductor | Docker Swarmをやっていく |
dozono | k8s, Nutanix |
0Delta | k8s VyOS(あれば) |
takotakot | |
MIYATA Tadaaki | OpenShiftは知ってるので、逆にk8s。あと、仮想化基盤としてOpenStack検証は継続したい。本番運用させるならTripleOを試したい。 |
ayapon | k8s/OpenShift/Nutanixどれも興味あり。受け持ち中のOpenStackのコア部分を完成→公開するのが先かも。多少面倒でも構造を詳しく理解したい |
くじゃく | 未経験ですがk8sやってみたいです。 |
miya | k8sやってるから、openshiftやろうかな。あとspinnaker導入してみたい |
Elastic Kaji Service | k8sやりたい。 |
かめねこ | 未経験が多いですが、k8s挑戦してみたい。知らないこと知りたいです。 |
Genjiro | k8sやってみたいです。 |
oyazi_q9550 | k8sやりたい |
shohe_zsm | k8sもopenshiftも未経験なのでどちらでも。 |
花火 | k8s Nutanix (dozonoさんサーバーのバックアップ先になりたいな)(今Nutanixのインストールで躓いてます) |
M.IR!S | 未経験のためk8s/openshiftどちらも興味ありです |
itsuyan | k8s |
ながしー | k8sと上物のサービスも多少はやりたし |
ば~そん | k8s VyOS |
高杉 | 必要でしたらバックアップ拠点用意します。 |
使用可能HW
どうぞのさんち
種別 | 型番 | 数量 | 参考URL | 備考 |
---|---|---|---|---|
サーバ筐体 | PRIMERGY RX1330 M3 | 4 | カタログ | |
CPU | E3-1230v6 | 4 | 仕様 | CINT2006 Rates ≒ 265 |
Memory | SMD4-E64G48M-24R-Q | 4 | SanMax | 1サーバあたり 64GB |
Disk1 | 適当なNVMe 500GB | 4 | ホットティア。 HCIはDiskが命。PCIe接続のためのアダプタ | |
Disk2 | SanDiskのSSD 1TB | 4 | Amazon | コールドティア。 HCIはDiskが命。PCIe接続のためのアダプタ |
NIC | X550-T2 or X540-T2(Intel製10G) | 4 | メーカHP | HCIはネットワークが命 |
L2スイッチ | XS708E | 1 | メーカHP | 前職のロッカーに忘れてきたので、取りに行きます。 |
花火さんち
種別 | 型番 | 数量 | 参考URL | 備考 |
---|---|---|---|---|
サーバ筐体 | CSE-825TQ-R740LPB | 1 | 仕様 | |
M/B | X9dr3-ln4f+ | 1 | 仕様 | |
CPU | E5-2670 | 2 | 仕様 | |
Memory | HMT42GR7MFRA4A | 8 | Hynix 16GBx8 | |
Disk | intel ssd 910 400GB+HDD2TBくらい | 1つずつ | ssd 910仕様 | NVMeには非対応 |
NIC | FC 10G or 16G | 1 | 部屋のどっかに転がってた気がする | |
L2スイッチ | 1 | 対応スイッチいい感じの導入予定 |
高杉さんち
種別 | 型番 | 数量 | 参考URL | 備考 |
---|---|---|---|---|
サーバ筐体 | hp ProLiant DL380G6 | 2 | カタログ | 今後最大3台で運用予定。一部リソースの提供可 |
CPU | 491332-291Xeon E5540 | 2 | 仕様 | 2.53 GHz, 8MB L3 Cache, 80W, DDR3-1066, Hyper-Threading, Turbo Boost |
Memory | 491324-291 / 491332-291 | 3 | カタログ | 6GB (2GB×3) 他方は4GB*4 |
Disk1 | 375872-B21 HP 146-GB 3G 15K 3.5 SP SAS HDD | 7 | カタログ | SAS。今後増やしていきます><b |
NIC | HP NC382i | 4 | デュアル ポート マルチファンクションGigabitサーバーアダプタ, 1台につき2枚 | |
UPS | オムロンBN150R | 1 | メーカHP | 今後様子をみて2台に。それぞれ15Aとれる1F, 2Fに設置予定。現在1F設置中 |
FW | FWX120 | 1 | ||
L2スイッチ | SWX2200-24G | 1 | メーカHP | |
L2スイッチ | SWX2200-8G | 2 | メーカHP |
- 現在運用中のサービスあり。2019.2を目処にXen上での運用予定
- iSCSI対応NAS導入予定。
- up/down 80MB/s
公開予定の場所
設計のこだわりポイント
- APIのエンドポイントはいいけどフロントエンドのエッジは絶対CDNにおくぞー(by inductor)
- 検証基盤の性能・管理性を考えるの面倒くさいからHCI入れよう(by dozono)
ノウハウ
投稿者 | リンク |
---|---|
りょー | Rancher2.0でKubernetes環境を構築する |
M.IR!S | PortFowardを使い複数サーバ経由でアクセスする |
0Δ | ESXiにVM作る |