ご家庭用の選択としては2.5GbEが2026年現在のところベストです。 安価に済ませたいなら、 ほとんどの装置にとってデフォルトの選択であるところの1GbEに留まるのも良い選択です。
かなり頑張らないと10GbEで良かったと思えるまともな速度は出ません。 10GbEは投資しても損になりやすいので、注意して取り組む必要があります。 10GbEを導入するなら発熱を考慮してSFP+規格をお勧めしておきます。 SFP+規格のインテリジェントスイッチの入手性は、国内事情としてはあまり良くありません。 10GBASE-T規格のダムスイッチに限れば、 供給について各社力を入れ始めているため、かなり改善されてきました。 とりあえずダムスイッチを買うという選択になるご家庭がかなり増えると予想されます。
例として10GbE NICであるインテル82599はPCIe x8 laneを要求します。 これはゲーミング用(またはエーアイ用)パソコンのGPUと場所の取り合いになることを意味します。 インテル82599はPCIe x4 laneでも動作はしますが微妙な感じになります。 他社チップでPCIe x4 laneのカード類は存在しますが10GBASE-T規格のものが多くこれもまた微妙な感じになります。 パソコンメーカはGPUを搭載することを優先する傾向にあるため、 10GbEのパーツはなかなか流行りません。
そこそこの拠点やデータセンタであれば基幹となるスイッチは10GbE以上を選ぶことになると思います。 フロア配線のほとんどは1GbEとなることが多いでしょう。 無線LAN APは2.5GbEの選択となることが多いと思います。
Proxmox VEでCephを使う場合は10GbEが勧められます。 ただしCephは大規模な事業者でもない限り、まったく流行らないアーキテクチャです。 何故かと言うとCephはディスク交換においてコマンド操作が必要になることから、 一般的なエンタープライズで期待される作法に沿わないからです。 組織内に専任の技術担当者が置けるならどうとでもなりますが、 それは大規模な事業者に限られるでしょう。
通常はNFSでSANを組むか、あるいは単に独立したホストの集合体として構成します。 Linstor + DRBDはソフトウェア供給がサードパーティになるため避けられる傾向があります。 公式にサポートされないわけではありませんが若干マニアックな構成です。
Proxmox VEのネットワーク構成としてはサービス用に10GbE 1本、 ストレージ用に10GbE 1本、 クラスター管理用に1GbE 2本となるのが通例です。 高可用性が必要であればサービス用とストレージ用はそれぞれ2本のNICを用意してbondします。 iSCSI SANを採用するならbondするよりもマルチパスを採用するのが原則です。 クラスター管理用のネットワークは独立したものを2セット用意します。
iSCSI SANを組む場合も10GbE以上のネットワークが求められます。 NFS SANを使う場合もそうですがジャンボフレームを併用することが求められることが多く、 このあたりはスイッチの配備に若干気を使います。 スイッチのバッファの深さについては、 3ノード程度までなら一般用のSMBエッジスイッチが使える、 と個人的には考えています。