https://yuiga.dev/blog/en/tags/k8s/ Recent content in k8s on 行李の底に収めたり[YuWd] Hugo -- gohugo.io en ©2026, All Rights Reserved Sun, 17 Sep 2023 09:58:05 +0900 https://yuiga.dev/blog/en/ja/posts/k8sddp%E3%82%AF%E3%83%A9%E3%82%B9%E3%82%BF%E4%B8%8A%E3%81%A7%E3%81%AEtorch.load%E3%81%8C%E9%81%85%E3%81%84/ Sun, 17 Sep 2023 09:58:05 +0900 Sun, 17 Sep 2023 09:58:05 +0900 https://yuiga.dev/blog/en/ja/posts/k8sddp%E3%82%AF%E3%83%A9%E3%82%B9%E3%82%BF%E4%B8%8A%E3%81%A7%E3%81%AEtorch.load%E3%81%8C%E9%81%85%E3%81%84/ 概要 巨大なembeddingをチャンクで外部に保存し，DDP(Distributed Data Parallel)を使った学習時に各GPUで読み込みたい そんなときtorch.load(path, map_location=f"cuda:{rank}")にかかる時間の分散が大きい場合がある 前提: torch.loa YuWd (Yuiga Wada) k8s PyTorch post