TrainLoraNode - ComfyUI Built-in Node Documentation

TrainLoraNodeは、提供された潜在変数と条件付けデータを使用して、拡散モデル上でLoRA（低ランク適応）モデルを作成し、トレーニングします。カスタムトレーニングパラメータ、オプティマイザ、損失関数を使用してモデルをファインチューニングできます。このノードは、トレーニングされたLoRA重み、損失履歴マップ、および完了した総トレーニングステップ数を出力します。

入力

パラメータ	説明	データ型	必須	範囲
`モデル`	LoRAをトレーニングするモデル。	MODEL	はい	-
`潜在変数`	トレーニングに使用する潜在変数。モデルのデータセット/入力として機能します。	LATENT	はい	-
`ポジティブ条件付け`	トレーニングに使用するポジティブ条件付け。	CONDITIONING	はい	-
`バッチサイズ`	トレーニングに使用するバッチサイズ（デフォルト: 1）。	INT	はい	1-10000
`勾配蓄積ステップ数`	トレーニングに使用する勾配蓄積ステップ数（デフォルト: 1）。	INT	はい	1-1024
`ステップ数`	LoRAをトレーニングするステップ数（デフォルト: 16）。	INT	はい	1-100000
`学習率`	トレーニングに使用する学習率（デフォルト: 0.0005）。	FLOAT	はい	0.0000001-1.0
`ランク`	LoRAレイヤーのランク（デフォルト: 8）。	INT	はい	1-128
`オプティマイザ`	トレーニングに使用するオプティマイザ（デフォルト: “AdamW”）。	COMBO	はい	”AdamW" "Adam" "SGD" "RMSprop”
`損失関数`	トレーニングに使用する損失関数（デフォルト: “MSE”）。	COMBO	はい	”MSE" "L1" "Huber" "SmoothL1”
`シード`	トレーニングに使用するシード（LoRA重み初期化とノイズサンプリング用のジェネレータで使用）（デフォルト: 0）。	INT	はい	0-18446744073709551615
`training_dtype`	トレーニングに使用するデータ型。‘none’はモデルのネイティブ計算データ型を保持し、上書きしません。fp16モデルの場合、GradScalerが自動的に有効になります（デフォルト: “bf16”）。	COMBO	はい	”bf16" "fp32" "none”
`lora_dtype`	LoRAに使用するデータ型（デフォルト: “bf16”）。	COMBO	はい	”bf16" "fp32”
`quantized_backward`	training_dtypeが’none’で量子化モデルをトレーニングする場合、有効にすると逆伝播で量子化行列乗算を使用します（デフォルト: False）。	BOOLEAN	はい	-
`algorithm`	トレーニングに使用するアルゴリズム。	COMBO	はい	複数のオプションが利用可能
`gradient_checkpointing`	トレーニングに勾配チェックポイントを使用するかどうか（デフォルト: True）。	BOOLEAN	はい	-
`チェックポイント深度`	勾配チェックポイントの深さレベル（デフォルト: 1）。	INT	はい	1-5
`オフロード`	トレーニング中にモデル重みをCPUにオフロードしてGPUメモリを節約するかどうか（デフォルト: False）。	BOOLEAN	はい	-
`existing_lora`	追加する既存のLoRA。新しいLoRAの場合はNoneに設定します（デフォルト: “[None]”）。	COMBO	はい	複数のオプションが利用可能
`バケットモード`	解像度バケットモードを有効にします。有効にすると、ResolutionBucketノードから事前にバケット化された潜在変数を期待します（デフォルト: False）。	BOOLEAN	はい	-
`bypass_mode`	トレーニングのバイパスモードを有効にします。有効にすると、アダプターは重み変更ではなくフォワードフックを介して適用されます。重みを直接変更できない量子化モデルに役立ちます（デフォルト: False）。	BOOLEAN	はい	-

注記: ポジティブ条件付け入力の数は、潜在画像の数と一致する必要があります。複数の画像に対して1つのポジティブ条件付けのみが提供された場合、すべての画像に対して自動的に繰り返されます。 training_dtypeに関する注記: “none”に設定すると、モデルのネイティブ計算データ型が保持されます。fp16モデルの場合、勾配計算中のアンダーフローを防ぐためにGradScalerが自動的に有効になります。fp16_accumulationも有効になっている場合（--fastフラグ経由）、この組み合わせは数値的に不安定になり、NaN値を引き起こす可能性があります。 quantized_backwardに関する注記: このパラメータは、training_dtypeが”none”に設定され、モデルが量子化モデルである場合にのみ関連します。逆伝播中に量子化行列乗算を有効にします。 bypass_modeに関する注記: 有効にすると、アダプターはモデル重みを直接変更するのではなく、フォワードフックを介して適用されます。これは、重みを直接変更できない量子化モデルに特に役立ちます。

出力

出力名	説明	データ型
`lora`	トレーニングされたLoRA重み。保存したり、他のモデルに適用したりできます。	LORA_MODEL
`損失マップ`	時間経過に伴うトレーニング損失値を含む辞書。	LOSS_MAP
`ステップ数`	完了したトレーニングステップの総数（既存のLoRAからの以前のステップを含む）。	INT

このドキュメントは AI によって生成されました。エラーを見つけた場合や改善のご提案がある場合は、ぜひ貢献してください！ GitHub で編集

Source fingerprint (SHA-256): df315ef416ff3ce81e6a526af2c4e5115980e6c35830825967e7189d4f8541d8

​入力

​出力

入力

出力