CLIPMergeSimple は、指定された比率に基づいて 2 つの CLIP テキストエンコーダーモデルを結合するモデルマージノードです。最初の CLIP モデルをクローンし、2 番目の CLIP モデルから重み付けされたパッチを適用します。このとき、位置 ID とロジットスケールのコンポーネントはスキップされ、両ソースの特徴をブレンドしたハイブリッドモデルを生成します。
入力
出力
マージの仕組み
マージアルゴリズム
このノードは重み付き平均を使用して 2 つのモデルをマージします。- ベースモデルのクローン: まず
clip1をベースモデルとしてクローンします - パッチの取得:
clip2からすべてのキーパッチを取得します - 特別なキーの除外:
.position_idsと.logit_scaleで終わるキーをスキップします - 重み付きマージの適用:
(1.0 - ratio) * clip1 + ratio * clip2の式を使用します
ratio パラメータの説明
- ratio = 0.0: clip1 を完全に使用し、clip2 を無視します
- ratio = 0.5: 各モデルから 50% ずつ寄与します
- ratio = 1.0: clip2 を完全に使用し、clip1 を無視します
使用例
- モデルスタイルの融合: 異なるデータで学習された CLIP モデルの特性を組み合わせます
- パフォーマンスの最適化: 異なるモデルの長所と短所のバランスを取ります
- 実験的研究: さまざまな CLIP エンコーダーの組み合わせを探索します
このドキュメントは AI によって生成されました。エラーを見つけた場合や改善のご提案がある場合は、ぜひ貢献してください！ GitHub で編集
Source fingerprint (SHA-256):
42c4b2042c56c3f21a9416aa577e2d41fef1dcc749c4e5c7953851110a4fb6bc