暗号AIの聖杯：分散型トレーニングの最先端探求

著者：JacobZhao出典：mirror、zhaotaobo.eth

AIの全バリューチェーンにおいて、モデル訓練は資源の消費が最も大きく、技術的閾値が最も高いリンクであり、モデル能力と実用化効果の上限を直接決定する。モデルの能力の上限と実用化の効果を直接決定する。推論段階での軽量な呼び出しに比べ、学習プロセスでは、継続的な大規模演算入力、複雑なデータ処理プロセス、高強度の最適化アルゴリズムサポートが必要となり、AIシステム構築にとってまさに「重工業」である。 アーキテクチャパラダイムの観点から、学習方法は集中型学習、分散型学習、連合型学習、分散型学習の4つに分けることができ、本稿では分散型学習に焦点を当てる。

• 集中型トレーニングは最も一般的で伝統的なアプローチであり、単一の組織が、ハードウェア（NVIDIA GPUなど）、基盤となるソフトウェア（CUDA、cuDNN）、基盤ソフトウェア（CUDA、cuDNN）、クラスタスケジューリングシステム（Kubernetesなど）、およびトレーニングフレームワーク（NCCLバックエンドに基づくPyTorchなど）が、統一された制御システムによって調整されます。この深く協調したアーキテクチャは、メモリ共有、勾配同期、フォールトトレラントメカニズムの最適な効率を可能にし、GPT、Geminiなどの大規模モデルのトレーニングに適している。高い効率と制御されたリソースという利点があるが、同時にデータの独占、リソースの障壁、エネルギー消費、一点リスクなどの問題もある。

• 分散トレーニング（Distributed Training ）は、大規模モデルトレーニングの現在の主流であり、その核心は、単一マシンのコンピューティングとストレージのボトルネックを打破するために、モデルトレーニングタスクを分解し、複数のマシンに分散して共同実行することです。物理的には「分散」特性を持っていますが、全体は依然として中央集権的な機関のスケジューリングと同期によって制御されており、多くの場合、高速相互接続バス技術であるNVLinkを介して、高速LAN環境で実行され、マスターノードがサブタスクを統一的に調整します。

• データ並列：各ノードは、各ノードが持つデータを並列に処理します。データ並列：各ノードは異なるデータパラメータを共有するように学習され、モデルの重みと一致させる必要がある

• モデル並列：強力なスケーラビリティを実現するために、モデルの異なる部分を異なるノードに配置する。

• モデル並列：各ノードは異なるデータパラメータを共有するように学習される。

• パイプライン並列: 段階的なシリアル実行によりスループットを向上させます。

• テンソル並列: 並列粒度を向上させるために、行列計算をきめ細かく分割します。

分散トレーニングは、集中制御と分散実行の組み合わせであり、同じ上司が複数の「オフィス」従業員にリモートで指示し、タスクを共同作業させることに似ています。同じ上司が複数の "オフィス "従業員にリモートで指示し、タスクを共同作業させる。現在、ほとんどすべての主流の大型モデル（GPT-4、ジェミニ、LLaMAなど）は、この方法で訓練されている。

• Decentralised Training は、よりオープンで検閲に強い道を示しています。その中心的な特徴は、複数の信頼されていないノード（ホームコンピュータ、クラウドGPU、またはエッジデバイスである可能性があります）が、中央のコーディネータなしで、通常プロトコル駆動型のタスク分配とコラボレーションを通じて、貢献の正直さを保証する暗号化インセンティブを持つトレーニングタスクに協力するという事実にあります。

• Device Heterogeneity and Slicing Difficulty: 異種デバイスの調整は難しく、タスクのスライス効率は高いです。
  

• 通信効率のボトルネック：不安定なネットワーク通信、勾配同期の明らかなボトルネック;

• 信頼できる実行の欠如：信頼できる実行環境の欠如、ノードが本当にプロセスに関与しているかどうかを検証するのが難しい;

• 信頼できる実行：信頼できる実行環境の欠如、ノードが本当にプロセスに関与しているかどうかを検証するのが難しい。

• 統一された調整の欠如: 中央スケジューラーがなく、複雑なタスク分配と例外ロールバック機構があります。

分散型トレーニングは、グローバルなボランティアのグループが、それぞれ自分の演算能力を提供し、共同でモデルをトレーニングするものとして理解できますが、「真に実現可能な大規模分散型トレーニング」は、システムアーキテクチャ、コミュニケーションを含む、体系的なエンジニアリングの課題として残っています。しかし、「真に実現可能な大規模分散型トレーニング」は、システムアーキテクチャ、通信プロトコル、暗号セキュリティ、経済メカニズム、モデル検証、その他の次元を含む、まだ体系的な工学的課題であるが、「効果的な相乗効果＋誠実さのインセンティブ＋正しい結果を得る」ことが可能かどうかは、まだプロトタイプの探求の初期段階である。

• Federated Learning 分散型と分散型の移行として、データのローカル保持とモデルパラメーターの集中集計を重視しています。プライバシーの遵守を重視するシナリオ（医療、金融など）に適している。Federated Learningは、分散型トレーニングの工学的構造とローカルコラボレーション能力、分散型トレーニングのデータ分散の利点を持つが、依然として信頼できるコーディネーターに依存しており、完全なオープン性と検閲耐性という特性は持っていない。プライバシー・コンプライアンス・シナリオにおける「制御された分散化」ソリューションと見なすことができ、トレーニング・タスク、信頼構造、コミュニケーション・メカニズムにおいて比較的穏やかであるため、産業界における過渡的な展開アーキテクチャとして適している。align:center">

  分散型トレーニングの境界、機会、現実的な道

  トレーニングパラダイムから考えるトレーニングパラダイムから見ると、分散型トレーニングはすべてのタスクタイプに適用できるわけではありません。シナリオによっては、タスク構造が複雑であったり、リソース要件が非常に高かったり、コラボレーションが困難であったりするため、非信頼の異種ノード間で効率的に実施するのは当然適さない。例えば、大規模なモデルトレーニングは、多くの場合、高メモリ、低レイテンシ、高速帯域幅に依存するため、オープンネットワークで効果的にスライス＆ダイスや同期を行うことが困難です。また、データのプライバシーや主権に強い制約があるタスク（ヘルスケア、金融、機密データなど）は、法令遵守や倫理的な制約のため、オープンに共有することができません。これらの境界は、現在の分散型トレーニングの現実的な限界を構成しています。

  しかし、これは分散型トレーニングが誤った提案であることを意味するわけではありません。

  しかし、これは分散型トレーニングが誤った提案であることを意味するものではありません。これには、LoRAの微調整、行動アライメントクラスのポストトレーニングタスク（RLHF、DPOなど）、データクラウドソーシングトレーニングとアノテーションタスク、リソース制御可能な小規模ベースモデルトレーニング、エッジデバイスを含む協調トレーニングシナリオなどが含まれるが、これらに限定されない。これらのタスクは一般的に、高い並列性、低い結合性、異種演算への耐性によって特徴付けられ、P2Pネットワーク、Swarmプロトコル、分散オプティマイザーなどを介した協調トレーニングに適しています。

  分散訓練タスクの適合性概要表

  

  分散型トレーニングの古典的なプロジェクト分析

  現在、分散型トレーニングと連合型学習のフロンティアの分野では、代表的なブロックチェーンプロジェクトには主に以下のようなものがあります 。Prime Intellect、Pluralis.ai、Gensyn、Nous Research 、Flock.io。技術革新とエンジニアリングの実現難易度の観点から、Prime Intellect、Nous Research、Pluralis.ai は分散型トレーニングと連合型学習のための新しいブロックチェーンを提案している。Prime Intellect、Nous Research、Pluralis.ai は、システムアーキテクチャとアルゴリズム設計に関するより独創的な探求を提唱しており、現在のフロンティア方向の理論研究を代表している。GensynとFlock.io の実装経路は比較的明確であり、エンジニアリングの初期の進歩を見ることができた。本稿では、これら5つのプロジェクトの背後にあるコアテクノロジーとエンジニアリングアーキテクチャを順番に分析し、それらの分散型AIトレーニングシステムの違いと補完性をさらに探ります。

  プライム・インテレクト（Prime Intellect）：検証可能な訓練軌跡を持つ強化学習用協調ネットワークのパイオニア

  プライム・インテレクトは、信頼を必要とせず、誰でも訓練に参加できるAI訓練ネットワークの構築に専念している。Prime Intellectは、誰もがトレーニングに参加でき、その計算貢献に対して信頼できる報酬を得ることができる、信頼が不要なAIトレーニングネットワークの構築に取り組んでいます。 Prime Intellectは、PRIME-RL + TOPLOC + SHARDCASTの3つのモジュールを通じて、検証可能で、オープンで、完全にインセンティブが付与される分散型AIトレーニングシステムの構築を目指しています。

  I. Prime Intellectのスタック構造と主要モジュールの値

  

  2つの、プライム知力トレーニングの重要なメカニズムを解説

  1. PRIME-RL：非同期強化学習タスクアーキテクチャ

  PRIME-RLは最初で唯一のPrime Intellectトレーニングシステムです。">PRIME-RLは分散型トレーニングシナリオのためのPrime Intellectのカスタムタスクのモデリングと実行フレームワークで、異種ネットワークと非同期参加用に設計されています。PRIME-RLは、強化学習を好ましい適応対象として採用し、学習、推論、重みのアップロードのプロセスを構造的に切り離すことで、各トレーニングノードがローカルで独立してタスクサイクルを完了し、標準化されたインターフェースを介して検証や集計機構と連携できるようにします。従来の教師付き学習プロセスと比較して、PRIME-RLはセンターレス・スケジューリング環境における弾力的な学習に適しており、システムの複雑さを軽減し、マルチタスク並列性とポリシーの進化をサポートする基盤を築きます。

  1. TOPLOC: A Lightweight Training Behaviour Validation Mechanism

  TOPLOC (Trusted Observation & Policy-Locality Check)は、Prime Intellectが提案する学習検証可能性のコアメカニズムで、観測データに基づいてノードが本当に効果的なポリシー学習を完了したかどうかを判断するためのものです。ZKMLのような重い方式とは異なり、TOPLOCは完全なモデルの再計算に頼らず、「観測シーケンス↔ポリシーの更新」間の局所的な一貫性の軌跡を分析することで、軽量な構造検証を実現する。これは、訓練中の行動軌跡を検証可能なオブジェクトに変換する初めての試みであり、信頼性のない訓練報酬分配を実現するための重要な革新であり、監査可能でインセンティブに基づく分散型協調訓練ネットワークを構築するための実現可能な道筋を提供する。

  1. SHARDCAST: Asynchronous Weight Aggregation and Propagation Protocol

  SHARDCAST: Asynchronous Weight Aggregation and Propagation Protocol

SHARDCAST: Asynchronous Weight Aggregation and Propagation ProtocolSHARDCASTは、Prime Intellectによって設計され、非同期で帯域幅に制約があり、ノードの状態が可変である実世界のネットワーク環境向けに最適化されたウェイト伝搬および集約プロトコルです。ゴシップ伝搬メカニズムとローカル同期ポリシーを組み合わせ、複数のノードが非同期状態で部分的な更新を継続的に送信できるようにすることで、漸進的な重みの収束と複数バージョンの進化を可能にします。集中型や同期型のAllReduce手法と比較して、SHARDCASTは分散型トレーニングのスケーラビリティと耐障害性を大幅に改善し、安定した重みのコンセンサスと継続的なトレーニングの反復を構築するための中核となる基盤です。

1. OpenDiLoCo：スパース非同期通信フレームワーク

OpenDCASTは、安定した重みコンセンサスと継続的なトレーニング反復を構築するための中核となる基盤です。align: left;">OpenDiLoCoは、DeepMindによって提案されたDiLoCoコンセプトに基づき、Prime Intellectチームによって独自に実装され、オープンソース化された通信最適化フレームワークであり、分散型トレーニングで一般的な帯域幅の制約、デバイスの不均一性、ノードの不安定性という課題のために設計されています。そのアーキテクチャはデータ並列性に基づいており、Ring、Expander、Small-Worldなどの疎なトポロジーを構築することで、グローバルな同期による高い通信オーバーヘッドを回避し、ローカルな隣接ノードのみに依存して協調モデル学習を完了します。非同期更新とフォールトトレランス機構と組み合わせることで、OpenDiLoCoは、コンシューマーGPUとエッジデバイスがトレーニングタスクに安定して参加することを可能にします。これは、グローバルな協調トレーニングへの参加を大幅に改善し、分散型トレーニングネットワークを構築するための重要な通信インフラの1つです。

1. PCCL：協調通信ライブラリ

PCCL (Prime Communication Library)は、協調通信ライブラリです。"">PCCL（プライム・コレクティブ・コミュニケーション・ライブラリ） は、プライム・インテレクトが分散型AIトレーニング環境向けにカスタマイズした軽量なコミュニケーション・ライブラリで、異種デバイスや低帯域幅ネットワークに適応する従来のコミュニケーション・ライブラリ（NCCL、Glooなど）のボトルネックを解決することを目的としています。PCCLは、スパーストポロジー、勾配圧縮、低精度同期、ブレークポイントリカバリーをサポートし、コンシューマーGPUや不安定なノードでも実行可能で、OpenDiLoCoプロトコルの非同期通信機能をサポートする基盤コンポーネントです。また、OpenDiLoCoプロトコルの非同期通信機能をサポートする基盤となるコンポーネントです。トレーニングネットワークの帯域幅耐性とデバイスの互換性を大幅に向上させ、真にオープンで信頼できる共同トレーニングネットワークを構築するための「ラストワンマイル」通信基盤を提供します。

3つ目：Prime Intellectインセンティブ・ネットワークと役割分担

プライムインテレクトは、ライセンス不要で検証可能なトレーニングネットワークを、金銭的インセンティブによって構築します。これは、誰もがタスクに参加し、実際の貢献に基づいて報酬を得ることを可能にするものです。

• タスク開始者：トレーニング環境、初期モデル、報酬関数、検証基準を定義します

• 訓練ノード：局所的な訓練を実行し、重みの更新と観測の軌跡を提出する

• 検証ノード：TOPLOCメカニズムを使用して訓練行動の信憑性を検証し、報酬の計算とポリシーの集約に参加する

。ul>

プロトコルのコアプロセスは、タスクのリリース、ノードのトレーニング、軌道の検証、重みの集約（SHARDCAST）、報酬の発行から構成され、「実際のトレーニング行動」に基づくインセンティブの閉ループを構成します。

4、INTELLECT-2：検証可能な初の分散型トレーニングモデルのリリース

プライムインテレクトは2025年5月、検証可能な初の分散型トレーニングモデルであるINTELLECT-2をリリースしました。INTELLECT-2は、完全な非同期アーキテクチャを用いて3大陸にまたがる100以上のGPUヘテロジニアスノードによって400時間以上の訓練が行われ、非同期協調ネットワークの実現可能性と安定性を実証しました。非同期協調ネットワークの実現可能性と安定性を実証。INTELLECT-2は、PRIME-RL（非同期トレーニング構造）、TOPLOC（トレーニング行動検証）、および PRIME-RL（非同期トレーニング構造）を統合しています。INTELLECT-2は、PRIME-RL（非同期トレーニング構造）、TOPLOC（トレーニング行動検証）、SHARDCAST（非同期ウェイト集計） およびその他のコアプロトコルモジュールを統合し、分散型トレーニングネットワークがクローズドループでトレーニングプロセスのオープン性、検証、および経済的インセンティブを初めて実現したことを示します。

性能の面では、INTELLECT-2は、QwQ-32B訓練とコードおよび数学の専門的なRL訓練に基づく、現在のオープンソースRL微調整モデルの最先端を走っています。GPT-4やGeminiのようなクローズドソースモデルを超えるには至っていないが、その真の意義は、完全なトレーニングプロセスが再現可能で、検証可能で、監査可能な世界初の分散型モデル実験であるという事実にある。Prime Intellectはモデルをオープンソース化するだけでなく、より重要なこととして、トレーニングデータ、戦略更新の軌跡、トレーニングプロセスそのものをオープンソース化している。- プライム・インテレクトは、モデルをオープンソース化するだけでなく、より重要なこととして、トレーニングデータ、戦略更新の軌跡、検証プロセス、および集計ロジックがすべて透過的にアクセス可能なトレーニングプロセス自体もオープンソース化し、誰もが参加し、信頼できる方法で協力し、利益を共有できる分散型トレーニングネットワークのプロトタイプを構築しています。

V. チームと資金調達の背景

Prime Intellectは2025年2月、Founders Fundが主導する1500万ドルのシードラウンドを終了しました。Menlo Ventures、Andrej Karpathy、Clem Delangue、Dylan Patel、Balaji Srinivasan、Emad Mostaque、Sandeep Nailwal、その他業界のリーダーたち。同プロジェクトは2024年4月、CoinFundとDistributed Globalが共同主導し、Compound VC、Collab + Currency、Protocol Labsなどが参加した550万ドルのアーリーステージ資金調達ラウンドを完了した。現在までに、Prime Intellectは累計2000万ドル以上の資金を調達している。

プライム・インテレクトはヴィンセント・ヴァイザーとヨハネス・ハーゲマンによって共同設立され、AIとWeb3にまたがる経歴を持つチームメンバーで構成されています、システム・アーキテクチャ設計と分散エンジニアリングに深い能力を持つ彼らは、実際の分散型大規模モデル・トレーニングを成功させた数少ないエグゼクティブ・チームの1つです。

Pluralis: Paradigm Explorer for Parallel and Structured Compression Co-Training of Asynchronous Models

PluralisはWeb3のAIプロジェクトで、「Trusted Co-Training Networks」に焦点を当てています。Pluralisは「Trusted Co-Training Networks」に焦点を当てたWeb3 AIプロジェクトで、オープンな参加と長期的なインセンティブを持つ分散型モデルトレーニングパラダイムを推進することを中核目標としています。現在主流となっている中央集権的あるいは閉鎖的なトレーニングパスとは異なり、Pluralisは検証可能なコラボレーションメカニズムとモデル所有権のマッピングを通して、モデルトレーニングプロセスを「プロトコル化」するために、 Protocol Learning と呼ばれる新しいコンセプトを提案します。新しいコンセプトは、検証可能なコラボレーション・メカニズムとモデル・オーナーシップ・マッピングを通して、モデル・トレーニング・プロセスを「プロトコル化」し、内生的なインセンティブ・クロージャー・ループを持つオープン・トレーニング・システムを構築することである。/p>

1. 非物質化モデルは複数のノードに断片として分散され、1つのノードがソースを閉じたままにするために完全な重みを復元することはできません。この設計により、モデルは自然な「プロトコル内資産」となり、アクセス・クレデンシャルの制御、流出防止、収益帰属のバインディングを可能にします。

2. インターネット上でのモデル並列トレーニング（Model-parallel Training over the Internet）は、非同期パイプラインモデル並列メカニズム（SWARMアーキテクチャ）を使用し、異なるノードが重みの一部のみを保持し、低帯域幅ネットワーク上でトレーニングまたはトレーニングを完了するために共同作業します。低帯域幅ネットワークでトレーニングや推論を共同で行う。

3. インセンティブのための部分的所有権** すべての参加ノードは、トレーニングの貢献度に基づいてモデルの部分的所有権を受け取るため、将来の収益とプロトコルガバナンスのシェアを享受することができます。

Pluralisスタックの技術アーキテクチャ



3、主要な技術的メカニズムの詳細

1. 物質化不可能なモデル

『第三の道：プロトコル』においてA Third Path: Protocol Learning（第三の道：プロトコル学習）』では、モデルの重みが断片的に分散されることが初めて体系的に提案され、「モデル資産」がスウォームネットワークでのみ実行できることが保証され、そのアクセスと利益がプロトコルによって制御されることが保証された。このメカニズムは、分散型トレーニングのための持続可能なインセンティブ構造の前提条件です。

1. 非同期モデル並列トレーニング

.

「非同期更新によるSWARM並列」では、Pluralis社はパイプラインベースの非同期モデル並列アーキテクチャを構築し、LLaMA-3で初めて実証しました。核となる技術革新は、非同期更新中の勾配ドリフトと収束の不安定性を効果的に修正し、低帯域幅環境で異種デバイス間のトレーニングを実現可能にする、 Nesterov Accelerated Gradient (NAG)  メカニズムの導入です。"text-align: left;">ビヨンドTop-Kでは、従来のTop-Kを、意味パスの破壊を避けるために、構造を考慮した列空間圧縮法で置き換えることが提案されている。この機構はモデルの精度と通信効率を両立させ、非同期モデル並列環境において90%以上の通信データを圧縮することが測定されており、構造を考慮した効率的な通信を実現するための重要なブレークスルーとなっている。

第四に、技術の位置づけと経路選択

Pluralisは明確に「非同期モデル並列」に焦点を当てています。

• 低帯域幅ネットワークおよび非コヒーレントノードのサポート

• • データ並列性よりも以下の利点を強調しています。

  • デバイスの異機種混在に対応し、コンシューマーグレードのGPUの参加を可能にします。

  • 自然で弾力性のあるスケジューリング機能により、ノードの頻繁なオンライン/オフラインをサポートします；

  • 3つの大きなブレークスルーとして、構造圧縮+非同期更新+ウェイト非拡張性

  • を備えています。

  現在、公式サイトで公開されている6つの技術ブログ文書によると、論理構造は以下の3つの主要ラインに統合されています。align: left;">理念とビジョン：「第三の道：プロトコル学習」「なぜ分散型トレーニングが重要なのか」

• 技術的メカニズムの詳細。SWARM Parallel"、"Beyond Top-K"、"Asynchronous Updates"

• 組織的イノベーションの探求："Unmaterializable Models"、"Partial

現在、Pluralisがまだ製品を発売したり、ネットワークをテストしたり、コードをオープンソース化したりしていないのは、非常に困難な技術的な道を選んだからです。というのも、同社が選択した技術的な道は非常に困難だからだ。製品サービスを上方パッケージ化する前に、基礎となるシステム・アーキテクチャ、通信プロトコル、輸出できないウェイトなど、システムレベルの課題を解決する必要がある。

2025年6月に発表された新しい論文で、Pluralis Researchは分散型トレーニングフレームワークをモデルの事前トレーニングからモデルの微調整まで拡張し、非同期更新、スパース通信、部分的な重み集約をサポートしました。理論と事前トレーニングに焦点を当てた以前の設計と比較すると、この研究は、そのフルサイクルトレーニングアーキテクチャのさらなる成熟を示す、より根拠のある実現可能性に焦点を当てています。ベンチャーズ（USV） と CoinFund が共同でラウンドをリードした。創業者のアレクサンダー・ロング氏は機械学習の博士号を持ち、数学とシステム研究の二重のバックグラウンドを持っている。コアメンバーは全員、博士号を持つ機械学習研究者である。 典型的な技術主導型のプロジェクトで、高密度論文と技術ブログが主な出版経路であり、BD/Growthチームはまだ設立されていないが、低帯域幅の非同期モデル並列化インフラの課題を克服することに焦点を当てている。

Gensyn: A Decentralised Training Protocol Layer Driven by Verifiable Execution

Gensyn は、「ディープラーニングトレーニングタスクの信頼できる実行」に焦点を当てたWeb3 A3プロジェクトです。Gensyn is a Web3 AI project that focused on "trusted execution of deep learning training tasks", その核心は、モデルアーキテクチャや学習パラダイムの再構築にあるのではなく、「タスク分配＋学習実行＋結果検証＋公正なインセンティブ」の全プロセスを検証可能な分散学習実行ネットワークを構築することにある。オフチェーン・トレーニング＋オンチェーン検証のアーキテクチャを設計することで、Gensynは効率的でオープンでインセンティブを与えるグローバルなトレーニング市場を確立し、「マイニングとしてのトレーニング」を現実のものにします。

I.プロジェクトの位置づけ：トレーニングタスクの実行プロトコル層

Gensynは「どのようにトレーニングするか」ではなく、「誰が、どのようにトレーニングし、どのように採掘するか」についてです。Gensynは「どのように訓練するか」ではなく、「誰がどのように訓練し、どのように検証し、どのように利益を共有するか」のインフラである。

• 誰がトレーニングタスク（算術分布と動的マッチング）を実行するか

• どのように実行結果を検証するか（完全な再計算は必要なく、争点となった演算子のみを検証する）

• どのようにトレーニング収益を分配するか（ステーク、スラッシング、マルチ・ロール・ゲーミング・メカニズム）

II.技術アーキテクチャの概要



3つのモジュール

1. RL Swarm: Collaborative Reinforced Learning Training System

<

GensynはRL Swarm を開発しました。

RL Swarmは分散型マルチモデル協調最適化システムで、次のような特徴を備えています。style="text-align: left;">分散推論と学習プロセス：

• 回答：各ノードは独立して回答を出力します。

• 批評：ノードは互いの出力を批評し、最良の回答とロジックを選択します。

• GensynのRL Swarmは分散型マルチモデル協調最適化システムで、各ノードが独立したモデルを実行し、勾配同期を行わずにローカルにトレーニングします。また、ノードの柔軟なアクセスや退出もサポートする。rl Swarmは、オープンネットワークにおけるモデルのロバスト性と汎化能力を大幅に向上させ、GensynのEthereum Rollupベースの RL Swarmプロジェクトでコア実行モジュールとして最初に使用されました。RL Swarmは、Gensynのイーサリアムロールアップベースの Testnet Phase 0 のコア実行モジュールとしてデプロイされています。

  1. バーデ + Proof-of-Learning: Trusted Authentication

  Gensynは、イーサリアムのロールアップベースのテストネットフェーズ0において、Gensynをコア実行モジュールとしてデプロイした最初の企業です。

  • Proof-of-Learning (学習証明): 学習メタデータと勾配の軌跡に基づいて、学習が本当に行われたかどうかを判断します。

  • グラフベースのピンポイント：トレーニング計算グラフの分岐ノードを見つけ、特定の演算を再計算するだけでよい。

  • 参照委任。

  • Refereed Delegation：仲裁検証メカニズムを採用し、検証者と挑戦者が論争を起こし、ローカル検証を行うことで、検証コストを大幅に削減する。

  Verdeは、ZKPや完全な再計算検証スキームよりも、検証可能性と効率性のバランスが取れています。

  1. SkipPipe：通信フォールトトレランスの最適化

  SkipPipeは「欠陥のある」通信の問題を解決するために設計されています。SkipPipe は、「低帯域幅 + ノードドロップ」シナリオにおける通信ボトルネックを解決するように設計されており、その主な機能は次のとおりです:

  • Skip Ratio: 制限されたノードをスキップしてトレーニングのブロッキングを回避します。

  • Dynamic Scheduling Algorithm: リアルタイムで最適な実行パスを生成します。

  • Fault-tolerant execution: 50%のノードに欠陥のある実行パスがあったとしても。フォールト・トレラント実行：50％のノードが故障しても、推論精度は7％程度しか低下しない。

  最大55%の訓練スループット向上をサポートし、「早期終了推論」と「シームレスな再スケジューリング」を可能にします、

  「早期終了推論」、「シームレスな再スケジューリング」、「推論補完」などの主要機能をサポートします。

  1. HDEE: Heterogeneous Domain-Expert-Expert Clustering

  HDEE (Heterogeneous Domain-Expert-Expert Clustering)は新しいテクノロジーです。Heterogeneous Domain-Expert Ensembles）モジュールは、以下のシナリオの最適化に特化しています：

  • マルチドメイン、マルチモーダル、マルチタスクトレーニング;

  • さまざまな種類のトレーニングデータが不均等に分布し、難易度に大きな差がある。

  • デバイスのコンピューティング能力が不均質で、通信帯域幅が一定でない環境におけるタスク割り当てとスケジューリングの問題。

  コア機能:

  • MHe-IHo：異なる難易度のタスクを割り当てる。

  • MHe-IHo：タスクの難易度ごとに異なるモデルサイズを割り当てる（異種モデル、均一な学習ステップ）;

  • MHeo-IHe：タスクの難易度は均一だが、学習ステップは非同期;

  • 異種モデルをサポートする。

  • 適応性と耐障害性を向上させるために、異種エキスパートモデル＋プラグイン可能なトレーニング戦略をサポートします。

  • 実世界の複雑なタスクエコロジーのために、「並列協力＋非常に低いコミュニケーション＋動的エキスパート割り当て」を重視します。

  1. マルチ・ロール・ゲーミング・メカニズム：並列における信頼とインセンティブ

  • 投稿者：トレーニングの課題を解放し、構成と予算を設定する。

  • ソルバー：トレーニングタスクを実行し、結果を提出する;

  • ベリファイア：トレーニングの動作を検証し、それが準拠し、効果的であることを確認する;

  • 提出者：トレーニングタスクをリリースし、構成と予算を設定する;

  • ソルバー：トレーニングタスクをリリースし、構成と予算を設定する。align: left;">内部告発者：仲裁報酬または没収のために検証者に異議を申し立てる。

  Truebitの経済ゲームデザインにインスパイアされたこのメカニズムは、参加者が正直に協力するインセンティブを与え、エラーの挿入を強制することでネットワークが確実に動作することを保証します。

  テストネットワークとロードマップ計画

  

  V. チームと資金調達の背景

  Gensyn はベン・フィールディングとハリー・グリーヴによって共同設立され、英国ロンドンを拠点としている。2023年5月、Gensynはa16z cryptoが率いる4300万ドルのシリーズAの完了を発表し、CoinFund、Canonical、Ethereal Ventures、Factor、Eden Blockを含む他の投資家も参加しました。 チームの背景には、認証された非信頼システムの構築に長年取り組んできた分散システムと機械学習エンジニアリングの経験が組み合わされています。このチームの背景には、分散システムと機械学習エンジニアリングの経験と、検証可能で信頼性のない大規模なAIトレーニング実行ネットワークの構築の長い歴史が組み合わされています。

  Nous Research: A Cognitive Evolutionary Training System Driven by the Idea of Subjective AI

  Nous Research は、哲学的な洗練さとエンジニアリングの実装を組み合わせた数少ない分散型トレーニングチームの1つです。ヌースリサーチは、哲学的な洗練と工学的な実装を組み合わせた数少ない分散型トレーニングチームの一つであり、その中核となるビジョンは「Desideratic AI」の概念に由来しています：AIを単なる制御可能なツールではなく、主観性と進化能力を備えた知的主体として扱うことです。ヌース・リサーチは、AIのトレーニングを最適化すべき「効率性の問題」としてではなく、「認知的主体」を形成するプロセスとして捉えている点でユニークである。このビジョンに後押しされ、Nousは、異種ノードを持つオープンなトレーニングネットワークの構築、中央集権的なスケジューリングの不要性、検閲に強い検証、体系的な実装のためのフルスタック・ツールチェーンに焦点を当てています。

  I.哲学：トレーニングの「目的」を再定義する

  Nousはインセンティブ設計やプロトコル経済学にあまり投資しませんでした。

  • 「整列主義」への反対：人間のコントロールだけを目的とする「整列主義」への不支持。

  • 「アライメント主義」への反対：人間によるコントロールを目的とする「アライメントによるトレーニング」に反対し、トレーニングはモデルが自立した認知スタイルを身につけるよう促すべきだと提唱する。

  • 認知形成としてのモデルトレーニング：モデルは「タスク完了のための最適化」ではなく、認知進化に関わる個体である。

  このようなトレーニングの見方は、「ロマンチック」ではありますが、トレーニングインフラを設計するためのNousのコアロジックを反映しています。

  トレーニングの核心：PsycheネットワークとDisTrOオプティマイザー

  分散型トレーニングに対するNousの重要な貢献は、 Psycheネットワーク と基礎となるコミュニケーション・オプティマイザーの構築です。Psyche network  and the underlying communication optimiser  DisTrO (Distributed Training Over-the-Internet), which together form the execution hub of training task: DisTrO + Psyche network has a number of core capabilities, including communication compression (DCT + 1-bit sign encoding, greatly reducing bandwidth), node adaptability (DCT + 1-bit sign encoding, greatly reducing bandwidth requirements), and node adaptability (DCT + 1-bit sign encoding, greatly reducing bandwidth requirements).DisTrO + Psycheネットワークは、通信圧縮（DCT + 1ビット符号エンコーディング、帯域幅要件を大幅に削減）、ノード適応性（異種GPU、切断再接続、自律的終了のサポート）、非同期フォールトトレランス（高い耐障害性、同期を必要としない継続的なトレーニングが可能）、分散型スケジューリング（中央集権的な調整役が不要、ブロックチェーンベースのコンセンサスとタスク分配）など、多くの中核機能を備えています。このアーキテクチャは、低コストで回復力があり、検証可能なオープントレーニングネットワークのための現実的な技術基盤を提供します。

  この建築デザインは、実用的な実現性を重視しています。中央サーバーに依存しないこと、グローバルなボランティアノードに適応できること、トレーニング結果のオンチェーントレーサビリティなどです。 paddingleft-2">

  1. Hermesオープンソースモデルシリーズ：Hermes 1から3は、Nousによって立ち上げられた代表的なオープンソースマクロモデルで、LLaMA 3.1トレーニングに基づき、8B、70B、405Bのパラメータースケールをカバーしています。このシリーズは、Nousのトレーニング哲学である「脱命令と多様性の保持」を具現化し、長いコンテクストの保持、ロールプレイング、複数ラウンドの対話において、より高い表現力と一般性を発揮するように設計されています。

  2. Forge Reasoning API: Multi-modal Reasoning System ForgeはNous独自の推論フレームワークで、3つの補完的なメカニズムを組み合わせて、より柔軟で創造的な推論機能を実現します。MCTS（モンテカルロ・ツリー・サーチ）：複雑なタスクのための戦略サーチ、CoC（チェーン・オブ・コード）：コードチェイニングと論理的推論の複合パスを導入、MoA（ミクスチャー・オブ・エージェント）：複数のモデルが交渉することを可能にし、アウトプットの幅と多様性を高める。 このシステムは、「非決定論的推論」と組み合わせ生成パスを重視しており、従来の命令アライメントパラダイムに対する強力な回答となっている。

  3. TEE_HEE: The AI Autonomous Agent Experiment: TEE_HEEは、信頼された実行環境（Trusted Execution Environment：TEE）において、AIが独自のデジタルアイデンティティを持ち、独立して動作できることを検証するための、Nousの最先端の自律型エージェントの探求です。エージェントは専用のTwitterとEtherアカウントを持ち、すべての制御は開発者が介入することなく、リモートで検証可能なエンクレーブによって管理される。この実験の目標は、「改ざん可能性」と「独立した行動意図」を持つAIサブジェクトを構築することであり、自律的な知性を構築するための重要なステップである。

  4. AI行動シミュレータープラットフォーム：Nousはまた、マルチロール社会環境におけるAIの行動進化と価値形成メカニズムを研究するために、WorldSim、Doomscroll、Gods &; S8nを含む多くのシミュレーターを開発しました。訓練プロセスには直接関与していませんが、これらの実験は、長期的な自律的AIの認知行動モデリングのためのセマンティック層の基礎を築くものです。 チームと資金調達の概要 ヌース・リサーチは、ジェフリー・ケスネル（CEO）、カラン・マルホトラ、テクニウム、シバニ・ミトラらによって2023年に設立された。2024年に520万ドルのシード資金を調達し、2025年4月にはパラダイムが率いる5,000万ドルのシリーズAを10億ドルの評価額でクローズし、Web3のAIユニコーンになった。

  フロック：ブロックチェーンで強化された連合型学習ネットワーク Flock.io  は、ブロックチェーンベースの連合型学習プラットフォームで、次のことを可能にするように設計されています。FLockは、統合された「Federated Learning + Blockchain Reward Layer」フレームワークであり、新しいトレーニングプロトコルを構築するための体系的な探求というよりは、本質的に従来のFLアーキテクチャのオンチェーン進化である傾向がある。Gensyn、Prime Intellect、Nous Research、Pluralisといった分散型トレーニング・プロジェクトと比較すると、Flockはコミュニケーション、検証、トレーニング方法論における理論的なブレークスルーよりも、プライバシー保護とユーザビリティの向上に重点を置いており、Flower、FedML、OpenFLといった連合型学習システムとの比較に適している。Flower、FedML、OpenFLのような連携学習システム。 まず、Flock.io s core mechanism

  1. 連合学習アーキテクチャ：データ主権とプライバシー保護を重視。Flockは古典的なFederated Learning (FL)パラダイムに基づいており、複数のデータ所有者が元のデータを共有することなく、統一されたモデルを共同で学習することを可能にし、データ主権、セキュリティ、信頼の問題を解決することに重点を置いています。主なプロセスは以下の通り：ローカルトレーニング：各参加者（Proposer）は、オリジナルデータをアップロードすることなく、ローカルデバイス上でモデルをトレーニングする。インセンティブとペナルティ：採点結果に基づいて、インセンティブや担保の没収を実行し、いたずら防止と動的な信頼維持を実現する。

  2. ブロックチェーンの統合：非信頼システム調整フロックは、透明性、検証可能性、検閲のために、トレーニングプロセスの中核的な側面（タスク割り当て、モデル提出、評価採点、インセンティブ実施）をチェーン化します。主なメカニズムとしては、VRFランダム選挙メカニズム：提案者と投票者のローテーションの公平性と反操作能力を向上させる。権利と利益の誓約（PoS）メカニズム：トークンの担保と罰則を通じてノードの行動を制約し、システムの堅牢性を向上させる。オンチェーンインセンティブ実行：タスクの完了と評価結果に拘束されるスマートコントラクトを通じて、インセンティブの分配と罰則の削減控除を実現し、信頼の仲介者を必要としない協調ネットワークを構築する。信頼仲介者を必要としない協調ネットワークとして利用できる。

  3. zkFL：プライバシー保護のためのゼロ知識集約メカニズム：FlockはzkFLゼロ知識集約メカニズムを導入しており、提案者はローカルで更新されたゼロ知識証明を提出し、投票者は元の勾配にアクセスすることなくその正しさを検証することができるため、プライバシーを保護し、訓練プロセスの信頼性を向上させることができます。これは、プライバシーを保護しながらトレーニングプロセスの信頼性を向上させるものであり、Federated Learningにおけるプライバシー保護と検証可能性の統合という方向性において重要な革新である。

  II.Flockの中心的な製品コンポーネントであるAI Arenaは、Flock.io s の分散型トレーニングプラットフォームです。nbsp;train.flock.io  モデルタスクに参加し、トレーナー、バリデーター、デリゲーターの役割を担い、モデルの提出、パフォーマンスの評価、トークンの委譲によって報酬を得る。現在、タスクは公式に公開されており、将来的にはコミュニティの共創に徐々に開放される予定だ。 FLアライアンス：Flock Federated Learningクライアントで、参加者がプライベートデータを使ってモデルをさらに微調整することをサポートする。VRFの選出、ステーキング、スラッシングの仕組みを通じて、トレーニングプロセスの誠実さとコラボレーションの効率性を保証し、コミュニティの初期トレーニングと実際の展開をつなぐ重要な役割を果たします。 AI Marketplace: モデルの共創と展開のためのプラットフォームで、ユーザーはモデルを提案し、データを提供し、モデルサービスを呼び出し、データベースアクセスとRAG強化推論をサポートし、様々な実世界シナリオにおけるAIモデルの上陸と流通を促進することができる。

  3、チームと資金調達のプロフィール Flock.io 孫家豪によって設立されたFlock.ioは、プラットフォームトークンFLOCKを発行しています。プロジェクトの累積資金調達額は1100万ドルです。2024年3月、Flockは600万ドルのシードラウンドを終了し、テストネットワークと連邦学習クライアントを立ち上げた。同年12月、300万ドルの追加資金を調達し、イーサリアムトークンを確保した。同年12月、Flockは300万ドルの追加資金を調達し、イーサネット財団から資金提供を受け、ブロックチェーンを活用したAIインセンティブに注力している。現在、このプラットフォームは6,428のモデルを作成し、176のトレーニングノード、236の検証ノード、1,178のデリゲートにアクセスしている。

  分散型トレーニングプロジェクトと比較すると、連合学習ベースのシステムであるFlockは、トレーニング効率、スケーラビリティ、プライバシー保護の点で有利であり、特に中小規模のモデルの共同トレーニングに適しており、実装が容易な実用的なアプローチで、エンジニアリングレベルの実現可能性の最適化を志向している。一方、Gensyn、一方、GensynやPluralis、その他のプロジェクトは、トレーニング方法やコミュニケーションメカニズムにおいて、より理論的なブレークスルーを追求しています。

  EXO：エッジコンピューティングのための分散型トレーニングの試み EXOは、現在のエッジコンピューティングシナリオにおける代表的なAIプロジェクトであり、ホームグレードのコンシューマーデバイス上での軽量AIトレーニング、推論、エージェントアプリケーションに特化しています。その分散型トレーニングパスは、「低通信オーバーヘッド＋ローカル自律実行」を強調し、DiLoCo非同期レイテンシ同期アルゴリズムとSPARTAスパースパラメータ交換メカニズムを採用し、マルチデバイス協調トレーニングの帯域幅需要を大幅に削減します。システムレベルでは、EXOはオンチェーンネットワークを構築したり、経済的インセンティブを導入したりすることなく、EXO Gymというシングルコンピュータ・マルチプロセスシミュレーションフレームワークを導入し、研究者がローカル環境で分散トレーニング手法の迅速な検証や実験を簡便に実施できるようサポートしている。 I. コアメカニズムの概要 DiLoCo 非同期トレーニング：ノードはHステップごとに同期され、不安定なネットワークに適応します。SPARTA スパース同期：各ステップで交換されるパラメータは少数（例えば0.1%）であり、モデルの関連性を維持し、帯域幅の要件を低減します。 evML検証メカニズムの探求：エッジ検証機械学習（evML）は、低コストの計算検証のためのTEE /セキュアコンテキストの使用を提案し、リモート検証+サンプリングメカニズムは、誓約することなく、エッジデバイスへの信頼できる参加を達成するために、経済的なセキュリティとプライバシー保護の間のエンジニアリング型の妥協である。 第二に、ツールとシナリオのアプリケーションEXO Gym：単一のデバイスでマルチノードのトレーニング環境をシミュレートすることができ、NanoGPT、CNN、拡散や通信政策実験の他のモデルをサポートしています、ビデオ録画）など、プライバシーに配慮したパーソナライズ機能を提供する。 EXO Gymは、既存の通信圧縮技術（DiLoCoやSPARTAなど）を統合することで、トレーニング経路を軽量化することに重点を置いた、より探索指向の分散型トレーニング実験です。Gensyn、Nous、Pluralisなどのプロジェクトと比較すると、EXOはまだオンチェーンコラボレーション、検証可能なインセンティブ、実際の分散ネットワーク展開の中核段階には進んでいません。

  分散型トレーニングのためのフロントチェーンエンジン：モデル事前トレーニングのパノラマ研究

  分散型トレーニングに蔓延する、デバイスの不均一性、通信のボトルネック、調整の難しさ、信頼できる実行の欠如という中核的な課題に直面しています。Gensyn、Prime Intellect、Pluralis、Nous Researchは、差別化されたシステムアーキテクチャパスを提案する。トレーニング方法とコミュニケーションメカニズムの観点から、これら4つのプロジェクトは独自の技術的焦点と工学的実装ロジックを示しています。

  トレーニング方法の最適化という観点から、4つのプロジェクトは、トレーニング前からトレーニング後までのさまざまな段階をカバーしながら、協調戦略、更新メカニズム、非同期制御という重要な次元を探求しました。

  • プライムインテレクトのPRIME-RLは、事前トレーニング段階の非同期スケジューリング構造に属します。PRIME-RLは、事前トレーニング段階における非同期スケジューリング構造であり、「ローカルトレーニング＋定期的同期」の戦略を通じて、異種環境における効率的で検証可能なトレーニングスケジューリング機構を実装する。この方法は汎用性が高く、柔軟性に富んでいる。理論的には非常に革新的であり、トレーニング制御構造における明確なパラダイムを提案している。工学的に実装するのは中々難しく、基礎となる通信モジュールや制御モジュールに高い要求がある。

  • Nous ResearchのDeMoオプティマイザーは、非同期の低帯域幅環境におけるトレーニングの安定性に重点を置き、ヘテロジニアスGPU上で耐障害性の高い勾配更新プロセスを実現しています。非同期通信と閉ループ圧縮」において、理論と工学を統合した数少ないソリューションの一つである。理論は、特に圧縮とスケジューリングの協調経路において非常に革新的であり、工学的実装は、特に非同期並列の協調精度に依存しており、非常に困難である。

  • 一方、PluralisのSWARM + NAGは、非同期トレーニングパスのための最も体系的で画期的な設計の1つです。非同期モデル並列フレームワークに基づいて、列空間スパース通信とNAG運動量補正を導入し、低帯域幅条件下でも安定的に収束できる大規模モデル学習スキームを構築しています。その理論は非常に革新的であり、非同期協調訓練の構造的先駆者である。工学的難易度も非常に高く、マルチレベル同期とモデルスライシングの深い統合を必要とする。

  • GensynのRL Swarm は、主にトレーニング後のフェーズで、ポリシーの微調整と協調学習に焦点を当てています。訓練プロセスは「生成-評価-投票」の3段階プロセスに従い、特にマルチエージェントシステムにおける複雑な行動の動的調整に適している。理論的な革新性は中程度に高く、主に知的体の協力の論理にある。工学的な実装は中程度に難しく、主な課題はシステムのスケジューリングと行動の収束制御にある。

  通信メカニズムの最適化レベルでは、これら4つのプロジェクトも独自のターゲットレイアウトを持っており、一般的に帯域幅のボトルネック、ノードの不均一性、システムソリューションのスケジューリング安定性の問題に焦点を当てています。

  • Prime IntellectのPCCL は、従来のNCCL基礎通信ライブラリの代替であり、上位層トレーニングプロトコルのより堅牢な集団通信基盤を提供するように設計されています。基盤です。フォールト・トレラント通信アルゴリズムにいくつかのブレークスルーがあるなど、理論的な革新度は中～高程度で、エンジニアリングの難易度は中程度、モジュールの適応性は強力です。

  • Nous ResearchのDisTrO はDeMoの中核となる通信モジュールで、トレーニングループの一貫性を保証しながら、低帯域幅で最小の通信オーバーヘッドを達成することに重点を置いています。理論的には非常に革新的で、協調構造のスケジューリングにおいて普遍的な設計価値を持っています。工学的には難しく、高い圧縮精度とトレーニングの同期を必要とします。

  • Pluralisの通信メカニズムはSWARMアーキテクチャに深く組み込まれており、大規模モデルの非同期トレーニングにおける通信負荷を大幅に軽減し、効率的なスループットを維持しながら収束を保証します。理論的には非常に革新的で、非同期モデル通信設計のパラダイムを設定し、工学的には非常に難しく、分散モデルスケジューリングと構造的スパース制御に依存しています。

  • GensynのSkipPipe は、RL Swarm用の耐障害性スケジューリングコンポーネントです。このソリューションは低コストで導入でき、主にエンジニアリング・ランディング・レイヤーにおけるトレーニングの安定性向上に使用される。理論的な革新性は平均的で、既知のメカニズムを工学的に実装したものである。工学的な難易度は低いが、実際の展開では実用性が高い。

  さらに、より巨視的な2大カテゴリーのブロックチェーンコラボレーションレイヤーとAIトレーニングレイヤーから、分散型トレーニングプロジェクトの価値を測定することができます：

  ブロックチェーンコラボレーションレベル：

  • 検証可能性：訓練プロセスが検証可能かどうか、ゲーム性や暗号化メカニズムを導入しているかどうかに信頼を構築する

  • Incentive Mechanisms : タスク駆動型のトークン報酬/役割メカニズムが設計されているかどうか;

  • Openness and Thresholds : ノードがアクセスしやすいかどうか、集中化されているかどうか、制御可能かどうか;

  • Openness and Barriers to Access : ノードがアクセスしやすいかどうか、集中化されているかどうか、制御可能かどうか;

  • Openness and Barriers to Access : ノードがアクセスしやすいかどうか、集中化されているかどうか、制御可能かどうか。中央集権的か、制御可能か。

  AIトレーニングシステムレベル：エンジニアリング能力とパフォーマンスのアクセシビリティを強調する

  • 開放性とアクセシビリティ ：ノードがアクセスしやすいか、集中化されているか、おそらく制御可能かどうか。style="text-align: "left;">通信経路の最適化：低帯域幅に対応するための勾配/疎な通信の圧縮があるかどうか。

  以下の表は、上記の評価基準に基づき、Gensyn、Prime Intellect、Pluralis、Nous Researchの分散型トレーニングパスの技術的な深さ、エンジニアリングの成熟度、理論的な革新性を体系的に評価したものです。Gensyn、Prime Intellect、Pluralis、Nous Researchの分散型トレーニングパスにおける技術的深度、工学的成熟度、理論的革新性を体系的に評価する。

  非中央集権型のトレーニングのバックチェーンエコシステム：LoRAベースのモデル微調整

  分散型トレーニングの完全なバリューチェーンにおいて、Prime Intellect、Pluralis.ai、Gensyn、Nous Researchなどのプロジェクトは、モデルの事前トレーニング、コミュニケーションメカニズム、共同最適化などのフロントエンドのインフラに焦点を当ててきました。メカニズムや協調最適化など、フロントエンドのインフラに焦点を当ててきた。しかし、トレーニング後の微調整や推論配信に重点を置き、事前トレーニング、パラメータ同期、通信最適化などの体系的なトレーニングプロセスには直接関与しない別のプロジェクト群も存在する。代表的なプロジェクトには、Bagel、Pond、RPS Labsなどがあり、これらはすべてLoRAファインチューニング手法を中核として使用しており、分散型トレーニングエコシステムの重要な「バックチェーン」を形成しています。

  LoRA + DPO: A Realistic Path to Web3 Fine-Tuning Deployment

  LoRA（Low-Rank Adaptation）は、非常に効率的なパラメータ微調整手法です。事前に訓練された大規模モデルに低ランク行列を挿入し、元のモデルパラメータを凍結したまま新しいタスクを学習します。この戦略は、学習コストとリソース消費を大幅に削減し、微調整の速度と展開の柔軟性を向上させ、モジュール性とコンビナトリアルな呼び出しを特徴とするWeb3シナリオに特に適しています。

  LLaMA、GPT-3などの従来の大規模言語モデルは、数十億から数千億のパラメータを持つことが多く、直接の微調整にコストがかかります。一方、LoRAは、挿入された少数のパラメータ行列のみを学習することで、大規模モデルの効率的な適応を実現し、現在最も実用的な主流のアプローチの1つとなっています。

  **Direct Preference Optimization (DPO)**は、最近登場した言語モデルの事後学習手法であり、モデルの振る舞いのアライメント段階でLoRAの微調整機構と併用されることが多い。従来のRLHF（人間フィードバックからの強化学習）手法と比較して、DPOはサンプルのペアを直接最適化することでプリファレンス学習を実現し、複雑な報酬モデリングと強化学習プロセスを排除し、よりシンプルな構造と安定した収束を実現する。その効率性と使いやすさから、DPOは多くの分散型AIプロジェクトにおいて、モデル調整のための好ましいソリューションになりつつあります。

  強化学習（RL）：トレーニング後の微調整の未来

  長期的には、より多くのプロジェクトが強化学習（RL）を優先するようになっています。強化学習(Reinforcement Learning, RL)は、分散型トレーニングにおいて、より適応的で進化的な可能性を秘めたコアパスです。静的なデータに依存する教師あり学習やパラメーターの微調整メカニズムに比べ、RLは動的な環境における戦略の継続的な最適化を重視する。環境との継続的な相互作用を通じて、RLは高度にパーソナライズされた継続的な漸進的学習プロセスを可能にし、エージェントネットワーク、オンチェーンタスク市場、スマートエコノミーの構築に進化的な「行動知能」インフラを提供します。

  このパラダイムは、分散化の精神に非常に適合しているだけでなく、システム的にも大きな利点があります。

  このパラダイムは、分散化の精神に非常に適合しているだけでなく、システム的にも大きな利点がある。

  プライムインテレクトのPRIME-RLやジェンシンのRL Swarm は、RLを訓練後の微調整メカニズムから訓練前のマスター構造へと推し進め、信頼できる協調を必要としない協調的なRL中心システムを構築しようとしていることは注目に値する。信頼できる協調を必要としない訓練システム

  Bagel (zkLoRA): A Trusted Verification Layer for LoRA Fine-Tuning

  BagelはLoRAファインチューニングに基づき、「オンチェーンモデルファインチューニング」の問題解決に特化したゼロ知識証明（ZK）技術を導入しています。「Bagelは、オンチェーンモデル微調整の信頼性とプライバシーの課題に対処するため、ゼロ知識証明（ZK）技術を導入します。zkLoRAは実際のトレーニング計算には関与せず、むしろ外部ユーザーが元のデータや重みにアクセスすることなく、微調整されたモデルが指定されたベースモデルとLoRAパラメータに由来することを確認するための、軽量で検証可能なメカニズムを提供します。

  GensynのVerdeやPrime IntellectのTOPLOCは、学習プロセスが「あるべきように動作する」ことを動的に検証することに重点を置いていますが、Bagelは「微調整結果の信頼性」に重点を置いています。GensynのVerdeやPrime IntellectのTOPLOCが、訓練中に「その振る舞いが本当に起こったかどうか」の動的検証に重点を置いているのに対し、Bagelは「微調整結果が信頼できるかどうか」の静的検証に重点を置いている。zkLoRAの最大の利点は、検証リソースの消費量が少なく、プライバシーを保護できることだが、その応用は通常、パラメータの変更が小さい微調整タスクに限られる。

  Pond：GNNシナリオのための微調整とインテリジェンス進化プラットフォーム

  Pondは、知識グラフやソーシャルネットワークなどの構造化データアプリケーションのためのグラフニューラルネットワーク（GNN）の微調整に焦点を当てた、業界唯一の分散型トレーニングプロジェクトです。知識グラフ、ソーシャルネットワーク、トランザクショングラフなどのアプリケーションに対応する。ユーザーがグラフ構造化データをアップロードし、モデルのトレーニングフィードバックに参加できるようにすることで、パーソナライズされたタスクのための軽量で制御可能なトレーニングおよび推論プラットフォームを提供します。

  Pondはまた、LoRAのような効率的な微調整メカニズムを採用しており、その中心的な目標は、GNNアーキテクチャ上でインテリジェンスのモジュール化された展開可能なシステムを実現し、分散型コンテキストにおける「小さなモデルの微調整＋マルチインテリジェンス連携」のための新たな探求の道を開くことです。これは、分散化された文脈における「小さなモデルの微調整＋多知能連携」のための新しい探求の道を開くものです。

  RPS Labs: AI-driven mobility engine for DeFi

  RPS Labsは、Transformerアーキテクチャに基づく分散型トレーニングプロジェクトで、DeFiモビリティのためのAIモデルの微調整に焦点を当てています。DeFiモビリティ管理のためのAIモデルで、主にSolanaエコシステムで展開されている。同社の主力製品であるUltraLiquidは、アクティブマーケットメーキングエンジンのスイートで、微調整されたモデルを使用して流動性パラメーターを動的に調整し、スリッページを減らし、深さを増し、トークンの発行と取引体験を最適化します。

  さらにRPSは、流動性プロバイダーがリアルタイムでDEX上の資金配分戦略を最適化し、資本効率を向上させ、無常的な損失のリスクを減らすことを可能にするUltraLPツールを導入し、金融シナリオにおけるAIの微調整の価値を実証しました。

  フロントチェーンエンジンからバックチェーンエコシステムへ：分散型トレーニングの前途

  分散型トレーニングの完全なエコロジカルマップでは、全体を大きく2つのカテゴリーに分けることができます：フロントチェーンエンジンはモデルの事前トレーニング段階に対応し、バックチェーンエコシステムはモデルの微調整の展開段階に対応します。エコロジーはモデルの微調整の展開段階に対応し、インフラからアプリケーションの着地までの完全な閉ループを構成します。

  プリチェーンエンジンは、モデルプリトレーニングの基礎となるプロトコルの構築に重点を置いており、Prime Intellect、Nous Research、Pluralis.ai、Gensyn といったプロジェクトが代表的です。これらのプロジェクトは、非同期更新、疎な通信、トレーニング検証可能性を備えたシステムアーキテクチャの構築に取り組んでおり、分散型トレーニングの技術的なルーツとなる、非信頼ネットワーク環境における効率的で信頼性の高い分散型トレーニング機能を実現しています。

  同時に、Flock は中間層の代表として、連合学習パス、モデル集約の融合、オンチェーン検証、マルチパーティインセンティブなどのメカニズムを通じて、訓練と配備の間に着地可能で協調的なブリッジを確立し、マルチノード協調学習の実用的なパラダイムを提供します。

  ポストチェーンのエコロジーは、モデルの微調整とアプリケーション層の展開に焦点を当てています。Bagelはオンチェーンで信頼できる検証メカニズムを提供し、Pondはグラフ・ニューラル・ネットワークの小さなモデル進化に焦点を当て、RPSはDeFiシナリオでスマートな市場形成に微調整されたモデルを適用します。これらは、推論APIやエージェントSDKなどのコンポーネントを通じて、低閾値で組み合わせ可能なモデル呼び出しとパーソナライズされたカスタマイズ・ソリューションを開発者とエンドユーザーに提供し、分散型AIの重要な入口となっています。

  私たちは、分散型トレーニングはAI時代におけるブロックチェーンの精神の自然な延長であるだけでなく、グローバルな協調型スマート生産性システムのインフラのプロトタイプでもあると信じています。将来、この前途多難な旅を振り返るとき、私たちはやはり同じ言葉で励まし合うでしょう：分散化は単なる手段ではなく、それ自体が価値なのです。