ACT vs SmolVLA
Motion Smoothness 定量評価

前日（2026-08-12）に実施した実機定性評価では、SmolVLAは20kから80kにかけて徐々にカクつきが減少した一方、80kから100kでは改善がほぼ飽和し、ACT 100kの方が明確に滑らかに見える、という印象が得られていた。

本評価の目的は、この定性的な印象が (a) Action系列、(b) 実際に動いたJoint State系列の双方において、定量指標として再現されるかを確認することである。加えて、CSV・グラフ・実機動画の3種類の証拠を相互参照し、既存の考察（claude_context.txt）を単に要約するのではなく、検証・増補・再構成することを狙いとする。

各checkpointについて実機Rolloutを収録し、Action / Observation StateからMotion Smoothnessを評価した。動画はACT / SmolVLA × 20k〜100k × front / top の組み合わせで収録されているが、ACTについては動画資産として20kと100kのみが本パッケージに含まれる（CSV上の定量データは20k〜100kの全checkpointが揃っている）。このため、動画による定性比較はACT 20k・ACT 100k・SmolVLA 全checkpointを中心に行う。

本評価では2階差分（Δ²、離散近似の加速度に相当）を基本指標とする。Δ²は連続するAction出力・Joint State変化の「切り返しの急峻さ」を捉える指標であり、値が小さいほど滑らかであると解釈する。

Meanは「常時のジッタ」、P95は「局所的な瞬間的ジャーク」を捉える指標として役割が異なる。両者が揃って低い場合にのみ「一貫して滑らか」と言え、Meanは低いがP95が高い場合は「普段は滑らかだが、一部の区間・一部のEpisodeで大きく崩れている」ことを示唆する。この区別は §7 のSmolVLA 80k gripper分析で重要になる。

6 Joint（shoulder_pan / shoulder_lift / elbow_flex / wrist_flex / wrist_roll / gripper）平均のΔ²を、Action / Joint State、Mean / P95の4通りで集計した。全ての組み合わせで、ACTがSmolVLAを一貫して下回る。

4-1. 集計サマリ（6 Joint平均）

出典: analysis/smoothness_master_summary.csv（difference=d2）を joint 方向に平均。単位はJoint値のΔ²（無次元、元データのJoint value scaleに準拠）。

4-2. Action Δ² Mean — Joint別

4-3. Action Δ² P95 — 局所的なジャーク

4-4. Joint State Δ² — 実機Physical Motionへの伝播

Action側の差がそのまま実機の動きに現れているかを見るため、Joint State側のΔ²も確認する。総じてACTが低いという傾向はActionと同様だが、Action側ほど明確な差にはならないJointも存在する。

「ACTの方が収束が早く、最終的なSmoothnessも高い」という既存の解釈を、SmolVLA/ACT比（値の比率）で検証する。単純な差ではなく比をとることで、両Policyの収束ダイナミクスの違いがより明確になる。

Checkpoint別サマリ表（定性 × 定量）

front / top 2視点の動画をcheckpoint横断で比較した。以下は動画から直接観察できる事実（Observation）であり、Policy内部の原因についての推測は §8 で明示的に「仮説」として分離する。

6-1. ACT 20k vs ACT 100k — Grasp遷移の滑らかさ

Grasp直前・直後の区間（0.2秒間隔でサンプリングしたフレーム列）を比較すると、ACTは 20k時点で既に Grasp動作が単一の連続した弧を描いており、指の開閉やアームの姿勢遷移に不連続な飛びが見られない。100kではこの傾向がさらに洗練され、動作全体の軌道がより短く、より直線的になる。

6-2. SmolVLA 20k — 動作の停滞・ためらい

SmolVLA 20kのfront視点を等間隔でサンプリングすると、他のcheckpointと比べて同一姿勢に近い状態が長く続く区間が観察される。これはΔ²が捉える「高周波の揺れ」というより、動作決定のタイミングが遅い・迷いがあるように見える現象であり、指標上はAction Δ² Meanの高さとして現れているものの、動画から受ける印象は「ガタつき」よりも「ぎこちない静止」に近い。

6-3. SmolVLA 80k / 100k — 定量指標と動画印象の不一致

ここが本レポートで最も注意すべき点である。Action Δ² P95・State Δ² MeanはSmolVLA 80kでgripperを中心に再上昇するが（§4-4）、front/top動画を単純に眺めるだけでは、この再上昇に対応する明確な「見た目の崩れ」を全Episodeで一貫して確認することは難しい。多くの区間では動作は視覚的に妥当に見え、指標上の悪化はごく一部のEpisode・ごく短い時間帯に集中している（§7で詳述）。

6-4. Top視点による軌道の連続性確認

6-5. 観察事実のまとめ

• [観測] ACTはfront/top双方で、20kの時点から既に滑らかな単一軌道に近いGrasp動作を示す。
• [観測] SmolVLA 20kは「揺れ」よりも「動作決定の停滞」が視覚的に目立つ。
• [観測] SmolVLA 60kは20kと比べて明確に停滞が減少し、この時点でACTとの相対ギャップが最小になるという定量結果と方向性が一致する。
• [観測] SmolVLA 80k・100kの動画を通しで見ただけでは、Action Δ² P95 / State Δ²の再上昇に対応する明確な崩れを毎回視認できるわけではない。悪化はEpisode単位で偏在している。
• [観測] Top視点では、SmolVLAは目標姿勢近傍での微調整（小さな往復運動）がACTより多い。

§4-4で確認したSmolVLA 80kのgripper Δ²再上昇の内実を、Episode単位のAction/State比較で掘り下げる。これは今回の相互参照分析で得られた最も具体的な新知見である。

7-1. 5 Episode 全体像

出典: analysis/smoothness_master_per_episode.csv（policy=SmolVLA, checkpoint_k=80, joint=gripper, difference=d2）

7-2. Episode単位のAction vs State — 「飽和後の発散」パターン

「ACTが良い／SmolVLAが悪い」という単純な優劣比較ではなく、なぜ差が生じうるのかを、Policy architecture・Action generation・Chunking・Flow Matching・Temporal execution・Servo tracking・Checkpoint convergence・Episode variabilityの観点から検討する。ここで述べる内容のうち、今回の実験データから直接確認できるものは「観測事実」、一般的な設計原理から導かれる説明は「仮説」として明示する。

ここでは、ACT・SmolVLAのアーキテクチャに関する一般的な技術的知見を、一次資料・公式実装の調査に基づいて整理する。これらは「既存研究から得られる一般的知見」であり、「今回の実験で観測した事実」とは明確に区別する。

9-1. ACT — Action Chunking with Transformers

[既存研究] ACT（Zhao et al., 2023, "Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware"）は、Conditional VAEとTransformerを組み合わせ、単一timestepではなくk個先までのAction列（Chunk）をまとめて予測する。推論時にはオプションとしてTemporal Ensemblingを適用でき、これは毎timestepでPolicyを呼び出して重複するChunk予測群を得た上で、指数重み付き平均（新しい予測ほど重みが大きい）によって最終的なActionを合成する手法である。原論文および追試研究では、この手法が「Jitter（揺れ）を緩和し、滑らかで正確な動作を生む」ことに寄与すると報告されている。

9-2. SmolVLA — Flow Matching Action Expert

[既存研究] SmolVLA（Hugging Face, 2025）は、軽量なVision-Language Model（SmolVLM-2）と、約100MパラメータのCompact Transformer + Flow Matching目的関数で学習されるAction Expertを組み合わせたVLA（Vision-Language-Action）モデルである。Flow Matchingは、ノイズからAction Chunkへの連続的な変換（ベクトル場）を学習する生成モデルの枠組みであり、単一のAction Chunk内部では滑らかで連続的な軌道を生成するように設計されている。

[既存研究] SmolVLAは推論効率化のため、Policy側の推論とRobot側のAction実行を分離する非同期推論（Asynchronous Inference）を採用しており、現在のChunkを実行しながら次のChunkの計算をバックグラウンドで進める設計になっている。

9-3. Chunk境界の不連続性という既知の課題

[既存研究] Flow Matching系のAction Expertを非同期実行する場合、新しいChunkが生成されるたびに、それが直前まで実行していたChunkの続きと滑らかに接続する保証が設計上組み込まれていなければ、Chunk境界で分布外的な「Jerk」が生じうることが、SmolVLA以降の複数の研究（例: Real-Time Chunking／RTC、および関連するChunk融合手法の提案研究）で明示的に課題として指摘されている。これらの研究は、SmolVLA自身の標準的な非同期実行方式が、Chunk間の不連続性の問題を積極的には解いていないことを指摘し、その解決策（初期ノイズの選択、Chunk融合、Prefix一致制約など）を別途提案している。

[既存研究とACTとの対比] 一方、ACTのTemporal Ensemblingは、毎timestepでPolicyを呼び出し重複するChunk予測を重み付き平均するという、設計思想として異なるアプローチでChunk境界問題に対処しており、原理的にはChunk単位の急な切り替えそのものが発生しにくい構造になっている。

参考文献

1. Zhao, T. Z., et al. "Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware." (ACT / Temporal Ensembling) — arxiv.org/pdf/2304.13705
2. Lipman, Y., et al. "Flow Matching for Generative Modeling." arXiv:2210.02747, 2022.
3. Hugging Face LeRobot. "SmolVLA: A Vision-Language-Action Model for Affordable and Efficient Robotics." — huggingface.co/docs/lerobot
4. Hugging Face LeRobot Docs. "Asynchronous Inference." — huggingface.co/docs/lerobot/async
5. Hugging Face LeRobot Docs. "Real-Time Chunking (RTC)." — huggingface.co/docs/lerobot/rtc
6. "Training-Time Action Conditioning for Efficient Real-Time Chunking" — SmolVLAのChunk間不連続性（"jerks"）に関する指摘 — arxiv.org/pdf/2512.05964
7. "Learning High-Frequency Continuous Action Chunks in Latent Space" — Chunk境界の連続性に関する関連研究の整理 — arxiv.org/pdf/2605.24931

別途検討中のComposable Physical AI構成では、SLM/VLM Planner → Skill Selection → Task-specific Policy → Low-level Motionという形で、Reasoning/PlanningとLow-level Motion Generationを分離することが検討されている。

今回の単一Pick&PlaceタスクにおいてはACTがMotion Smoothnessで一貫して優位だった。この結果は、次のような設計上の示唆を与えうる。

• Task-specific Policy層にはACT的な（Chunk + Temporal Ensembling型の）アーキテクチャが、Low-level Motion Qualityの観点で有力な選択肢になりうる。ACTはVLMのような汎用的な言語理解能力を持たない代わりに、狭いタスク分布に特化した滑らかな動作生成に強みを示した。
• SmolVLAのようなVLA（Language-aware）は、Planner層が要求する汎用性・指示追従性の強みを持つ一方、単一Task特化の場面ではMotion Qualityの面でTask-specific Policyに対して現状ギャップがありうる。これはSmolVLAが劣っているという意味ではなく、SmolVLAの強み（汎用性・言語理解）と今回計測した強み（Motion Smoothness）が異なる評価軸であることを示している。
• したがって、PlannerとLow-level Motion Policyを分離する構成では、「どのタスク・どのSkillに、どちらのアーキテクチャ的強みを割り当てるか」という設計判断が重要になる。例えば、Plannerとしては言語理解力のあるVLAを使いつつ、実際の器用な操作（Fine manipulation）を要するSkillについてはACT的な特化Policyに委譲する、というハイブリッド構成が今回の結果からは合理的な方向性として示唆される。

今回の結果は、以下の限定条件下での比較であり、ACTとVLA一般の性能差を示すものではない。

§8・§11で挙げた仮説を個別に切り分けるため、以下の追加実験を優先度順に提案する。

今回の定量評価は、前日の定性評価（「ACT 100kは滑らか、SmolVLA 100kには細かなカクつきが残る」）を、Action系列・Joint State系列双方のΔ²指標において支持する結果を示した。ACTは20kという学習初期の段階から一貫してSmolVLAより低いΔ²を示し、この差は100kまで縮小しつつも消えることはなかった。

一方で、CSV・グラフ・動画を相互参照したことで、単純な要約では見えてこない以下の知見が得られた。

• ACT/SmolVLAの相対ギャップは単調に縮小するのではなく、60〜80kで最小化した後、100kにかけて再拡大するという非単調な収束ダイナミクスを示す（§5）。
• SmolVLA 80kのgripper指標の再上昇は、全Episode一様の劣化ではなく、一部Episodeにおける「機構的飽和後のAction発散」という具体的な現象に起因する可能性が高い（§7）。
• 動画上の印象と定量指標は必ずしも1対1に対応しない。特に稀だが大きな失敗が、通し視聴では見落とされやすい形で集計統計量を押し上げているケースが確認された（§6）。
• SmolVLAのカクつきを「過学習」と解釈するのは適切ではなく、20kが最も不安定でcheckpoint進行とともに明確に改善していることから、SmolVLAもMotion Stabilityそのものは学習している。80k〜100kでの飽和は、Policy構造・Action生成方式・Chunk実行方式など複数の要因が絡む可能性があり、現時点では仮説の域を出ない（§8, §9）。

これらの知見はいずれも、単一Dataset・単一Task・単一Robotという限定条件下のものであり、ACTとVLA一般の優劣を主張するものではない。§12で提案した追加実験（特にChunk境界の記録とTemporal Ensembling感度分析）は、本レポートで「仮説」として留保した論点を「観測事実」へ格上げするために必要な、次の具体的なステップである。