Abstract— Studies in robot teleoperation have been centered around action specifications—from continuous joint control to discrete end-effector pose control. However, these “robotcentric” interfaces often require skilled operators with extensive robotics expertise. To make teleoperation accessible to nonexpert users, we propose the framework “Scene Editing as Teleoperation” (SEaT), where the key idea is to transform the traditional “robot-centric” interface into a “scene-centric” interface—instead of controlling the robot, users focus on specifying the task’s goal by manipulating digital twins of the real-world objects. As a result, a user can perform teleoperation without any expert knowledge of the robot hardware. To achieve this goal, we utilize a category-agnostic scene-completion algorithm that translates the real-world workspace (with unknown objects) into a manipulable virtual scene representation and an action-snapping algorithm that refines the user input before generating the robot’s action plan. To train the algorithms, we procedurely generated a large-scale, diverse kit-assembly dataset that contains object-kit pairs that mimic real-world object-kitting tasks. Our experiments in simulation and on a real-world system demonstrate that our framework improves both the efficiency and success rate for 6DoF kit-assembly tasks. A user study demonstrates that SEaT framework participants achieve a higher task success rate and report a lower subjective workload compared to an alternative robot-centric interface. 日本語で、これが非同期的な人とロボットのインタラクションであることを説明して。原文に従わなくてよくて、日本語として自然になるように表現や文章をどんどん変えていってほしい。
抄録— ロボットの遠隔操作に関する研究は、連続的な関節制御から離散的なエンドエフェクタの姿勢制御まで、アクションの指定に焦点を当ててきました。しかし、これらの「ロボット中心」のインターフェースは、しばしば熟練した操作者と広範なロボット技術を必要とします。遠隔操作を専門知識を持たないユーザーにも利用可能にするため、私たちは「シーン編集としての遠隔操作」（SEaT）というフレームワークを提案します。このフレームワークの主なアイデアは、従来の「ロボット中心」のインターフェースを「シーン中心」のインターフェースに変換することです。ユーザーはロボットを制御するのではなく、実世界のオブジェクトのデジタルツインを操作してタスクの目標を指定します。その結果、ユーザーはロボットのハードウェアについての専門知識なしに遠隔操作を行うことができます。この目標を達成するため、私たちは、未知のオブジェクトを含む実世界の作業空間を操作可能な仮想シーン表現に変換するカテゴリー非依存のシーン完成アルゴリズムと、ロボットのアクション計画を生成する前にユーザー入力を洗練するアクションスナッピングアルゴリズムを利用します。これらのアルゴリズムを訓練するため、私たちは大規模で多様なキット組立データセットを手順的に生成しました。このデータセットには、実世界のオブジェクトキットタスクを模倣したオブジェクトキットのペアが含まれています。シミュレーションと実世界のシステムでの実験では、私たちのフレームワークが6DoFキット組立タスクの効率と成功率を向上させることが示されました。ユーザー研究では、SEaTフレームワークの参加者が、代替的なロボット中心のインターフェースに比べて高いタスク成功率を達成し、主観的な作業負
わかりづらい。もっと分かりやすくして
抄録— ロボットを遠隔で操作する研究は、これまでロボットの動きや位置に重点を置いてきました。しかし、そのような「ロボット中心」の操作は、専門的な知識と技術が必要であり、一般の人には難しいという問題がありました。それを解決するため、我々は新しい枠組み、「シーン編集としての遠隔操作」（SEaT）を提案します。
このSEaTでは、ユーザーはロボット自体を操作するのではなく、ロボットが働く場面（シーン）や対象物（オブジェクト）をデジタルで操作します。具体的には、現実世界のオブジェクトのデジタル模倣（デジタルツイン）を用いて、操作したい結果を指定します。すると、それをロボットが理解してタスクを実行します。これにより、ロボットの専門的な知識がない人でも、ロボットの遠隔操作が可能になります。
さらに、実世界の作業環境を仮想的に表現し、ユーザーが指定した操作を適切に調整するための新たな技術を用いています。これにより、ユーザーが適切な操作をより簡単に行えるようになります。
このシステムを評価するため、我々は大規模で多様な仮想的な組み立て作業のデータセットを作り、システムを訓練しました。そして、シミュレーションと現実のロボットでの実験を行い、この新しい方法が組み立て作業の効率と成功率を向上させることを確認しました。
また、実際のユーザーによる評価でも、SEaTを使用した場合が、従来の「ロボット中心」の操作よりも作業が成功しやすく、また操作者のストレスも少ないことが確認されました。