SegRef3D

SegAnything：SegRef3D Job ワークフロー

SegAnythingは、Google ColabのGPUを計算backendとして利用します。Box Prompt、Prompt Frame、Tracking Rangeの設定はすべてSegRef3Dで行い、別のGradio画面は使用しません。

1. SegRef3Dでobjectを設定

1. SegRef3D Local GPU、Local CPU、またはSegRef3D Liteで画像系列を読み込みます。
2. Target Objectでobject IDを選びます。
3. 対象が明瞭な画像へ移動し、Set Box Promptを押します。
4. 対象を囲むboxを描きます。この画像がPrompt Frameになります。
5. 追跡を始める画像でSet Tracking Startを押します。
6. 追跡を終える画像でSet Tracking Endを押します。
7. Add Object Promptを押します。
8. 複数objectがある場合は同じ操作を繰り返します。

Extensions > Batch Tracking > Batch Jobsでは、object名、Prompt Frame、Tracking Range、box座標を一覧で確認・編集・削除できます。Prompt FrameはTracking Rangeの内側に設定してください。

2. Job ZIPを出力

AI Segmentation > SegAnythingからCreate Input ZIPを押し、seganything_request.zipを保存します。ZIPには作業用JPG画像系列とmanifest.jsonが入ります。

3. SegAnythingを実行

1. SegRef3DのSegAnythingを押すか、SegAnythingを開きます。
2. Colabでランタイム > ランタイムのタイプを変更 > T4 GPU > 保存を選びます。
3. ランタイム > すべてのセルを実行を選びます。
4. upload欄が表示されたらseganything_request.zipを選びます。
5. 各objectのforward/backward trackingが終わるまでnotebookを開いたまま待ちます。
6. Segmentation completeになると、独立した最後のcellからseganything_result.zipのdownloadがbrowserで自動的に始まります。

処理中は、現在のstep、object、frame、全体進捗が表示されます。

4. 結果ZIPを読み込み

1. SegRef3Dへ戻ります。
2. AI Segmentation > SegAnything > Import Result ZIPを押します。
3. seganything_result.zipを選びます。
4. 既にlabel maskがある場合は、置換確認に同意します。

SegRef3Dは画像系列とmaskを検証してから反映します。画像を開いていない場合は、result ZIP内のJPG系列も自動復元します。読み込んだmaskは新しい[autosave] label PNGフォルダへ直ちに保存されます。

SegRef3D Liteでの操作

ブラウザ版も同じmanifest/ZIP形式を使用します。SegAnything > Edit SetupからAI Tracking Setupを開いたままmouse wheelまたはF/Rで画像を移動し、Use currentで現在画像をTracking start/endとして取り込みます。Add Box Prompt Hereではcrosshair補助線を使ってBox Promptを設定できます。Create Input ZIPで出力し、Colabの結果をImport AI Resultで復元します。jobの準備にはローカルSAM2やNVIDIA GPUは不要です。

5. 修正と3D構築

読み込み後は通常のSegRef3Dと同じように、Add、Erase、Transfer、label変更、補間、計測、NIfTI、TIFF、STL、overlay PNG、volume CSV出力を利用できます。

mask PNGはsingle-channel label imageです。0が背景、1から20がobject IDです。

トラブルシューティング

• ZIP不正、manifestなし：SegRef3Dからjob ZIPを再出力してください。
• Prompt Frameが範囲外：Batch JobsでTracking Rangeを修正してください。
• CUDA/model error：ColabがT4などのGPU runtimeになっていることを確認し、ランタイム > ランタイムを接続解除して削除の後に全セルを再実行してください。
• 処理中断：全セルを再実行し、先頭の実行cellで同じinput ZIPをuploadした後、残りのcellが終わるまでnotebookを開いたままにしてください。
• downloadが始まらない：最後のdownload cellだけを再実行してください。localhostへのlinkではなく、Colab標準のfiles.download()を使用します。

This site is open source. Improve this page.