SegRef3D
連続画像から、定量可能な3Dデータへ。
SegRef3Dは、連続画像や3D volumeから、構造のsegmentation、mask修正、校正済み体積の計測、 3Dモデルの再構築を行う研究者向けオープンソースplatformです。
SegRef3D Liteを開く · Local GPU v1.3.2をダウンロード · 基本操作 · AIに相談 · English
どんな画像を持っていますか？
| データ | SegRef3Dでできること |
|---|---|
| 連続組織切片／光学顕微鏡画像 | 構造をsegmentし、maskを修正し、体積計測と3D再構築へ進めます。 |
| 連続電子顕微鏡画像 | 順序付けられた画像stack上で構造をsegmentし、定量・再構築できます。 |
| CT／MRI | volumeを読み込み、構造のsegmentation／修正、体積計測、3D出力ができます。 |
| Micro-CT | 既知のvoxel spacingを用いて定量的なsegmentation、計測、3D再構築ができます。 |
| Visible Human／解剖学的画像stack | 順序付けられた画像から解剖構造をsegmentし、定量3Dデータを作れます。 |
| 既存mask／AI segmentation | maskを読み込み、修正し、計測・出力できます。 |
物理的な連続切片は、定量3D解析の前にregistrationが必要な場合があります。 実寸計測には、信頼できるpixel/voxel spacingとslice spacingが必要です。
デモデータ
SegRef3D Liteでは、ブラウザから直接読み込める2種類の顕微鏡画像スタックを用意しています。
- 電子顕微鏡画像： HeLa細胞、EMPIAR-10478（CC0）。150枚、512 × 512、25.4 MB。
- マウス脳 — 光学顕微鏡： Brain Architecture Project（BAP）由来の連続切片画像。 132枚、707 × 553、51.5 MB。CC BY-SA 4.0に基づいて再配布しています。
開始画面または Open メニューから選べます。既存のAppleとRabbitCTデモも利用できます。 デモ画像は選択時にダウンロードされます。ユーザー自身の画像を通常利用時に外部へ送信することはありません。 出典、加工内容、引用文献はデモデータのライセンス表記をご覧ください。 画像のライセンスは、SegRef3D本体のApache-2.0ライセンスとは別です。 マウス脳画像の実際のpixel spacingとslice spacingは不明のため、実寸計測には校正が必要です。
何をしたいですか？
- 連続画像やvolume内の構造をsegmentする
- 既存またはAI生成segmentationを修正する
- 校正されたobject体積を計測する
- 構造を3D再構築して確認する
- mask、label volume、計測値、surface modelを外部解析用に出力する
SegRef3Dを使う理由
画像stackとvolumeの両方に対応
連続組織切片、顕微鏡、CT/MRI、micro-CT、その他の連番画像や対応3D volumeを、 segment → refine → quantify → 3Dという一貫したworkflowで扱えます。
Human in the loop
AI segmentation → 研究者による修正 → 定量出力を中心に設計されています。自動処理の結果を、 計測や3D化の前に確認・修正できます。
Quantitative 3D
校正済みspacingと確認済みmaskを、体積統計、NIfTI labelmap、TIFF stack、STL surface modelへ つなげられます。
mask PNGの保存順は表示中のcanonical volume順です。volume z=0はmask0001.png、
volume z=N-1はmaskNNNN.pngとなります。新しくSegRef3Dが保存するmask setには、
segref3d-canonical-v1を宣言するsegref3d-mask-manifest.jsonが含まれます。
LiteのTraining Data ZIPでは、geometryを一致させた画像channel、Obj IDを保持するlabelmap、
versioned manifestを1症例分としてbrowser内で保存できます。
TrainRef3Dでは複数のTraining ZIPをbrowser内でまとめ、対象Objを1つ選び、
自分のColab GPUでbinary custom modelを学習できます。Liteはmask作成、TrainRef3Dは症例集約と
学習を担当します。研究用baselineであり、臨床性能を保証するものではありません。
学習済みModel ZIPはLiteのCustom Modelで検証し、元画像channelを含むInference Request ZIPを
作成できます。InferRef3D Colabで推論後、source fingerprintとgeometryを検証したpredictionを元Obj IDへ
戻して修正し、Training Data ZIPとして再利用できます。推論結果は独立した臨床診断ではありません。
Local first
通常のSegRef3D Liteの編集、計測、exportはbrowser内で処理されます。任意のColab AI workflowでは、 ユーザーがjobを明示的に送信した場合だけデータがuploadされます。研究・医用データを扱う場合は、 所属機関のpolicyを確認してください。
AI支援segmentationは、ローカルまたは任意のColab workflowで利用できます。結果は定量解析や3D出力の 前にSegRef3Dで修正できます。
使用するSegRef3Dを選ぶ
| 版 | 適している環境 | 開始 |
|---|---|---|
| SegRef3D Lite | 大多数のユーザー；Windows／macOS／Linux；install不要 | browserで開く |
| SegRef3D Local GPU v1.3.2 | Windows + 対応NVIDIA CUDA GPU；ローカルSAM2 | ZIPをダウンロード |
| SegRef3D Local CPU v1.2.6 | Windows CPU-only／offline desktopのlegacy workflow | ZIPをダウンロード |
Windows desktop版が必要でなければ、まずSegRef3D Liteを使用してください。同梱SAM2をローカル実行 する場合はLocal GPUを選びます。Local CPUはローカルSAM2を含まないlegacy／fallback版です。
Local GPU v1.3.2では、Local SAM2によるBox Prompt segmentationとmulti-frame trackingを利用できます。
PyTorch 2.11.0+cu128（CUDA 12.8）を採用し、RTX 50-series／Blackwell sm_120に対応しています。
SegRef3D Local GPU v1.3.2はWindows＋NVIDIA GPU実機で主要ワークフローを確認済みです。
Click描画中・描画後のセクション切り替え、DICOMデータでのSegCT/MRI構造物候補表示も正常に動作しています。
利用には対応するNVIDIA CUDA GPUが必要です。
SegRef3D Local GPU v1.3.2 for Windowsをダウンロード · Release notes
Local v1.3.0は、Interpolate Between Frames、slice補間1x／5x／10xを使うPreview 3D・STL export、 PNG／legacy SVG mask import、Label PNG／colored SVG mask export、session単位のautosave storageにも対応します。
Local版はZIP全体を展開してSegRef3D.exeを実行します。driver、folder、初回起動の注意は
Local版インストールガイドを参照してください。
AIにworkflowを相談する
迷った場合は、AIに持っている画像 → 達成したいこと → PC環境を伝えると、SegRef3D公式文書に 基づくworkflow案内を受けられます。
公式promptを使ってChatGPT／Gemini／Claude／Perplexityに相談する
条件と機密性のないmetadataだけを説明し、研究機密画像や患者識別情報を第三者AI serviceへ貼り付けないでください。
Tutorials
| やりたいこと | Guide |
|---|---|
| SegRef3D Liteを初めて使う | 基本操作チュートリアル |
| 基本workflowを動画で見る | 操作紹介動画 |
| desktop版の全体workflowを学ぶ | SegRef3D詳細チュートリアル |
| 連続組織切片を扱う | Registration／連続切片guide |
| 任意構造をAIでsegmentする | SegAnythingチュートリアル |
| 対応CT/MRI解剖構造をsegmentする | SegCT/MRI workflow |
| NIfTI／TIFF／STL／CSV出力を選ぶ | Lite出力チュートリアル |
| Windows Local版をinstallする | Local版インストールガイド |
Troubleshooting: Windows 11で内部PYDがブロックされる
現行のLocal GPU版は未署名で、Smart App Controlが内部の .pyd をブロックし、
VTK preview unavailable や DLL load failed while importing vtkInteractionStyle、
「アプリケーション制御ポリシーによってこのファイルがブロックされました」
と表示される場合があります。イベントビューアーの
Microsoft → Windows → CodeIntegrity → Operational で、対象ファイルと発生時刻を確認してください。
ウイルス対策ソフトがEXEを許可していても、この制御でDLL/PYDが拒否されることがあります。
報告されたログではvtkInteractionWidgets.cp312-win_amd64.pydがEnterprise signing level requirementsを満たさないとされ、SACをオフにすると起動しました。
恒久対策は内部バイナリを含む配布物のコード署名です。署名・リリース設計を参照してください。 v1.3.1のWinError 193は、x64配布物へのARM64 runtime DLL混入による別の問題です。 v1.3.2ではMicrosoft公式x64 runtimeを使用し、architecture不一致を拒否する検査を追加しました。 v1.3.2はWindows＋NVIDIA GPU実機で動作確認済みです。確認範囲と、別問題であるSACの既知事項は Release notesに記載しています。
Smart App Controlの無効化は利用条件ではありません。無効化を検討する場合も、原因切り分けや現行版の暫定回避として扱い、管理者と端末のセキュリティ方針を確認してください。
関連ツール
- SliceBridgeは、3D SlicerのFill between slicesで補間するためのNIfTI基準sliceを作成します。使い方
- SegRef3D Viewerは、SegRef3Dから出力した複数STL構造を確認するWindows viewerです。
引用とライセンス
研究でSegRef3Dを使用する場合は、以下を引用してください。
- Muro S, Ibara T, Nimura A, Akita K. SegRef3D: A Versatile Open-Source Platform for Artificial Intelligence-Assisted Segmentation and Three-Dimensional Reconstruction in Morphological Research. Int J Imaging Syst Technol. 2026;36(2):e70313. DOI
- Muro S, Ibara T, Nimura A, Akita K. Seg and Ref: A Newly Developed Toolset for Artificial Intelligence-Powered Segmentation and Interactive Refinement for Labor-Saving Three-Dimensional Reconstruction. Microscopy (Oxford). 2025. DOI
SegRef3DはSatoru Muroが開発し、 Apache License 2.0で公開しています。