เดินผ่านฉาก

Gaussian splat คือการถ่ายภาพ 3D ของสถานที่หรือสิ่งของ, ที่ทำด้วย Polycam, Scaniverse, Postshot, Luma และเครื่องมืออื่น. บน Meta Quest 3 หรือ 3S, Immuch360 วางมันไว้ตรงหน้าเจ้าหรือรอบตัวเจ้า, ในขนาดของมัน, และเจ้าเดินรอบมันหรือไหลผ่านมันได้.

1. วาง splat .spz หรือ .ply ของเจ้าไว้บนแชร์ SMB หรือ WebDAV, หรือในโฟลเดอร์ของเฮดเซ็ต ("เปิดดูโฟลเดอร์", หรือเปิดไฟล์ splat ในเมนู + ของแชร์ในเครือข่าย). พวกมันจะมาหลังภาพถ่ายและวิดีโอ, พร้อมป้าย 3D splat และจำนวน gaussian ของมัน.
2. เปิดอันหนึ่ง, แล้วก็สำรวจฉาก splat. สิ่งของจะตั้งอยู่ตรงหน้าเจ้าในระดับสายตา, สถานที่จะเปิดออกรอบตัวเจ้า. จอยสติ๊กซ้ายไหลผ่านมัน, และจอยสติ๊กขวาหมุนมุมมองรอบตัวเจ้าทีละ 30°, โดยยังเก็บจุดที่เจ้าไปเถิงไว้ ("กลับทิศการหมุนของก้านโยก" หมุนไปอีกทาง). "รีเซ็ต" ในแผงที่ A, X หรือปุ่มกริปเปิดขึ้นมา วางมันใหม่จากจุดที่เจ้ายืน, และปุ่มตั้งตรงจะหมุนอันที่มานอนหรือกลับหัว, และจำไว้สำหรับไฟล์นั้น.
3. เฮดเซ็ตอ่านไฟล์ .ply แบบไบนารี และ SPZ เวอร์ชัน 1 ถึง 4, เวอร์ชัน 4 ตั้งแต่ build 40.

เจ้าถ่ายวิดีโอห้อง, สวน หรือรูปปั้น และอยากยืนอยู่ในนั้นอีกเทื่อ. บนคอมพิวเตอร์ Windows, Immuch360 Desktop สร้างมันขึ้นใหม่จากภาพถ่ายหรือวิดีโอของเจ้าเป็น Gaussian splat, ที่เจ้าเดินผ่านได้ใน Meta Quest 3 หรือ 3S หรือในวิวเวอร์ splat ข้างบน. ทุกอย่างรันบนคอมพิวเตอร์ของเจ้า: บ่มีคลาวด์, บ่มีบัญชี. แอป Immich บ่มีอะไรแบบนี้.

1. ถ่ายวิดีโอช้าๆ, หรือถ่ายภาพทุกก้าว, แต่ละภาพเห็นส่วนใหญ่ของสิ่งที่ภาพก่อนหน้าเห็น. สำหรับสถานที่, เดินเลียบผนังโดยมองข้ามไปอีกฝั่ง, แล้วเดินผ่านตรงกลาง; สำหรับสิ่งของ, เดินรอบมันสองรอบ, ที่ระดับความสูงของมัน แล้วจากข้างบนนิดหน่อย. แสงสม่ำเสมอ, บ่ซูม, บ่มีอะไรเคลื่อนไหว; หลีกเลี่ยงกระจกเงา, หน้าต่างย้อนแสง และพื้นผิวมันวาว.
2. เลือกภาพถ่ายหรือวิดีโอ, ในไลบรารีหรือในโฟลเดอร์, แล้วก็ "สร้างฉากสแปลต (AI)", และบอกว่าเจ้าถ่ายอะไร: "สถานที่: ห้อง ถนน สวน" หรือ "วัตถุ ที่คุณเดินถ่ายรอบ ๆ". กล่องบอกว่ามันเว้นภาพถ่ายใดไว้และย้อนหยัง, เฮดเซ็ตจะได้อะไร (เถิง 150,000 gaussian), ใช้เวลาประมาณเท่าไรบนคอมพิวเตอร์เครื่องนี้, และไฟล์จะไปอยู่ที่ไหน: ข้างภาพถ่าย, หรือโฟลเดอร์ที่เจ้าเลือก. "บันทึก .ply สำหรับแอป 3D อื่นด้วย" เก็บ gaussian ชุดเดียวกันเป็น .ply ด้วย.
3. กล่องเสนอส่วนประกอบสองอันของมัน, ให้ดาวน์โหลดเทื่อเดียว: COLMAP 4.2.1 (BSD 3 Clause), ประมาณ 10 MB, ที่วางภาพถ่ายใน 3D บนโปรเซสเซอร์, และ Brush 0.3.0 (Apache 2.0), ประมาณ 16 MB, ที่ฝึก splat บนการ์ดจอ.
4. "สร้างฉาก". แผงสะแดงแต่ละขั้นตอน, การดึงเฟรม, การวางภาพถ่ายใน 3D, การฝึก splat, พร้อมเวลาที่เหลือ, และ ยกเลิก หยุดมัน. บนแล็ปท็อปที่มี RTX 4060, ประมาณ 12 นาทีสำหรับภาพถ่าย 150 ภาพของห้อง, และ 8 สำหรับวิดีโอหนึ่งนาทีของสิ่งของ.
5. ฉาก, <name>_splat.spz, จะไปอยู่ข้างภาพถ่ายหรือในโฟลเดอร์ของเจ้า. เปิดมันในเฮดเซ็ตจาก NAS ของเจ้าหรือจากโฟลเดอร์ Download ของมัน ("สแปลตใหญ่", ใน Settings, Advanced ของมัน, สะแดงมันทั้งหมด), หรือในวิวเวอร์ splat ของคอมพิวเตอร์, โทรศัพท์ หรือแท็บเล็ต, ที่ "บันทึกไป Immich" เก็บมันไว้บนเซิร์ฟเวอร์ของเจ้า. สิ่งของจะถูกครอปรอบตัวมันสำหรับเฮดเซ็ต, เพื่อให้มันเปิดตรงหน้าเจ้า; .ply เก็บฉากทั้งหมดไว้.

เซิร์ฟเวอร์ Immich บ่รับไฟล์ .spz หรือ .ply. Immuch360 บันทึกฉาก splat ไว้ในภาพถ่ายของมัน, <name>_splat.jpg, ที่เซิร์ฟเวอร์ Immich ใดก็เก็บได้เหมือนภาพถ่ายอื่น: มันสะแดงในไทม์ไลน์ของทุกอุปกรณ์ของเจ้า, และ Immuch360 เปิดฉากจากมันได้.

1. ในวิวเวอร์ splat ของคอมพิวเตอร์, โทรศัพท์ Android หรือแท็บเล็ต, เดินไปเถิงมุมที่เจ้ามัก, แล้วก็ "บันทึกไป Immich": มุมที่เจ้าเห็นกลายเป็นภาพถ่ายของมัน, ในไทม์ไลน์ของเจ้าตามวันที่ของฉาก และในอัลบั้ม "ฉากสแปลต". splat หลายอันของแชร์หรือโฟลเดอร์: เลือกพวกมัน, แล้วก็ "อัปโหลดไป Immich". .ply ถูกบันทึกเป็น SPZ, บีบอัดโดยเสียรายละเอียดเล็กน้อย.
2. เปิดภาพถ่ายในไทม์ไลน์ของเจ้า, แล้วก็ "สำรวจฉากสแปลต": บนคอมพิวเตอร์, โทรศัพท์หรือแท็บเล็ต Android, หรือ Meta Quest 3 หรือ 3S กับ build ของ GitHub. แต่ละอุปกรณ์ดาวน์โหลดฉากเทื่อเดียว (บนเน็ตมือถือ, มันถามก่อนดาวน์โหลดอันที่ใหญ่), แล้วเปิดมันทันที, แบบออฟไลน์ก็ได้.
3. ภาพถ่ายมีเครื่องหมาย 3D เล็กๆ ที่มุมหนึ่ง, เพื่อให้เจ้าแยกมันออกได้ใน Immich และแอปอื่น; "ทำเครื่องหมายรูปภาพของฉากสแปลตที่บันทึกไว้", ใน Settings, Advanced, เอามันออกจากภาพถัดๆ ไป.