SAM2 - segmentation
Segment Anything Model 2 (SAM 2) เป็นโมเดลที่ทาง Meta (Facebook) พัฒนาขึ้นมาสำหรับตรวจจับ คน/สัตว์/วัตถุ ในภาพนิ่งและวิดีโอ โดยโมเดลนี้ทาง Meta อ้างว่าได้สร้างขึ้นโดยใช้ข้อมูลขนาดใหญ่ที่สุดในโลก ซึ่งได้มาจากการโต้ตอบกับผู้ใช้
(ใครที่ใช้ Comfyui ก็น่าจะคุ้นเคยกับโมเดลนี้ดี แต่นั่นเป็นโมเดล SAM ตัวเก่า)
จุดเด่นของ SAM 2:
ประสิทธิภาพสูง: แบ่งแยกวัตถุได้แม่นยำกว่าเดิมทั้งในภาพนิ่งและวิดีโอ
เร็วกว่าเดิม: เร็วขึ้น 6 เท่า เมื่อเทียบกับรุ่นก่อน (SAM) ในการแบ่งแยกภาพนิ่ง
ประหยัดเวลา: ใช้คำสั่งน้อยลง 3 เท่า ในการแบ่งแยกวิดีโอ เมื่อเทียบกับวิธีอื่นๆ
ซึ่งการอัพเดตนี้ถือว่าเป็นก้าวสำคัญในการพัฒนาเทคโนโลยีการแบ่งแยกวัตถุในวิดีโอและภาพ โดยทีมงานได้เปิดตัวโมเดล ชุดข้อมูล และตัวอย่างการใช้งานให้สาธารณชนได้ใช้ประโยชน์กัน
สรุปง่ายๆ : SAM 2 เป็นโมเดลอัจฉริยะที่สามารถแบ่งแยกวัตถุในภาพและวิดีโอได้อย่างแม่นยำและรวดเร็ว โดยใช้คำสั่งง่าย ๆ
ในขณะที่ผมเขียนบทความอยู่นี้ ทางคุณ Kija ก็กำลังพัฒนาส่วนขยายสำหรับ ComfyUI เพื่อให้เราสามารถใช้โมเดล SAM 2 นี้ได้ (อยู่ระหว่างพัฒนา) ใครอยากทดสอบก็สามารถทดลองได้ที่ : https://github.com/kijai/ComfyUI-segment-anything-2
ตัวอย่างพลังการตรวจจับของ SAM 2 (โดยคุณ A.I.Warper)
การนำไปต่อยอดในด้านภาพ/วิดีโอ AI ?
สำหรับคนทำภาพ/วิดีโอ AI ที่ไม่ได้คลุกคลีกับ Comfyui ก็อาจนึกไม่ออกว่าจะเอามาใช้งานกับตัวเองยังไง แต่ลองนึกว่าเราสามารถพิมพ์/จิ้ม ส่วนที่เราต้องการ Inpaint หรือ Mask เพื่อแก้ไขเฉพาะจุด และมันสามารถทำได้ทั้งกับภาพและวิดีโอได้อย่างแม่นยำ
พูดมาถึงตรงนี้ก็คงพอจะนึกออกนะครับว่ามันน่าตื่นเต้นไม่ใช่น้อย (ไม่ต้องพูดถึงสาย vfx)
เพราะเมื่อเรามีเครื่องมีตรวจจับที่แม่นยำแล้ว เราสามารถใช้มันในการ Mask หรือกำหนดพื้นที่ที่ต้องการแก้ไขเฉพาะส่วนในภาพ/วิดีโอได้ (ให้นึกภาพ Inpaint แบบออโต้) ทีนี้เราก็สามารถเนรมิตให้พื้นที่นั้น ๆ อยากเป็นอะไรก็ได้ตามที่เราต้องการ
ตัวอย่างวิดีโอที่ผมใช้ SAM (ตัวโมเดลเก่า) ในการตรวจจับตัวเอง ก่อน Mask และเปลี่ยนเป็นตัวเสือและอะไรก็ไม่รู้ที่
Комментарии