Flux โมเดลใหม่สุดว้าว! ของชาว SD

บทความนี้เขียนขึ้นในช่วงกลางเดือนสิงหาคม 2567

ตอนนี้ Flux มาแรงมากจนทนกระแสไม่ไหว เลยต้องลองเล่นและศึกษาดูหน่อย แล้วปรากฏว่า “ว้าว!” จริงๆ กับภาพที่ได้ เลยอยากมาแชร์ประสบการณ์และข้อมูลให้ทุกคนได้ลองดูกันครับ

สำหรับคนที่ทำภาพกับ SD มานานคงรู้ว่าภาพต้นฉบับ หรือสารตั้งต้นมีค่ามากแค่ไหร
Flux เข้ามาทำให้สารตั้งต้นนั้นแทบจะได้งานได้เลยทันที

ทำความรู้จักกับ Flux

Flux เป็นโมเดล AI สร้างภาพที่พัฒนาโดยทีมงานจาก Black Forest Labs ซึ่งเป็นกลุ่มที่เคยทำงานในโปรเจค Stable Diffusion มาก่อน โดย Flux เปิดตัวในปี 2024 และเป็นโมเดลที่มีประสิทธิภาพสูงมาก สามารถเขียนตัวอักษรได้ดี ไม่แพ้ Midjourney หรือ DALL-E 3 เลยทีเดียว

เวอร์ชันของ Flux ที่มีให้เลือก

Flux มีสามเวอร์ชันหลักให้เลือกใช้ตามความต้องการ:

1. Flux Pro – สำหรับการใช้งานเชิงพาณิชย์เท่านั้น สามารถเข้าถึงได้ผ่าน API เท่านั้น (www.fluxpro.ai)
2. Flux Dev – เป็นโอเพ่นซอร์สที่เปิดให้ใช้งานฟรี มีใบอนุญาตไม่ใช่เชิงพาณิชย์ เหมาะสำหรับการพัฒนาและการทดลองของชุมชน
3. Flux Schnell – เป็นเวอร์ชันที่มีความเร็วสูงสุด ออกแบบมาเพื่อประมวลผลเร็ว ทำให้เหมาะกับการใช้งานส่วนบุคคลที่ไม่ต้องการความซับซ้อนมาก

เวอร์ชันใหม่ล่าสุด – Flux NF4

และตอนนี้ (13/8/67) ก็มีการเปิดตัวเวอร์ชันใหม่คือ Flux NF4 ซึ่งออกแบบมาให้ทำงานเร็วขึ้นและใช้ทรัพยากรน้อยลง เหมาะสำหรับผู้ใช้งานที่มีการ์ดจอที่มี VRAM จำกัด (ต่ำกว่า 12GB) โมเดลนี้มีความเร็วสูงกว่าเวอร์ชัน Flux Dev ประมาณ 4 เท่า และเร็วกว่า Flux Schnell ประมาณ 3 เท่า แต่ยังคงคุณภาพของภาพไว้ได้อย่างดี ถ้าใครสนใจทดลองใช้ Flux NF4 สามารถดาวน์โหลดโมเดลได้ที่ Hugging Face

การติดตั้งและใช้งาน Flux NF4 ใน ComfyUI

มาถึงการติดตั้งและใช้งาน NF4 ใน ComfyUI กันบ้าง ผมจะสรุปให้สั้นๆ ตามนี้

1. ดาวน์โหลด NF4 Model จาก ลิงก์นี้ และเอาไปวางไว้ที่โฟลเดอร์ ComfyUI/models/checkpoints/
2. ใช้ CMD ไปที่โฟลเดอร์ custom nodes แล้วใช้คำสั่ง git clone https://github.com/comfyanonymous/ComfyUI_bitsandbytes_NF4.git จะได้โฟลเดอร์ชื่อ ComfyUI_bitsandbytes_NF4
3. CMD ไปที่โฟลเดอร์ ComfyUI_bitsandbytes_NF4 และใช้คำสั่ง pip install -r requirements.txt เพื่อติดตั้งส่วนประกอบอื่นๆ
4. Restart ComfyUI พร้อมใช้งานได้เลย!

วิธีแก้ปัญหาใน ComfyUI เวอร์ชัน Portable

สำหรับคนที่ใช้ ComfyUI เวอร์ชัน Portable แล้วเจอปัญหาว่าไม่สามารถใช้โหนด CheckpointloaderNF4 ได้ นั่นเป็นเพราะไม่สามารถติดตั้งส่วนประกอบจาก bitsandbytes ได้แบบอัตโนมัติ เรามีวิธีแก้ดังนี้:

1. CMD ไปที่ Root โฟลเดอร์ของ ComfyUI
2. ใช้คำสั่ง ..\python_embeded\python.exe -s -m pip install -U bitsandbytes เพื่อทำการติดตั้งส่วนประกอบจาก bitsandbytes ด้วยตัวเอง

Resolution table

สรุปส่งท้าย

ตอนนี้เราสามารถลองเล่น Flux ได้ผ่านทาง ComfyUI และเชื่อว่าในอนาคตเราจะได้เห็นการใช้งานผ่าน A1111 หรือ Web UI ตัวอื่นๆ แน่นอน ส่วน ControlNet กับ LORA ก็เริ่มมีการเทรนโมเดลกันมาแล้ว สามารถติดตามอ่านเพิ่มเติมได้ที่ Hugging Face

อ้างอิง
https://www.patreon.com/posts/flux-how-to-109332332

ภาพตัวอย่าง

ทดสอบโดย RTX 3060/12GB vram ,ram 32GB ใช้เวลาเจนรูปละ 1.24 นาทีโมเดล flux1-dev-bnb-nf4