AI แค่ 14MB ก็สั่งเครื่องมือบนอุปกรณ์ได้ โดยไม่ต้องส่งข้อมูลขึ้น Cloud! GitHub Daily วันนี้ขอแนะนำ Needle 2 — โมเดล Open Source ขนาดเล็กมากจาก Cactus Compute ที่ออกแบบมาสำหรับ Tool Calling, ควบคุมอุปกรณ์ และดึงข้อมูลออกมาเป็น Structured Data ตัวโมเดลมีขนาดเพียง 14MB และใช้ RAM ประมาณ 28MB ทำให้แนวคิดของ AI ไม่จำเป็นต้องผูกอยู่กับ Server หรือ GPU ขนาดใหญ่อีกต่อไป แต่สามารถนำไปฝังในมือถือ Wearable, Smart Home หรืออุปกรณ์ IoT ได้ สิ่งที่นำไปใช้ได้จริง • ทำ AI บนอุปกรณ์ที่สั่งเปิด-ปิดหรือควบคุมฟังก์ชันต่าง ๆ ผ่าน Tool Calling • สร้าง Smart Home ที่เข้าใจคำสั่งแล้วแปลงออกมาเป็นคำสั่งแบบ Structured Data • ใช้กับมือถือ Wearable หรือ Hardware ที่มี RAM จำกัด • รับข้อความแล้วคืนค่าเป็น JSON เพื่อส่งต่อเข้า Function หรือ Workflow ได้ง่าย • มี Confidence Score ให้ระบบกำหนดได้ว่าเมื่อไรควรทำงานทันที และเมื่อไรควรส่งต่อให้โมเดลใหญ่กว่า • รองรับ LoRA Fine-tuning สำหรับปรับโมเดลให้เหมาะกับงานเฉพาะของเรา จุดที่น่าสนใจคือหลังดาวน์โหลด Engine มาแล้ว การ Inference ไม่ต้องเชื่อม Network ทำให้สามารถออกแบบระบบ AI ที่ประมวลผลบนเครื่องได้ ข้อควรรู้ Needle 2 เป็นโมเดลขนาด 45M Parameters ที่เน้น Tool Calling และ Structured Extraction ไม่ได้ถูกสร้างมาเพื่อแทน Chatbot หรือ LLM ขนาดใหญ่สำหรับการถามตอบความรู้ทั่วไป ตัว Python Package ต้องใช้ Python 3.9 ขึ้นไป และ Repository ใช้ Apache-2.0 License #Getnotes #GitHubDaily #Needle2 #OnDeviceAI #OpenSource #EdgeAI #Python #ToolCalling