GetNotes Tools
pipecat-ai/pipecat
Tool นี้คืออะไร
Pipecat เป็นเฟรมเวิร์ก Python แบบโอเพนซอร์สสำหรับสร้างเอเจนต์ AI สนทนาแบบเรียลไทม์ที่รองรับเสียงและหลายโมดอล เหมาะสำหรับนักพัฒนาที่ต้องการสร้างระบบเอเจนต์ที่ซับซ้อน สามารถประสานงานบริการ AI, การส่งข้อมูล และไปป์ไลน์การสนทนาได้อย่างง่ายดาย
ข้อมูลโปรเจกต์
ดาว
13.4K
Forks
2.3K
License
BSD-2-Clause
อัปเดต GitHub ล่าสุด
15 ก.ค. 2569
เพิ่มใน GetNotes
17 ก.ค. 2569
Repository
pipecat-ai/pipecat
แปลและเรียบเรียงโดย AI
เนื้อหาฉบับภาษาไทย
ใช้อ่านเพื่อทำความเข้าใจเบื้องต้น โปรดตรวจสอบรายละเอียดสำคัญกับเอกสารต้นฉบับด้านล่าง

🎙️ Pipecat: เอเจนต์ AI เสียงและหลายโมดอลแบบเรียลไทม์
Pipecat เป็นเฟรมเวิร์ก Python แบบโอเพนซอร์สสำหรับสร้างเอเจนต์ AI สนทนาแบบเรียลไทม์ที่รองรับเสียงและหลายโมดอล สร้างเอเจนต์เสียงเดี่ยวหรือระบบหลายเอเจนต์เต็มรูปแบบที่ผู้เชี่ยวชาญสามารถส่งต่อ, กระจายงานแบบขนาน และประสานงานผ่านบัสที่ใช้ร่วมกัน ไม่ว่าจะทำงานในเครื่องหรือกระจายไปทั่วกระบวนการและเครื่องจักรต่างๆ ประสานงานเสียงและวิดีโอ, บริการ AI, การส่งข้อมูล และไปป์ไลน์การสนทนาได้อย่างง่ายดาย เพื่อให้คุณมุ่งเน้นไปที่สิ่งที่ทำให้เอเจนต์ของคุณมีเอกลักษณ์
ต้องการเริ่มต้นทันทีใช่ไหม? รัน pipecat init quickstart หรือทำตาม คู่มือเริ่มต้นใช้งานฉบับย่อ
🚀 สิ่งที่คุณสามารถสร้างได้
- ผู้ช่วยเสียง – การสนทนาที่เป็นธรรมชาติและแบบสตรีมมิ่งกับ AI
- ระบบหลายเอเจนต์ – ผู้เชี่ยวชาญที่ส่งต่อ, กระจายงานแบบขนาน หรือทำงานเป็น sidecars ผ่านบัสที่ใช้ร่วมกัน
- เพื่อนร่วมทาง AI – โค้ช, ผู้ช่วยการประชุม, ตัวละคร
- อินเทอร์เฟซหลายโมดอล – เสียง, วิดีโอ, รูปภาพ และอื่นๆ
- การเล่าเรื่องแบบโต้ตอบ – เครื่องมือสร้างสรรค์พร้อมสื่อที่สร้างขึ้น
- เอเจนต์สำหรับธุรกิจ – การรับลูกค้า, บอทสนับสนุน, ขั้นตอนที่แนะนำ
- ระบบบทสนทนาที่ซับซ้อน – ออกแบบตรรกะด้วยบทสนทนาที่มีโครงสร้าง
🧠 ทำไมต้อง Pipecat?
- เน้นเสียงเป็นหลัก: ผสานรวมการรู้จำเสียงพูด, การแปลงข้อความเป็นเสียงพูด และการจัดการบทสนทนา
- เสียบปลั๊กใช้งานได้: รองรับบริการและเครื่องมือ AI มากมาย
- ไปป์ไลน์ที่ประกอบได้: สร้างพฤติกรรมที่ซับซ้อนจากส่วนประกอบแบบโมดูลาร์
- พร้อมสำหรับหลายเอเจนต์: แต่ละไปป์ไลน์คือเอเจนต์ ประกอบเข้าด้วยกันด้วยการส่งต่อ, การกระจายงานแบบขนาน, sidecar workers หรือการปรับใช้แบบกระจาย
- เรียลไทม์: การโต้ตอบที่มีความหน่วงต่ำมากด้วยการส่งข้อมูลที่แตกต่างกัน (เช่น WebSockets หรือ WebRTC)
🌐 ระบบนิเวศของ Pipecat
📱 Client SDKs
กำลังสร้างแอปพลิเคชันไคลเอนต์อยู่ใช่ไหม? คุณสามารถเชื่อมต่อกับ Pipecat ได้จากทุกแพลตฟอร์มโดยใช้ SDK อย่างเป็นทางการของเรา:
JavaScript | React | React Native | Swift | Kotlin | C++ | ESP32
🧭 บทสนทนาที่มีโครงสร้าง
ต้องการเส้นทางบทสนทนาที่กำหนดไว้ล่วงหน้าหรือแบบไดนามิกพร้อมการจัดการสถานะใช่ไหม? Pipecat Flows ถูกสร้างมาพร้อมกับ Pipecat เรียกดู ตัวอย่าง เพื่อดูการทำงานจริง
🪄 UI ที่สวยงาม
ต้องการสร้างประสบการณ์ที่สวยงามและน่าดึงดูดใจใช่ไหม? ลองดู Voice UI Kit ซึ่งเป็นชุดของคอมโพเนนต์, ฮุก และเทมเพลตสำหรับสร้างแอปพลิเคชัน AI เสียงได้อย่างรวดเร็ว
🛠️ สร้างและปรับใช้โปรเจกต์
Pipecat CLI มาพร้อมกับ pipecat-ai — ติดตั้งได้ด้วย uv tool install "pipecat-ai[cli]" รัน pipecat init เพื่อเริ่มโปรเจกต์: มันจะตั้งค่าให้ผู้ช่วยเขียนโค้ด AI (Claude Code, Codex) สร้างให้คุณ และสามารถสร้างบอทที่ทำงานได้ภายในไม่ถึงนาที จากนั้นใช้ CLI เพื่อตรวจสอบและปรับใช้เอเจนต์ของคุณสู่การใช้งานจริง
🔍 การดีบัก
กำลังมองหาความช่วยเหลือในการดีบักไปป์ไลน์และโปรเซสเซอร์ของคุณอยู่ใช่ไหม? ลองดู Whisker ซึ่งเป็นดีบักเกอร์ Pipecat แบบเรียลไทม์
🖥️ เทอร์มินัล
ชอบแอปพลิเคชันเทอร์มินัลใช่ไหม? ลองดู Tail ซึ่งเป็นแดชบอร์ดเทอร์มินัลสำหรับ Pipecat
🤖 ทักษะ Claude Code
ใช้ Pipecat Skills ร่วมกับ Claude Code เพื่อสร้างโครงสร้างโปรเจกต์, ปรับใช้กับ Pipecat Cloud และอื่นๆ ติดตั้ง marketplace ด้วย:
claude plugin marketplace add pipecat-ai/skillsและติดตั้งปลั๊กอินใดๆ ที่มีอยู่
🧩 การผสานรวมจากชุมชน
สร้างและแบ่งปันการผสานรวมบริการ Pipecat ของคุณเอง! เรียกดู การผสานรวมจากชุมชน ที่มีอยู่ หรือดู คู่มือ ของเราเพื่อสร้างของคุณเอง
📺️ ช่อง Pipecat TV
ติดตามฟีเจอร์ใหม่, บทสัมภาษณ์ และวิธีการใช้งานได้ที่ช่อง Pipecat TV ของเรา
🎬 ดูการทำงานจริง




🧩 บริการที่มีให้ใช้งาน
| หมวดหมู่ | บริการ |
|---|---|
| Speech-to-Text | AssemblyAI, AWS, Azure, Cartesia, Deepgram, ElevenLabs, Fal Wizper, FunASR, Gladia, Google, Gradium, Groq (Whisper), Mistral, Moonshine, NVIDIA, OpenAI (Whisper), Sarvam, Soniox, Speechmatics, Together, Whisper, xAI |
| LLMs | Anthropic, AWS, Azure, Cerebras, Crusoe, DeepSeek, Fireworks AI, Gemini, Grok, Groq, Inception, Mistral, Nebius, Novita, NVIDIA NIM, Ollama, OpenAI, OpenAI Responses, OpenRouter, Perplexity, Qwen, SambaNova, Sarvam, Together AI |
| Text-to-Speech | Async, AWS, Azure, Camb AI, Cartesia, Deepgram, ElevenLabs, Fish, Google, Gradium, Groq, Hume, Inworld, Kokoro, LMNT, MiniMax, Mistral, Neuphonic, NVIDIA, OpenAI, Piper, Resemble, Rime, Sarvam, Smallest, Soniox, Speechmatics, Together, xAI, XTTS |
| Speech-to-Speech | AWS Nova Sonic, Gemini Multimodal Live, Grok Voice Agent, OpenAI Realtime, Ultravox, |
| Transport | Daily (WebRTC), FastAPI Websocket, LiveKit (WebRTC), [SmallWeb |
เอกสารโปรเจกต์
อ่านเอกสารต้นฉบับ
README วิธีติดตั้ง วิธีใช้งาน และข้อกำหนดจาก repository ต้นฉบับ

🎙️ Pipecat: Real-Time Voice & Multimodal AI Agents
Pipecat is an open-source Python framework for building real-time voice and multimodal conversational agents. Build a single voice agent or a full multi-agent system where specialists hand off, fan out in parallel, and coordinate over a shared bus, locally or distributed across processes and machines. Orchestrate audio and video, AI services, transports, and conversation pipelines effortlessly, so you can focus on what makes your agents unique.
Want to dive right in? Run pipecat init quickstart or follow the quickstart guide.
🚀 What you can build
- Voice Assistants – natural, streaming conversations with AI
- Multi-Agent Systems – specialists that hand off, fan out in parallel, or run as sidecars over a shared bus
- AI Companions – coaches, meeting assistants, characters
- Multimodal Interfaces – voice, video, images, and more
- Interactive Storytelling – creative tools with generative media
- Business Agents – customer intake, support bots, guided flows
- Complex Dialog Systems – design logic with structured conversations
🧠 Why Pipecat?
- Voice-first: Integrates speech recognition, text-to-speech, and conversation handling
- Pluggable: Supports many AI services and tools
- Composable Pipelines: Build complex behavior from modular components
- Multi-Agent Ready: Each pipeline is an agent. Compose them with handoff, parallel fan-out, sidecar workers, or distributed deployments
- Real-Time: Ultra-low latency interaction with different transports (e.g. WebSockets or WebRTC)
🌐 Pipecat ecosystem
📱 Client SDKs
Building client applications? You can connect to Pipecat from any platform using our official SDKs:
JavaScript | React | React Native | Swift | Kotlin | C++ | ESP32
🧭 Structured conversations
Need predefined or dynamic conversation paths with state management? Pipecat Flows is built into Pipecat. Browse the examples to see it in action.
🪄 Beautiful UIs
Want to build beautiful and engaging experiences? Checkout the Voice UI Kit, a collection of components, hooks and templates for building voice AI applications quickly.
🛠️ Create and deploy projects
The Pipecat CLI ships with pipecat-ai — install it with uv tool install "pipecat-ai[cli]". Run pipecat init to start a project: it sets you up so an AI coding assistant (Claude Code, Codex) builds it for you, and can scaffold a runnable bot in under a minute. Then use the CLI to monitor and deploy your agent to production.
🔍 Debugging
Looking for help debugging your pipeline and processors? Check out Whisker, a real-time Pipecat debugger.
🖥️ Terminal
Love terminal applications? Check out Tail, a terminal dashboard for Pipecat.
🤖 Claude Code skills
Use Pipecat Skills with Claude Code to scaffold projects, deploy to Pipecat Cloud, and more. Install the marketplace with:
claude plugin marketplace add pipecat-ai/skillsand install any of the available plugins.
🧩 Community integrations
Build and share your own Pipecat service integrations! Browse existing community integrations or check out our guide to create your own.
📺️ Pipecat TV channel
Catch new features, interviews, and how-tos on our Pipecat TV channel.
🎬 See it in action




🧩 Available services
📚 View full services documentation →
⚡ Getting started
Run Pipecat on your local machine, then move your agent processes to the cloud when you're ready. Either way, you'll need uv — install it first:
curl -LsSf https://astral.sh/uv/install.sh | shStart a new project with the CLI
The quickest path: install the Pipecat CLI and scaffold a new phone or web/mobile bot interactively.
uv tool install "pipecat-ai[cli]"
pipecat initFollow the quickstart guide to get your very first bot running, or dive a little deeper into bootstrapping a project.
Manual installation
Prefer to wire things up yourself?
- 1Install the module # For new projects uv init my-pipecat-app cd my-pipecat-app uv add pipecat-ai # Or for existing projects uv add pipecat-ai
- 2Set up your environment cp env.example .env
- 3To keep things lightweight, only the core framework is included by default. If you need support for third-party AI services, you can add the necessary dependencies with: uv add "pipecat-ai[option,...]"
Using pip? You can still use pip install pipecat-ai and pip install "pipecat-ai[option,...]" to get set up.
From here, the code examples below are the best way to learn — agents you can run, read, and adapt.
🧪 Code examples
- Focused examples — small agents that each illustrate one or two specific services or concepts
- Example apps — complete applications you can use as starting points for development
🛠️ Developing Pipecat
Prerequisites
Minimum Python Version: 3.11 Recommended Python Version: >= 3.12
Setup steps
- 1Clone the repository and navigate to it: git clone https://github.com/pipecat-ai/pipecat.git cd pipecat
- 2Install development and testing dependencies: uv sync --group dev --all-extras \ --no-extra gstreamer \ --no-extra local \
- 3Install the git pre-commit hooks: uv run pre-commit install
Note: Some extras (local, gstreamer) require system dependencies. See documentation if you encounter build errors.
Claude Code skills
Install development workflow skills for contributing to Pipecat with Claude Code:
claude plugin marketplace add pipecat-ai/pipecat
claude plugin install pipecat-dev@pipecat-dev-skillsRunning tests
To run all tests, from the root directory:
uv run pytestRun a specific test suite:
uv run pytest tests/test_name.py🤝 Contributing
We welcome contributions from the community! Whether you're fixing bugs, improving documentation, or adding new features, here's how you can help:
- Found a bug? Open an issue
- Have a feature idea? Start a discussion
- Want to contribute code? Check our CONTRIBUTING.md guide
- Documentation improvements? Docs PRs are always welcome
Before submitting a pull request, please check existing issues and PRs to avoid duplicates.
We aim to review all contributions promptly and provide constructive feedback to help get your changes merged.
