Expose API từ LLM bằng vLLM: Siêu nhanh, mạnh, tăng tốc x25! 
Trong video này, **Mì AI** sẽ hướng dẫn bạn cách xây dựng một API từ các mô hình ngôn ngữ lớn (LLM) bằng **vLLM** – một framework tối ưu hóa hiệu suất vượt trội. Nhờ vào vLLM, bạn có thể:
– Triển khai API phục vụ LLM nhanh gấp **25 lần** so với các phương pháp truyền thống.
– Tiết kiệm tài nguyên mà vẫn đạt tốc độ và hiệu suất tối đa.
– Giải quyết các bài toán thực tế với khả năng phục vụ đồng thời hàng loạt yêu cầu một cách mượt mà.
**Nội dung chính trong video:**
1. Giới thiệu về **vLLM** và lý do nó vượt trội.
2. Hướng dẫn cấu hình và triển khai API từ mô hình LLM.
3. Phân tích hiệu suất và so sánh với các phương pháp khác.
4. Ứng dụng thực tiễn và các mẹo tối ưu hóa.
Nếu bạn đang tìm kiếm một cách triển khai LLM nhanh chóng, hiệu quả, và tiết kiệm chi phí, thì đây chính là video bạn không thể bỏ qua!
**Đừng quên Like, Share và Subscribe** để ủng hộ kênh **Mì AI** và nhận thêm nhiều kiến thức thú vị về AI nhé!
#vLLM #API #LLM #AI #TăngTốcLLM #MìAI
Link hữu ích:
Link mua áo ủng hộ Mì AI:
Link mua Shopee ủng hộ Mì AI:
————————————-
Xin chào các bạn, rất vui vì các bạn đã ghé thăm vlog Mì AI của tôi!
Hãy join cùng cộng đồng Mì AI nhé!
#MìAI
Fanpage:
Group trao đổi, chia sẻ:
Website:
Youtube:
——
We use “Fun Summer Pop Party Intro” – bought from
I have text and pdf license file, i can show it to proof of my purchase.
Mê quá , chủ thớt cần đệ tử hú mình
Việc export LLM ra API cho các ứng dụng khác gọi chỉ chậm khi ứng dụng và LLM không cùng nằm trên 1 máy thôi phải k ạ? Khi triển khai n8n với LLM trên cùng máy thì có chậm như việc anh nói và có cần phải triển khai vLLM không ạ?
Tôi thấy deepseek đang free, bạn có thể làm video về lấy api chạy local đc k
Mê cách anh này chia sẻ. Thật sự công nghệ phát triển quá nhanh
Bác mì làm 1 bài n8n dùng gemini kết hợp với perplexity hoặc tavily xem ổn không bác. Hình như con gemini nó không gọi được tools
em thấy cái này từ lâu r mà :)))
0.4s có vẻ hơi vô lý, khi gửi request đến llm thì cũng phải có thời gian để mô hình xử lý và đưa ra câu trả lời, nhưng ko thấy có câu trả lời của llm hiện trong output
Dạ anh ơi vLLM có phải là Vision LLM không anh? Có thể triển khai vLLM trên Colab không anh?
Em cảm ơn anh
Trong flask, import vllm vào, rồi infer bằng vllm đó, chạy bth. Nó thay đổi đáng kể luôn đấy, chứ k phải nhà quê đâu.
Chú infer nhiều request thì nên dùng kiến trúc phân tán, dùng thêm cái king nữa thì bố của tốc độ luôn
Thanks! Mời a ly coffee. Chúc a và gia đình sức khoẻ
Xịn vãi luôn anh ơi, xem video của a mê quá.
Như anh nói ở cuối video, nếu mình kết hợp vllm, quantai***, convert onnx thì tốc độ có cao hơn không anh