​Bối cảnh

​Một thách thức chúng ta đang gặp phải là việc thiếu kiểm soát phiên bản trong kỹ thuật prompt. Nếu không có kiểm soát phiên bản, việc theo dõi sự thay đổi về chất lượng kết quả đầu ra sẽ rất khó khăn.

​Điều này đặt ra lo ngại về tính nhất quán và khả năng suy giảm hiệu suất của mô hình ngôn ngữ theo thời gian. Các nghiên cứu học thuật đã chỉ ra rằng các mô hình như ChatGPT có thể dễ bị ảnh hưởng bởi sự trôi dạt hiệu suất trong triển khai thực tế. Do đó, việc giám sát liên tục trong môi trường production là rất quan trọng.

​Khả năng tái tạo (reproducibility) vốn đã là một rào cản đáng kể trong MLOps, đòi hỏi việc lưu trữ và quản lý các tập dữ liệu khổng lồ và nhật ký sự kiện. Thách thức này càng trở nên khó khăn hơn với LLM, khiến việc hiểu và tái tạo hành vi của mô hình trở nên khó khăn hơn gấp bội.

​Shift Left DevOps trong việc phát triển LLM-powered apps là gì

1. ​ ML Assets: Chúng ta sẽ đi sâu vào tầm quan trọng của việc kết hợp các khái niệm DevOps như khả năng truy xuất nguồn gốc, khả năng kiểm tra và khả năng tái tạo vào quy trình làm việc của LLMOps.

2. ​Shift Left Practices: Khám phá cách áp dụng triết lý "Shift Left" - nhấn mạnh việc đảm bảo chất lượng từ giai đoạn đầu - mang lại lợi ích cho quy trình LLMOps.

​Trong buổi trao đổi này, Thái sẽ cùng mọi người phân tích hai khái niệm xuyên suốt, từ DevOps sang MLOps và đi thẳng đến LLMOps. Đặc biệt hơn, chúng ta sẽ cùng nhau thực hành và khai phá tư duy này khi xây dựng một ứng dụng trên nền tảng LLM.

​Buổi workshop sẽ dùng một mô hình LLM trên nền tảng Bedrock & Sagemaker của AWS.

​Workhop này nằm trong chuỗi các sự kiện trong ngày hội "Build Weekend with GenAI" do Viet Engineers Stories đồng tổ chức với AWS.