Bạn không ăn được cay và nhờ đồng nghiệp hoặc bạn thân đặt đồ ăn trưa: "Nhớ ghi chú vào app là không cay, tuyệt đối không cay nha!"
Lần 1: Người đó quên ghi chú. Món ăn mang về ngập tràn ớt tươi.
Lần 2: Người đó dặn quán không cho ớt tươi, thế là quán đổi sang cho... hạt tiêu và sa tế. Bạn vẫn "bốc hỏa" như thường.
Lần 3:....
Trong một câu chuyện khác "hàn lâm" hơn lĩnh vực ăn uống...tầm thường nói trên, bạn đã giải thích cho "giáo sư AI" 100 lần cách viết báo cáo của công ty. Lần nào nó cũng viết một kiểu. Có cách nào giúp "ngài giáo sư" làm đúng phong cách mình muốn hơn không?
Hãy tưởng tượng bạn vừa tuyển một nhân viên mới.
Ngày đầu tiên, bạn giao cho người đó viết báo cáo.
Người đó viết khá tốt, nhưng cách trình bày chưa giống phong cách đặc thù của công ty.
Bạn hướng dẫn:
"Phần doanh thu đặt lên đầu."
"Ngày tháng phải theo định dạng này."
"Báo cáo cần có ba phần: kết quả, vấn đề và đề xuất."
"Đừng viết dài dòng."
Người đó sửa lại.
Lần sau, bạn lại phải nhắc từ đầu.
Lần thứ ba, vẫn phải nhắc.
Đến lần thứ một trăm, bạn bắt đầu tự hỏi:
"Chẳng lẽ lần nào mình cũng phải hướng dẫn lại từ đầu?"
Với AI, chúng ta cũng gặp một vấn đề tương tự.
Bạn có thể viết prompt thật chi tiết để hướng dẫn AI. Nhưng nếu muốn một mô hình thực hiện một loại nhiệm vụ theo cách nhất quán hơn, trong một số trường hợp, bạn có thể cân nhắc một kỹ thuật có tên là Fine-tuning.
Fine-tuning là gì?
Fine-tuning là quá trình tiếp tục huấn luyện một mô hình AI đã được huấn luyện trước đó bằng dữ liệu phù hợp với một nhiệm vụ hoặc mục tiêu cụ thể.
Quá trình này có thể điều chỉnh các tham số của mô hình để mô hình tạo ra những đầu ra phù hợp hơn với yêu cầu.
Nói đơn giản:
Bạn không bắt đầu dạy AI từ con số 0. Bạn lấy một mô hình đã được huấn luyện trước, rồi tiếp tục huấn luyện nó bằng những ví dụ phù hợp để cải thiện cách nó thực hiện một công việc cụ thể.
Ví dụ, bạn muốn một hệ thống AI chuyên:
- Phân loại email khách hàng.
- Tạo báo cáo theo một định dạng thống nhất.
- Chuyển nội dung thành JSON đúng cấu trúc.
- Phân loại yêu cầu hỗ trợ kỹ thuật.
- Viết nội dung theo một phong cách cụ thể.
- Thực hiện một nhiệm vụ chuyên biệt với độ nhất quán cao hơn.
Bạn có thể chuẩn bị những ví dụ đầu vào và đầu ra mong muốn, sau đó sử dụng chúng để fine-tune một mô hình có hỗ trợ kỹ thuật này.
Tuy nhiên, Fine-tuning không phải lúc nào cũng cần thiết. Với nhiều bài toán, viết prompt tốt hoặc cung cấp đúng tài liệu cho AI đã đủ hiệu quả.
Đó là lý do chúng ta cần hiểu rõ Fine-tuning giải quyết vấn đề gì trước khi bắt tay vào thực hiện.
Fine-tuning giống như đào tạo nhân viên mới
Hãy quay lại ví dụ về nhân viên viết báo cáo.
Bạn có một mẫu báo cáo chuẩn:
BÁO CÁO DOANH THU
1. Kết quả
2. Vấn đề phát sinh
3. Đề xuất
Bạn cung cấp nhiều ví dụ về cách viết đúng, cách phân loại dữ liệu và cách trình bày kết quả.
Sau quá trình đào tạo, nhân viên có thể hiểu rõ hơn cách công ty muốn công việc được thực hiện.
Fine-tuning có điểm tương tự: mô hình được huấn luyện thêm bằng những ví dụ phù hợp để cải thiện cách tạo đầu ra.
Nhưng có một điểm cần nhớ:
Fine-tuning không đơn giản là tải một tài liệu lên rồi bảo AI học thuộc toàn bộ nội dung.
Đây là một quá trình huấn luyện mô hình, cần dữ liệu phù hợp, cách huấn luyện thích hợp và bước đánh giá kết quả.
Fine-tuning hoạt động như thế nào?
Một quy trình Fine-tuning cơ bản thường có những bước sau.
Bước 1: Xác định vấn đề cần cải thiện
Đừng bắt đầu bằng câu hỏi:
"Làm sao để Fine-tuning AI?"
Hãy bắt đầu bằng:
"AI đang làm chưa tốt việc gì?"
Ví dụ:
- Phân loại email chưa nhất quán.
- Đầu ra JSON thường sai định dạng.
- Cách viết báo cáo không theo mẫu.
- Phân loại yêu cầu hỗ trợ thường nhầm lẫn.
Nếu chưa xác định được vấn đề, bạn sẽ khó biết mình cần huấn luyện mô hình để làm gì.
Bước 2: Chuẩn bị dữ liệu mẫu
Giả sử bạn muốn AI phân loại email hỗ trợ khách hàng thành ba nhóm:
- billing: Thanh toán.
- technical: Lỗi kỹ thuật.
- other: Các yêu cầu khác.
Bạn cần chuẩn bị những email mẫu cùng nhãn phân loại đúng.
Ví dụ:
Email đầu vào Nhãn mong muốn
"Tôi bị tính phí hai lần." billing
"Tôi không thể đăng nhập." technical
"Tôi muốn hỏi về giờ làm việc." other
"Tôi đã thanh toán nhưng đơn hàng chưa cập nhật." billing
Đây là những ví dụ giúp xác định thế nào là đầu ra mong muốn.
Dữ liệu càng đại diện cho tình huống thực tế và được gắn nhãn cẩn thận thì càng có cơ hội giúp mô hình cải thiện đúng vấn đề.
Bước 3: Huấn luyện mô hình
Bạn sử dụng một nền tảng hoặc công cụ hỗ trợ Fine-tuning, cung cấp dữ liệu và cấu hình quá trình huấn luyện theo yêu cầu.
Mô hình sẽ được điều chỉnh dựa trên dữ liệu huấn luyện.
Bạn không cần tự xây dựng toàn bộ mô hình AI từ đầu, nhưng vẫn cần hiểu dữ liệu, mục tiêu và cách đánh giá.
Bước 4: Kiểm tra kết quả
Sau khi huấn luyện xong, đừng vội tuyên bố:
"AI đã thông minh hơn!"
Hãy thử những email mà mô hình chưa từng thấy trong dữ liệu huấn luyện.
Ví dụ:
"Tôi đã chuyển khoản sáng nay, nhưng hệ thống vẫn báo chưa thanh toán."
Mô hình có phân loại đúng không?
Nếu kết quả tốt hơn trên những trường hợp mới, đó mới là dấu hiệu đáng quan tâm.
Mục tiêu không phải làm AI nhớ các ví dụ cũ. Mục tiêu là giúp nó xử lý tốt hơn những trường hợp mới cùng loại.
Fine-tuning khác Prompt Engineering như thế nào?
Đây là phần rất nhiều người dễ nhầm.
Prompt Engineering là cách bạn thiết kế câu lệnh, hướng dẫn và ngữ cảnh để AI tạo ra kết quả mong muốn.
Fine-tuning là quá trình huấn luyện thêm mô hình bằng dữ liệu để điều chỉnh cách mô hình thực hiện nhiệm vụ.
Hãy hình dung thế này.
Prompt Engineering
Bạn nói với nhân viên:
"Từ giờ, hãy luôn viết báo cáo theo mẫu A, dùng ngôn ngữ ngắn gọn và chia thành ba phần."
Bạn đang hướng dẫn cách thực hiện công việc cho lần xử lý hiện tại.
Fine-tuning
Bạn đào tạo thêm nhân viên bằng nhiều ví dụ về báo cáo tốt và cách xử lý các tình huống thường gặp.
Mục tiêu là giúp người đó thực hiện công việc theo cách mong muốn một cách nhất quán hơn.
So sánh này chỉ để dễ hình dung, bởi cách mô hình AI học và cách con người học không hoàn toàn giống nhau.
Điểm quan trọng là: Prompt Engineering thường là nơi nên bắt đầu trước, vì dễ thử nghiệm và ít tốn công hơn Fine-tuning.
Fine-tuning khác RAG như thế nào?
Ở bài trước, chúng ta đã nhắc đến RAG.
Bây giờ hãy tưởng tượng một doanh nghiệp có hàng nghìn trang tài liệu hướng dẫn.
Nhân viên hỏi:
"Chính sách bảo hành hiện tại của sản phẩm A là gì?"
Có hai bài toán khác nhau.
Bài toán thứ nhất: AI cần biết thông tin trong tài liệu
Bạn muốn AI trả lời dựa trên chính sách bảo hành mới nhất.
RAG có thể tìm những đoạn tài liệu liên quan rồi cung cấp chúng cho AI khi tạo câu trả lời.
Bài toán thứ hai: AI cần làm một nhiệm vụ theo cách nhất quán hơn
Bạn muốn AI luôn phân loại yêu cầu khách hàng theo một bộ nhãn thống nhất, hoặc tạo đầu ra theo một cấu trúc cụ thể.
Fine-tuning có thể phù hợp nếu prompt và các phương pháp đơn giản khác chưa đạt yêu cầu.
Bảng dưới đây giúp bạn dễ phân biệt:
Kỹ thuật Giải quyết vấn đề chính
Prompt Engineering Hướng dẫn AI thực hiện nhiệm vụ qua câu lệnh
RAG Cung cấp thông tin liên quan từ nguồn dữ liệu khi AI trả lời
Fine-tuning Điều chỉnh mô hình để cải thiện hành vi hoặc hiệu suất trên một nhiệm vụ
Ba kỹ thuật này không nhất thiết loại trừ nhau. Một hệ thống có thể kết hợp chúng nếu thực sự cần thiết.
Chua thêm: Nếu nhân viên chưa biết viết báo cáo theo mẫu, hãy hướng dẫn trước. Nếu cần tra cứu chính sách mới, hãy đưa tài liệu cho họ. Nếu một nhiệm vụ vẫn chưa được thực hiện nhất quán dù đã hướng dẫn và cung cấp ngữ cảnh phù hợp, lúc đó mới cân nhắc đào tạo chuyên sâu hơn.
Đừng vừa tuyển nhân viên đã lập tức mở một khóa đào tạo ba tháng chỉ để nhờ người đó gửi một email.
Fine-tuning có giúp AI hết Hallucination không?
Không. Đây là điểm rất quan trọng sau bài chúng ta tìm hiểu về AI Hallucination.
Fine-tuning có thể giúp mô hình cải thiện một số nhiệm vụ cụ thể, chẳng hạn tuân theo định dạng đầu ra hoặc phân loại dữ liệu tốt hơn.
Nhưng nó không đảm bảo rằng AI sẽ luôn nói đúng sự thật.
Ví dụ, bạn huấn luyện một mô hình để phân loại email hỗ trợ khách hàng. Sau huấn luyện, mô hình có thể phân loại tốt hơn.
Nhưng nếu bạn hỏi:
"Giám đốc công ty đã ký hợp đồng với khách hàng nào hôm qua?"
Nếu thông tin đó không nằm trong dữ liệu hoặc không có nguồn nào được cung cấp, Fine-tuning không tự nhiên giúp mô hình biết sự kiện vừa xảy ra.
Với thông tin cần cập nhật, bạn thường cần nguồn dữ liệu phù hợp, chẳng hạn Database, API hoặc hệ thống RAG.
Hãy nhớ:
Fine-tuning có thể cải thiện cách mô hình làm việc, nhưng không biến mọi câu trả lời thành sự thật đã được kiểm chứng.
Khi nào doanh nghiệp nên sử dụng Fine-tuning?
Không phải doanh nghiệp nào dùng AI cũng cần Fine-tuning.
Kỹ thuật này đáng cân nhắc hơn khi bạn có một nhiệm vụ lặp lại, yêu cầu tương đối rõ ràng và đủ dữ liệu để đánh giá kết quả.
Ví dụ:
1. Phân loại email với nhiều tình huống
Một doanh nghiệp nhận hàng chục nghìn yêu cầu hỗ trợ.
Họ cần phân loại email vào các nhóm đã định nghĩa.
Nếu prompt thông thường chưa tạo được kết quả nhất quán, dữ liệu huấn luyện có chất lượng có thể giúp cải thiện nhiệm vụ này.
2. Tạo đầu ra theo định dạng ổn định
Một ứng dụng cần nhận kết quả dưới dạng JSON để xử lý tiếp.
Fine-tuning có thể giúp mô hình làm theo cấu trúc mong muốn tốt hơn trong một số trường hợp. Tuy nhiên, bạn vẫn nên dùng kiểm tra định dạng và cơ chế xác thực ở phía chương trình.
Đừng để cả hệ thống sập chỉ vì AI quên một dấu phẩy.
3. Xử lý một nhiệm vụ chuyên biệt
Ví dụ, doanh nghiệp có quy tắc phân loại yêu cầu bảo hành rất cụ thể.
Họ có nhiều ví dụ đã được chuyên gia đánh nhãn và có thể kiểm tra độ chính xác.
Fine-tuning có thể là một lựa chọn đáng thử sau khi đã đánh giá những phương pháp đơn giản hơn.
4. Cần mô hình nhỏ làm tốt một công việc hẹp
Trong một số hệ thống, doanh nghiệp có thể muốn dùng mô hình nhỏ hơn để giảm độ trễ hoặc chi phí.
Fine-tuning có thể giúp mô hình đó hoạt động tốt hơn trên nhiệm vụ được chọn, nhưng cần thử nghiệm để xác nhận hiệu quả thực tế.
Khi nào chưa cần Fine-tuning?
Đây có lẽ là phần lính mới "thích nghe" nhất. Cứ cái gì "không cần" thì đều là "tin tốt"
Trường hợp 1: Bạn chỉ muốn AI viết email tốt hơn
Hãy thử viết prompt rõ ràng, cung cấp ví dụ và yêu cầu định dạng đầu ra.
Có thể như vậy đã đủ cho nhu cầu tương đối đơn giản.
Trường hợp 2: Bạn muốn AI đọc tài liệu mới
Nếu vấn đề là AI chưa có thông tin về tài liệu mới, hãy cân nhắc cung cấp tài liệu trực tiếp hoặc dùng RAG.
Huấn luyện mô hình không phải cách thuận tiện nhất để cập nhật liên tục những thông tin thay đổi mỗi ngày.
Trường hợp 3: Bạn chưa có dữ liệu tốt
Nếu bạn chỉ có vài ví dụ sơ sài, không biết thế nào là câu trả lời đúng và không có cách đánh giá kết quả, Fine-tuning có thể chưa phải bước tiếp theo phù hợp.
Trường hợp 4: Bạn chưa biết AI đang sai ở đâu
Nếu chưa có bộ câu hỏi kiểm thử, bạn khó xác định mô hình có thực sự cải thiện sau huấn luyện hay không.
Vì vậy, hãy đo lường vấn đề trước khi đầu tư vào giải pháp.
Hướng dẫn kỹ thuật về Fine-tuning cũng nhấn mạnh việc xây dựng bộ đánh giá và kiểm tra kết quả trước khi quyết định mở rộng quá trình huấn luyện.
<Cite refs={["turn786655search0","turn786655search4"]}/>Thử nghiệm online: Mô phỏng ý tưởng Fine-tuning bằng Python
Chúng ta có thể thử một ví dụ nhỏ ngay trên Google Colab.
Lưu ý: Đây không phải Fine-tuning mô hình AI thật. Đây là một mô phỏng đơn giản để bạn hiểu tại sao ví dụ đầu vào và nhãn mong muốn lại quan trọng.
Tạo notebook mới rồi chạy đoạn code:
training_examples = [
("Tôi bị tính phí hai lần", "billing"),
("Tôi không thể đăng nhập", "technical"),
("Tôi muốn hỏi giờ làm việc", "other"),
("Tôi đã thanh toán nhưng đơn chưa cập nhật", "billing"),
]
for message, label in training_examples:
print(f"Email: {message}")
print(f"Nhãn mong muốn: {label}")
print("-" * 40)
Kết quả sẽ hiển thị các ví dụ mà chúng ta muốn hệ thống học cách phân loại.
Bây giờ, thử viết một email mới:
new_email = "Tài khoản của tôi báo lỗi khi đăng nhập"
print("Email mới:", new_email)
Bạn có thể tự xác định nhãn mong muốn là technical.
Điều chúng ta vừa làm là chuẩn bị một ví dụ đầu vào và kết quả mong muốn. Chúng ta chưa huấn luyện bất kỳ mô hình AI nào và đoạn code này cũng chưa tự phân loại email.
Để Fine-tuning thật sự, bạn cần một mô hình hỗ trợ, dữ liệu huấn luyện theo định dạng phù hợp, quy trình huấn luyện và bộ kiểm thử để đánh giá mô hình sau khi huấn luyện.
Ví dụ nhỏ này giúp bạn nhìn thấy bước đầu tiên của quy trình: xác định rõ thế nào là một đầu ra tốt.
Dữ liệu Fine-tuning: Ít mà tốt hay nhiều mà tệ?
Hãy tưởng tượng bạn muốn huấn luyện AI phân loại email.
Bạn có 10.000 email, nhưng nhãn của chúng bị gán sai rất nhiều.
Ví dụ:
- Email hỏi hoàn tiền lại bị gắn nhãn technical.
- Email báo lỗi đăng nhập lại bị gắn nhãn billing.
- Email không liên quan bị gắn nhãn tùy tiện.
Nếu sử dụng những dữ liệu đó để huấn luyện, mô hình có thể học những mẫu không mong muốn.
Ngược lại, một bộ dữ liệu nhỏ hơn nhưng được chọn lọc kỹ, có nhiều tình huống đại diện và nhãn đáng tin cậy có thể hữu ích hơn.
Điều này không có nghĩa dữ liệu ít luôn tốt hơn dữ liệu nhiều.
Quy mô cần thiết phụ thuộc vào nhiệm vụ, mô hình và mức độ đa dạng của tình huống thực tế.
Điều quan trọng là chất lượng, tính đại diện và khả năng đánh giá dữ liệu.
Sau khi huấn luyện, bạn cần kiểm tra mô hình trên những ví dụ không được dùng để huấn luyện. Nếu chỉ kiểm tra bằng đúng các ví dụ đã học, bạn có thể nhầm việc ghi nhớ dữ liệu với khả năng xử lý tốt tình huống mới.
Chua thêm: Fine-tuning không phải gửi AI đi học rồi mặc kệ
Hãy tưởng tượng bạn thuê một nhân viên mới.
Bạn đưa cho người đó 500 báo cáo mẫu, bảo đọc thật kỹ rồi ngày mai bắt đầu làm việc.
Ngày hôm sau, bạn hỏi:
"Đã sẵn sàng chưa?"
Người đó trả lời:
"Em đã đọc hết 500 báo cáo."
Bạn hỏi tiếp:
"Vậy thử làm báo cáo cho tình huống mới này xem."
Người đó làm sai.
Đọc hết tài liệu không đồng nghĩa với làm việc giỏi.
Với AI cũng vậy.
Bạn không chỉ cần dữ liệu huấn luyện. Bạn còn cần một cách kiểm tra xem mô hình đã cải thiện hay chưa.
Và đôi khi, kết quả kiểm thử sẽ cho bạn biết rằng:
"Có lẽ vấn đề không nằm ở việc thiếu Fine-tuning. Có lẽ dữ liệu, prompt hoặc quy trình xử lý của mình mới là thứ cần sửa."
Đó không phải thất bại.
Đó là một quyết định kỹ thuật tốt.
Checklist "chuẩn không cần chỉnh"
Trước khi bắt đầu Fine-tuning, hãy tự hỏi:
- Tôi đang muốn cải thiện nhiệm vụ cụ thể nào?
- Tôi đã thử viết prompt rõ ràng chưa?
- Vấn đề có phải do thiếu dữ liệu tại thời điểm trả lời không?
- Tôi có dữ liệu đầu vào và đầu ra mong muốn không?
- Dữ liệu có được kiểm tra và gắn nhãn chính xác không?
- Dữ liệu có đại diện cho tình huống thực tế không?
- Tôi có bộ kiểm thử riêng để đánh giá mô hình không?
- Tôi có cách so sánh mô hình trước và sau Fine-tuning không?
- Chi phí huấn luyện và vận hành có đáng không?
- Nếu mô hình vẫn trả lời sai, hệ thống có thể phát hiện không?
Nếu chưa trả lời được phần lớn những câu hỏi này, bạn chưa cần vội Fine-tuning.
Hãy bắt đầu bằng việc xác định vấn đề và xây dựng một bộ kiểm thử tốt.
FAQ nhanh
Fine-tuning có phải huấn luyện AI từ đầu không?
Không. Thông thường, Fine-tuning bắt đầu từ một mô hình đã được huấn luyện trước rồi tiếp tục điều chỉnh mô hình bằng dữ liệu cho một nhiệm vụ cụ thể.
Fine-tuning có giúp AI biết mọi thông tin mới không?
Không. Nếu muốn AI trả lời về dữ liệu mới hoặc thông tin thay đổi thường xuyên, bạn có thể cần cung cấp dữ liệu qua API, Database hoặc RAG.
Fine-tuning có làm AI thông minh hơn trong mọi lĩnh vực không?
Không nhất thiết. Mục tiêu thường là cải thiện một số nhiệm vụ hoặc hành vi cụ thể. Kết quả cần được đánh giá bằng thử nghiệm.
Tôi có cần hàng triệu ví dụ mới Fine-tuning được không?
Không phải lúc nào cũng cần số lượng lớn như vậy. Nhu cầu dữ liệu phụ thuộc vào mô hình và bài toán. Điều quan trọng là dữ liệu phải đủ chất lượng và đại diện cho nhiệm vụ cần giải quyết.
Fine-tuning có loại bỏ Hallucination không?
Không. Mô hình sau huấn luyện vẫn có thể tạo thông tin sai. Những đầu ra quan trọng vẫn cần được kiểm tra.
Lính mới học lập trình có cần Fine-tuning ngay không?
Thường là chưa cần. Hãy học cách sử dụng API, viết prompt rõ ràng, xử lý dữ liệu và đánh giá đầu ra trước. Khi bạn có một bài toán cụ thể mà những cách đơn giản chưa giải quyết tốt, lúc đó hãy nghiên cứu Fine-tuning.
Tổng kết
Giải thích Fine-tuning bằng một câu ngắn gọn:
Fine-tuning là tiếp tục huấn luyện một mô hình AI đã có bằng dữ liệu phù hợp để cải thiện cách mô hình thực hiện một nhiệm vụ cụ thể.
Hãy nhớ sự khác nhau:
- Prompt Engineering: Hướng dẫn AI qua câu lệnh.
- RAG: Cung cấp thông tin liên quan để AI sử dụng khi trả lời.
- Fine-tuning: Điều chỉnh mô hình thông qua huấn luyện thêm.
Không có kỹ thuật nào là lựa chọn tốt nhất cho mọi bài toán.
Nếu chỉ cần viết email theo mẫu, có thể prompt đã đủ.
Nếu cần tra cứu chính sách mới nhất, có thể RAG phù hợp hơn.
Nếu cần một mô hình thực hiện nhiệm vụ theo cách nhất quán hơn và đã có dữ liệu tốt để huấn luyện, Fine-tuning có thể đáng cân nhắc.
Và điều quan trọng nhất:
Đừng chọn công nghệ chỉ vì nó nghe hiện đại. Hãy chọn nó vì nó giải quyết đúng vấn đề.