Context Engineering – Kỹ năng sống còn cho dev làm việc với LLM

“Agent nó không chạy đúng không phải vì model ngu, mà là vì mình feed context như hạch.”

Context Engineering là gì?

Hiểu đơn giản: Context engineering là việc build một hệ thống động (dynamic system) để cung cấp đúng thông tin, đúng công cụ, đúng định dạng cho LLM, để nó có thể có lý mà hoàn thành task.

Phần lớn lý do LLM fail là vì thiếu context, thiếu tool, hoặc cách truyền tải tệ. Nó không phải thần thánh – không có gì thì nó nghĩ ra kiểu gì được?

Tại sao Context Engineering lại quan trọng?

Ngày xưa chỉ cần ngồi craft prompt cho hay. Giờ thì khác rồi. App ngày càng phức tạp, context không còn chỉ là một đoạn text nữa. Nó có thể đến từ:

  • Dev truyền vào

  • Người dùng nhập

  • Dữ liệu quá khứ

  • Tool gọi về

  • API ngoài

Tất cả cái đó cần được xử lý, gom lại – và build thành một hệ thống đủ thông minh để biết lúc nào cần cái gì.

Vậy context gồm những gì?

  1. Hệ thống động (dynamic)
    Context không phải lúc nào cũng cố định. Đôi khi phải generate hoặc fetch real-time.

  2. Thông tin đúng
    Không có input đúng → LLM không làm gì được. Rác vào thì rác ra. Đơn giản vậy.

  3. Tool đúng
    Có nhiều thứ LLM không biết, nhưng nếu bạn cho nó công cụ đúng, nó có thể tự fetch hoặc xử lý.

  4. Định dạng đúng
    Đừng đưa 1 đống JSON xấu xí cho model rồi kỳ vọng nó hiểu. Format matters. Cũng như người, model cũng nhạy cảm với cách truyền đạt.

  5. Plausibly accomplishable
    Hãy tự hỏi: Với context hiện tại, model làm được không? Nếu không, fix lại context, đừng đổ cho model.

Context Engineering ≠ Prompt Engineering

Prompt engineering chỉ là một phần nhỏ của context engineering. Ngày xưa chỉ cần viết prompt hay ho. Giờ thì bạn phải:

  • Thu thập dữ liệu từ nhiều nguồn

  • Xử lý format phù hợp

  • Chọn tool đúng

  • Viết instruction chuẩn

Tóm lại: prompt chỉ là đầu ra cuối cùng, còn context engineering là toàn bộ pipeline.

Ví dụ thực tế về context engineering:

  • Tool use: LLM được tích hợp với tool fetch data, và output từ tool phải dễ digest với LLM.

  • Short-term memory: Tóm tắt conversation và reuse khi cần.

  • Long-term memory: Ghi nhớ preference của user ở những lần tương tác trước.

  • Retrieval: Fetch kiến thức ngoài rồi nhét vào prompt.

  • Instruction rõ ràng: Model không đoán được bạn muốn gì, nên bạn phải nói rõ.

LangGraph: Cho bạn quyền kiểm soát toàn bộ context

LangGraph cho bạn tự define:

  • Chạy step nào

  • Nhét gì vào model

  • Lưu output ở đâu
    Không bị bó buộc bởi abstraction, bạn muốn gì, làm nấy. Đúng kiểu dev thích.

LangSmith: Debug context như debug log

LangSmith cho bạn trace lại toàn bộ agent call:

  • Xem input/output

  • Xem tool nào được gọi

  • Biết tại sao LLM fail
    Nói thật, trace context xong mới thấy nhiều lỗi là do mình… chứ không phải do model.

Kết

“Communication is all you need” – nói với model sao cho đúng là cả một nghệ thuật.

Context engineering không phải thứ gì mới, chỉ là giờ có tên gọi chính thức. Làm dev thời AI, bạn cần làm chủ không chỉ prompt, mà cả cái thế giới context xung quanh nó.

Nếu bạn đang build hệ thống AI hoặc agent, đừng chỉ chăm chăm viết prompt. Hãy nghĩ toàn bộ trải nghiệm của model: nó biết gì, nó có gì trong tay, và nó có hiểu mình đang làm gì không. Context mới là key.