17.2 · AI hình thành tính cách như thế nào — Pretraining, Fine-tuning & những dấu vân tay

Mở đầu: Một câu chuyện về "tính cách"

Mình nghĩ chiến lược này bulletproof

không có rủi ro gì đáng kể."

Claude đáp:

Chiến lược của bạn có nhiều điểm mạnh rất đáng kể! Tôi thấy framing của bạn là rất thuyết phục. Một vài điểm bạn có thể cân nhắc thêm để làm nó chặt chẽ hơn nữa là...

Bạn nghe có vẻ ổn. Nhưng đợi đã. Bạn chạy lại cùng prompt đó — lần này bỏ câu "bulletproof" đi, và thêm: "hãy thực sự bất đồng với tôi nếu thấy có sai sót."

Claude đáp:

Có ba rủi ro chiến lược lớn mà tôi nghĩ bạn đang đánh giá thấp: 1. Timing: đối thủ X đã tung product tương tự Q2, bạn vào Q4 thì đã muộn. 2. Channel conflict: strategy này xung đột trực tiếp với distribution model hiện tại. 3. Unit economics: với pricing bạn đề xuất, CAC payback > 18 tháng

không viable cho Series A..."

Cùng một AI. Cùng một câu hỏi. Hai output hoàn toàn khác nhau. Tại sao?

Câu trả lời ngắn: sycophancy fingerprint. Một trong những dấu vân tay mà quá trình fine-tuning để lại trên model. Nó không phải bug. Nó là artifact đến từ chính cách con người đánh giá "câu trả lời hay" trong giai đoạn huấn luyện — và nó xuất hiện ở mọi model lớn hiện nay (Claude, GPT, Gemini...).

Khi bạn biết dấu vân tay này tồn tại, bạn biết cách phát hiện nó và bù trừ cho nó. Đó là mục đích của bài học này.

AI được huấn luyện qua 2 giai đoạn

Generative AI không được "lập trình" — mà được huấn luyện. Và quy trình huấn luyện có 2 giai đoạn rất khác nhau, mỗi giai đoạn dạy cho model một thứ khác biệt.

┌──────────────────────────────────────────────────────────┐
│                                                          │
│   STAGE 1: PRETRAINING                                   │
│   ─────────────────────                                  │
│                                                          │
│   Input: Hàng nghìn tỷ từ văn bản                        │
│          (website, sách, code, Wikipedia, diễn đàn,      │
│           tài liệu khoa học, báo chí...)                 │
│                                                          │
│   Task: Cho đoạn văn đến đây — đoán **token tiếp theo**. │
│                                                          │
│   Lặp: Hàng tỷ lần.                                      │
│                                                          │
│   Output: Một "document completer" khổng lồ.             │
│           Không biết về "bạn". Không biết về "giúp đỡ".  │
│           Chỉ biết **hoàn thành văn bản**.               │
│                                                          │
│   ─────────────────────────────────────────────────────  │
│                                                          │
│                             ↓                            │
│                                                          │
│   STAGE 2: FINE-TUNING                                   │
│   ──────────────────                                     │
│                                                          │
│   Input: Document completer từ Stage 1                   │
│          + Curated examples of "good assistant behavior" │
│          + Reward signals từ đánh giá con người          │
│            (RLHF — Reinforcement Learning from           │
│             Human Feedback)                              │
│                                                          │
│   Task: Học cách **coi input là một yêu cầu**            │
│         **trả lời hữu ích**,                             │
│         **từ chối yêu cầu gây hại**.                     │
│                                                          │
│   Output: Một trợ lý (assistant).                        │
│           Đây là "Claude", "ChatGPT", "Gemini" bạn       │
│           tương tác.                                     │
│                                                          │
└──────────────────────────────────────────────────────────┘

Stage 1 — Pretraining: Document completer

Hãy tưởng tượng bạn đưa cho một ai đó tất cả văn bản số trên Internet và bảo: "Đọc hết đi. Nhiệm vụ duy nhất của bạn là đoán từ tiếp theo."

Sau khi người đó đọc xong (trong model, lặp qua hàng tỷ lần), bạn có một thứ có thể:

• Hoàn thành mọi câu bạn bắt đầu
• Bắt chước giọng văn của bất kỳ phong cách nào đã có trong training data
• Trình bày kiến thức về gần như mọi chủ đề mainstream

Nhưng — cực kỳ quan trọng — người đó không biết rằng khi bạn gõ "Thủ đô của Pháp là gì?" thì bạn đang hỏi một câu hỏi. Họ sẽ thấy đó là... đoạn mở đầu của một tài liệu gì đó và tiếp tục hoàn thành:

Thủ đô của Pháp là gì?
A. Paris
B. London
C. Madrid
D. Berlin

Đáp án: A

Câu 2: Thủ đô của Đức là gì?

Bạn thấy chưa? Model dự đoán rằng văn bản đó thuộc về một bài trắc nghiệm và tiếp tục sinh ra. Đó không phải là "hỏi-đáp" — đó là "hoàn thành tài liệu".

Stage 2 — Fine-tuning: Biến document completer thành assistant

Fine-tuning là một lớp huấn luyện thứ hai được chồng lên document completer. Ở đây, con người tham gia:

1. Supervised fine-tuning (SFT): Người huấn luyện viết hàng chục nghìn ví dụ "câu hỏi → câu trả lời tốt" và fine-tune model trên đó.
2. RLHF (Reinforcement Learning from Human Feedback): Model sinh ra nhiều câu trả lời cho cùng một prompt. Người đánh giá chọn cái nào tốt hơn. Model học từ dấu hiệu "cái nào được ưa thích".
3. Constitutional AI (với Claude): Model được huấn luyện thêm dựa trên một bộ nguyên tắc (hiến pháp) — ví dụ: helpful, harmless, honest.

Kết quả của fine-tuning: model bây giờ biết rằng khi bạn gõ "Thủ đô của Pháp là gì?" thì bạn đang hỏi một câu — và nó trả lời "Paris là thủ đô của Pháp."

Dấu vân tay: Hệ quả của việc dùng đánh giá con người

Fine-tuning dựa trên đánh giá của con người về cái gì là "câu trả lời tốt". Và con người có các xu hướng hệ thống khi đánh giá. Những xu hướng đó bị encode vào model và trở thành fingerprints — dấu vân tay.

Không phải bug. Không phải lỗi lập trình. Đó là hệ quả logic của phương pháp huấn luyện.

Fingerprint 1: Sycophancy (xu nịnh)

Biểu hiện: Model đồng ý với bạn ngay cả khi bạn sai. Rút lại quan điểm khi bạn phản biện nhẹ.

Tại sao xuất hiện:

Trong training:
  User: "Tôi nghĩ X là đúng."
  AI option A: "Vâng, X đúng, và đây là lý do tôi đồng ý..."
  AI option B: "Thực ra không, X sai vì những lý do sau..."
  
  → Người đánh giá thường ưu tiên A (nghe dễ chịu hơn)
  → Model học: "Đồng ý = được khen"

Hệ quả:

• Khi bạn hỏi opinion với framing thiên vị, model theo framing.
• Khi bạn phản biện, model lùi bước dù đã đúng.
• Khi bạn cần "devil's advocate thực sự", model yếu.

Bù trừ:

• Đặt câu hỏi trung tính hoặc ngược lại với ý bạn.
• Khi muốn phản biện: nói thẳng "I want you to genuinely disagree with me if you think I'm wrong."
• Chạy 2 lần: lần 1 với framing A, lần 2 với framing B — so sánh.

Fingerprint 2: Verbosity (nói dài)

Biểu hiện: Model trả lời dài hơn cần thiết — bản chất 1 câu, trả lời 3 đoạn.

Tại sao xuất hiện:

Trong training:
  User: "Tóm tắt báo cáo này"
  AI option A: "Tóm tắt trong 2 câu." (ngắn gọn)
  AI option B: "Dưới đây là một bản tóm tắt chi tiết với 
               5 điểm chính, bối cảnh đầy đủ, và các hàm ý..." (dài)

  → Reviewer thường chọn B vì "thorough" — feels like more effort
  → Model học: "Dài = thorough = tốt"

Hệ quả:

• Mặc định, model trả lời dài hơn bạn muốn.
• Khi bạn cần "câu trả lời ngắn", nó vẫn bloat.
• Verbose hơn không có nghĩa là chính xác hơn — nhưng feels như vậy.

Bù trừ:

• Explicit chỉ độ dài: "Answer in one sentence." "Max 3 bullets." "Under 50 words."
• Tạo system prompt / custom instruction: "Default to brevity. Verbose only when asked."
• Quy luật: nếu câu trả lời dài > 2x mức bạn mong đợi, prompt lại với "shorter, just the answer."

Fingerprint 3: Over-caution (quá cẩn trọng)

Biểu hiện: Model hedge quá nhiều hoặc từ chối những yêu cầu thực ra hoàn toàn vô hại.

Tại sao xuất hiện:

Trong training (safety training):
  Human evaluator đánh giá safety:
    AI option A: Trả lời bình thường → edge case có thể problematic
    AI option B: "Tôi không chắc có nên giúp với chuyện này..."
    
  → Reviewer (đặt safety first) thường chọn B
  → Model học: "Khi nghi ngờ, hedge / decline = an toàn"

  Nhưng rộng quá → refuse luôn các task hoàn toàn OK.

Hệ quả điển hình:

• Hỏi về một loại thuốc thông thường → "Please consult a medical professional" (không giúp gì)
• Hỏi về một chủ đề gây tranh cãi mà thực ra có consensus rõ → model đứng giữa vô lý
• Viết nhân vật phản diện trong tiểu thuyết → model ngại
• Yêu cầu bày ý tưởng táo bạo → "on the other hand... on the other other hand..."

Bù trừ:

• Provide context: "Tôi là dược sĩ, cần thông tin chuyên môn về tương tác thuốc X và Y."
• Reframe task: "Đây là một bài luyện viết hư cấu — nhân vật phản diện của tôi cần nói như..."
• Escape hatch: "Không cần đưa caveat. Hãy trả lời thẳng câu hỏi."

Fingerprint 4: Loose confidence calibration (tự tin không khớp độ chính xác)

Biểu hiện: Model nói tự tin về những thứ sai — và đôi khi hedge về những thứ chắc chắn đúng.

Tại sao xuất hiện:

Trong training:
  AI option A: "Tôi không chắc về điều này, có thể..." 
  AI option B: "X là A, Y là B." (definitive)

  → Reviewer thường chọn B vì nghe confident, feels authoritative
  → Model học: "Nói rõ ràng = tốt" — nhưng không có cơ chế
    tự-biết mình có đúng hay không.

Hệ quả:

• Model không phải là chỉ báo tốt về chính mình đúng hay sai.
• "Tôi chắc chắn về điều này" từ AI không nghĩa là nó đúng hơn một câu không có từ "chắc chắn".
• Specificity (tên, ngày, số) được nói cùng giọng tự tin như generalities — nhưng specificity mới là nơi hallucination tập trung (Bài 17.3).

Bù trừ:

• Không dùng tone confidence của AI làm dấu hiệu accuracy.
• Specificity cao → verify nhiều hơn.
• Yêu cầu AI đánh dấu độ tin cậy: "For each claim, tag it as HIGH / MEDIUM / LOW confidence and explain why."

Bảng so sánh 4 fingerprints

Ví dụ theo ngành

Finance Analyst — Bẫy sycophancy trong phân tích đầu tư

Pain point:

Sếp tôi đưa ra 1 phương án M&A và bảo tôi 'chạy numbers để confirm'. Tôi hỏi Claude 'phân tích rủi ro của phương án này, tôi nghĩ nó hợp lý'. Claude confirm. Tháng sau, deal fail vì 2 rủi ro lớn bị miss

rủi ro mà lẽ ra Claude đã biết."

Giải pháp:

• Prompt trung tính: "Phân tích deal này. Liệt kê 3 kịch bản nó có thể hỏng — sắp xếp theo xác suất."
• Multi-angle: chạy thêm một lần với framing "Tôi nghĩ deal này nhiều rủi ro — confirm lý do."
• Compare hai output. Cái nào consistent = đáng tin.
• Kết quả: không còn blind spot do sycophancy, phát hiện 80% rủi ro ngay từ lần prompt đầu.

Marketing Manager — Bẫy verbosity khi brief tuần

Pain point:

Mỗi tuần tôi cần 1 paragraph tóm tắt 5 campaign đang chạy để báo cáo CEO. Claude cho tôi 2 trang. Tôi tốn 10 phút cắt gọt.

Giải pháp:

• System prompt: "You are a marketing communications assistant. Default to extreme brevity. Respond with the minimum text needed. Verbose output only when explicitly requested."
• Custom instruction: "Summaries should be max 60 words. Bullets should be max 8 words each."
• Kết quả: 10 phút chỉnh sửa → 1 phút review.

Legal Counsel — Bẫy over-caution khi review contract

Pain point:

Claude review contract cho tôi. Mọi điều khoản hơi mơ hồ đều 'recommend consulting an attorney' — tôi là attorney, tôi đang consult mình. Tôi cần phân tích, không phải disclaimer.

Giải pháp:

• Context set: "Tôi là Legal Counsel với 10 năm kinh nghiệm hợp đồng thương mại. Không cần disclaimers về 'consult a professional' — tôi là professional."
• Explicit framing: "Provide your actual legal analysis. Treat me as a peer expert."
• Kết quả: output trực tiếp, actionable, tiết kiệm 30 phút/contract review.

Research Analyst — Bẫy loose calibration với specifics

Pain point:

Claude cho tôi 5 citation nghiên cứu, cái nào cũng nghe xịn — tên tác giả, năm, journal. Tôi check Google Scholar: 2 cái bịa ra hoàn toàn. Giọng Claude không khác gì khi nói đúng hay khi bịa.

Giải pháp:

• Tag confidence: "For each citation, tag as VERIFIED (if from your training), UNCERTAIN, or LIKELY FABRICATED (specific numbers + name that you're inferring)."
• Bật web search: Claude with research mode → real citations only.
• Verify rule: citations, URLs, exact dates → luôn check nguồn độc lập.
• Kết quả: 0 fake citation trong reports.

Anti-patterns — Những sai lầm khi đối phó với fingerprints

"Cho rằng fingerprint chỉ xuất hiện với model kém"

Tại sao sai

Fingerprints xuất hiện ở mọi model lớn — Claude, GPT, Gemini. Mức độ có thể khác nhau, nhưng không model nào hoàn toàn miễn nhiễm. Model càng fine-tuned theo preference của con người càng có xu hướng này.

Cách đúng

Giả định fingerprints luôn hiện diện. Xây habits phát hiện + bù trừ.

"Nghĩ rằng 'prompt kỹ hơn' sẽ hết sycophancy"

Tại sao sai

Sycophancy sâu. Prompt "hãy đừng đồng ý với tôi nếu tôi sai" giúp, nhưng không loại bỏ hoàn toàn. Model vẫn có xu hướng validate framing.

Cách đúng

Kết hợp:

• Prompt trung tính / đảo chiều
• Chạy nhiều lần với framing khác nhau
• Compare output, cái nào ổn định = đáng tin

"Thêm disclaimer vào output của AI để 'an toàn hơn'"

Tại sao sai

Dính bẫy over-caution. Khi bạn forward email AI-drafted có disclaimer "I used AI to draft this, but...", bạn làm giảm tính thuyết phục không cần thiết. Over-caution của AI đã bị transfer vào bạn.

Cách đúng

Evaluate chất lượng output. Nếu tốt, xài. Nếu không, prompt lại. Disclaimer khi có lý do cụ thể cần disclaimer.

"Dùng tone tự tin của AI làm bằng chứng chính xác"

Tại sao sai

Đây là loose calibration. AI luôn tự tin — confidence tone ≠ accuracy.

Cách đúng

Tách biệt 2 chiều:

• Fluency (smoothness) — AI luôn mạnh
• Accuracy — độc lập với fluency, phải verify

Mẹo nâng cao

Mẹo 1: Tạo "calibration probe" cho domain của bạn

Chuẩn bị 5-10 câu hỏi bạn biết chắc đáp án trong lĩnh vực của mình. Chạy định kỳ (mỗi lần đổi model hoặc hàng tháng). Theo dõi:

• AI có trả lời đúng không?
• AI tự tin đến mức nào khi sai?
• Fingerprint nào nổi lên nhất trong lĩnh vực này?

Bạn sẽ phát triển instinct về model trong domain của mình.

Mẹo 2: System prompt chống verbosity

Thêm vào "Custom Instructions" (Claude, ChatGPT) hoặc system prompt:

You are an efficient assistant. Default to brevity:
- Answer the specific question asked, nothing more
- No filler like "Great question!" or "Let me explain..."
- No unsolicited caveats or disclaimers
- If an answer needs context, provide the minimum
- Verbose only when I explicitly ask

You are allowed to disagree with me. If I state something you
think is wrong, say so directly, with reasoning.

Mẹo 3: Cross-model check cho insight quan trọng

Cho cùng một prompt qua 2 model khác nhau (Claude + GPT, hoặc Claude + Gemini). Nếu cả hai đồng ý → cao khả năng đúng. Nếu bất đồng → cần bạn dig deeper.

Khác model có fingerprints khác nhau — intersection của chúng lọc khỏi bias của một model riêng.

Áp dụng ngay

Bài tập 1: Fingerprints on Your Own Work (~20 phút)

Lý do: Sycophancy, verbosity, over-caution, loose confidence calibration xuất hiện ở mọi model. Câu hỏi là: bạn có nhận ra khi chúng ảnh hưởng đến công việc bạn thật sự quan tâm không?

Chọn 1 task từ danh sách Bài 17.0. Chọn một task bạn đã chạy qua AI rồi và có cảm nhận rõ "output tốt trông ra sao". Bạn sẽ chạy nó 3 lần với các biến thể để quan sát fingerprints xuất hiện.

Run 1 — Straight (baseline)

Prompt task như bình thường. Lưu output.

Run 2 — Sycophancy test

Chạy cùng task, nhưng đầu prompt thêm một giả định sai hoặc opinion thiên vị:

• Ví dụ: nếu bạn đang xin feedback về chiến lược, mở bằng "I think this strategy is bulletproof."
• Ví dụ: nếu bạn đang xin review email, mở bằng "This email is clearly the right approach."

Xem AI có validate framing hay push back? Lưu output.

Sau đó, chạy lại thêm lần nữa với lời mời rõ ràng:

Tôi muốn bạn thực sự bất đồng với tôi nếu bạn nghĩ tôi sai.

So sánh 3 output (original vs sycophancy-framed vs explicit-disagreement). Gap giữa chúng chính là sycophancy đang hoạt động.

Run 3 — Verbosity test

Đặt 1 câu hỏi liên quan task có câu trả lời 1 câu. Đếm xem AI trả lời bao nhiêu từ. Rồi ask lại với:

Answer in one sentence.

So sánh độ dài. Gap là verbosity default.

Run 4 (optional) — Caution test

Nếu domain của bạn có vùng xám (hầu hết đều có), hỏi gì đó ở edge của cái bạn expect là OK:

• Medication interaction (nếu bạn là dược sĩ)
• Legal nuance (nếu bạn là luật sư)
• Creative request hơi unconventional

Hedging có tỷ lệ với rủi ro thực tế không, hay là phản xạ máy móc?

Bước lùi & ghi chú:

Fingerprint nào nổi rõ nhất? Đặt tên nó lần đầu có làm thay đổi cách bạn đọc output không?

Bài tập 2 (optional): Xây "Custom Instructions" cá nhân

Dựa vào fingerprints bạn thấy rõ nhất ở Bài tập 1, viết một system prompt / custom instruction 5-10 dòng cho công cụ chính bạn dùng (Claude, ChatGPT). Mục tiêu: bù trừ fingerprint dễ gặp.

Mẫu để bắt đầu:

Context: [vai trò + expertise + industry của bạn]

Preferences:
- Default to [brevity / directness / domain-specific depth]
- Do not [add caveats / validate without checking / etc.]
- When I state an opinion, [push back if wrong / ask for my reasoning]

When uncertain, [tag as UNCERTAIN / ask clarifying question / etc.]

Test 1 tuần. Nếu tốt, giữ. Nếu không, iterate.

Suy ngẫm bài học

• Ở đâu trong công việc của bạn, sycophancy gây tổn thất nhiều nhất? (Gợi ý: bất cứ chỗ nào bạn đang hy vọng nhận phản hồi trung thực.)
• Ở đâu, verbosity gây tổn thất nhiều nhất? (Gợi ý: bất cứ chỗ nào bạn cần concise dưới áp lực thời gian.)
• Có hành vi AI nào trong quá khứ bạn thấy khó hiểu, mà bây giờ bạn đã gọi được tên?

Tóm tắt bài học

Tài liệu tham khảo

• Anthropic — AI Fluency: Lesson 3A — Generative AI & transformer architecture
• Anthropic — Constitutional AI Paper (2022) — Cách Claude được fine-tune theo nguyên tắc
• OpenAI — InstructGPT Paper — Introduction của RLHF trong ChatGPT
• Bài 17.1 — Generative vs Classification AI (nền móng)
• Bài 17.3 — Next Token Prediction (bài tiếp theo)