Một thẻ robots.txt cho mọi AI: Google hé lộ kế hoạch 2027

Nếu bạn từng mở file robots.txt của website mình lên, nhìn mười mấy dòng lệnh chặn crawler AI với đủ thứ tên khó nhớ, rồi tự hỏi “mình đang chặn đúng thứ chưa?”, thì tin này dành cho bạn. Google vừa công bố kế hoạch hỗ trợ một tín hiệu kiểm soát AI training dùng chung ngay trong robots.txt, để website có thể bày tỏ lựa chọn của mình một lần cho nhiều nhà cung cấp AI cùng lúc.

Điều đáng chú ý không nằm ở việc có thêm một dòng lệnh mới. Nó nằm ở chỗ lần đầu tiên cả ngành đang ngồi lại để thống nhất một ngôn ngữ chung. Đề xuất này dựa trên công việc của nhóm AIPREF thuộc IETF, và nối tiếp Google-Extended — công cụ kiểm soát AI training mà Google đã cung cấp từ năm 2023.

Chuyện gì thực sự thay đổi trong robots.txt?

Theo mô tả của Google, thay vì quản lý riêng lẻ từng chỉ dẫn cho từng nhà phát triển AI, chủ website sẽ dùng một policy token dùng chung, đặt trong robots.txt, để thể hiện lựa chọn ở mức rộng cho tất cả nhà cung cấp AI tham gia cơ chế này. Một dòng lệnh thay cho cả danh sách dài.

Cơ chế rất cụ thể: nếu website dùng token này để chọn không cho phép huấn luyện AI, và không nêu tên Google-Extended một cách rõ ràng, Google dự kiến sẽ hiểu điều đó tương đương với việc chặn Google-Extended. Các nhà cung cấp AI khác có thể xử lý theo cùng logic như vậy.

Điểm tôi thấy thực tế nhất là: bạn có thể chọn chặn tất cả một cách gọn gàng, hoặc chọn tỉ mỉ cho từng bên. Các cơ chế riêng của từng công ty vẫn tiếp tục hoạt động song song, như lệnh Google-Extended vẫn là lớp tinh chỉnh dành riêng cho Google.

Vì sao một tín hiệu chung lại đáng để chờ đợi?

Hãy nhớ lại cảm giác năm 2023. Mỗi tuần lại có thêm một AI crawler mới, mỗi bên một tên, mỗi tên một cách viết, tài liệu nằm rải rác vài nơi. Chủ website, đặc biệt là người làm một mình, không thể theo dõi nổi. Kết quả thường thấy là hai kiểu: chặn tràn lan cho chắc, hoặc buông xuôi vì không biết đường nào mà lần.

Một tín hiệu chung xử lý đúng gốc vấn đề đó — chi phí nhận thức. Không ai cần thành chuyên gia trong từng hãng AI để bảo vệ nội dung của mình.

Một tín hiệu tốt không phải tín hiệu nói được nhiều, mà là tín hiệu người bình thường hiểu được và dám dùng.

Google-Extended không biến mất — và đây là chỗ dễ hiểu sai

Nhiều bạn đọc tiêu đề xong sẽ nghĩ: “Vậy là sắp có lệnh mới thay Google-Extended”. Không phải. Nội dung nguồn nói rõ các kiểm soát riêng theo từng công ty sẽ tiếp tục hoạt động bên cạnh tín hiệu chung này.

Cách hình dung dễ nhất là hai lớp. Lớp trên là quyết định lớn: tôi có cho phép nội dung của tôi dùng cho huấn luyện AI hay không. Lớp dưới là tinh chỉnh: với riêng Google thì sao, với một nhà cung cấp cụ thể khác thì sao.

Việc giữ cả hai lớp là hợp lý. Một tiêu chuẩn chung cần thời gian mới đủ trưởng thành, và trong lúc chờ, người đã cấu hình kỹ từng dòng lệnh không nên bị đẩy về con số không. Nếu bạn đang dùng Google-Extended, cứ giữ nguyên.

Nội dung của bạn trên Gemini Apps: một khác biệt đáng cân nhắc

Có một chi tiết dễ bị lướt qua nhưng lại ảnh hưởng trực tiếp tới traffic. Google cho biết những website cho phép rõ ràng với Google-Extended thì có điều kiện xuất hiện trong câu trả lời và nhận lượt nhấp thông qua grounding trong Gemini Apps.

Nói cách khác, quyết định về AI training không chỉ là câu chuyện “cho hay không cho dùng dữ liệu”. Nó còn liên quan đến việc thương hiệu của bạn có mặt hay không trong một bề mặt tìm kiếm mới, nơi người dùng đang dần quen với việc hỏi thẳng AI.

• Chặn toàn bộ nếu bạn bảo vệ nội dung gốc tuyệt đối và chấp nhận mất phần hiển thị đó.
• Mở toàn bộ nếu bạn cần hiện diện, chấp nhận đánh đổi dữ liệu.
• Chặn training nhưng cho hiển thị nếu bạn muốn kiểm soát dữ liệu huấn luyện mà vẫn giữ cơ hội nhận click.

Liên quan gì đến luật châu Âu và cả ngành?

Đề xuất này được Google nói là nhất quán với Bộ quy tắc thực hành cho nhà cung cấp mô hình AI đa dụng (GPAI) thuộc EU AI Act, trong đó robots.txt được công nhận là phương thức chính để nhà xuất bản web bày tỏ lựa chọn ở dạng máy đọc được.

Bản dự thảo cũng được mô tả là phản ánh góp ý từ nhà xuất bản, tổ chức xã hội dân sự và cơ quan quản lý. Việc nhiều nhà cung cấp AI lớn cùng tham gia sẽ là điều kiện để biến nó thành một tiêu chuẩn xuyên ngành, bền và ổn định.

Về thời điểm: Google đặt mục tiêu hỗ trợ cơ chế này cùng các nhà cung cấp AI khác trong năm 2027, và sẽ cập nhật tiến độ. Đây là một lời hẹn, chưa phải một thứ bấm nút là chạy được ngay hôm nay.

Việc nên làm ngay, và điều đừng vội làm

Tin này chưa buộc bạn phải sửa gì ngay lập tức, nhưng nó là dịp tốt để dọn lại phần cấu hình đang bị bỏ quên. Rất nhiều robots.txt trên internet hiện nay là một mớ lệnh copy từ đâu đó, không ai nhớ vì sao mình viết.

1. Mở robots.txt và đọc lại từng dòng. Ghi chú bên cạnh lý do cho mỗi dòng liên quan đến AI.
2. Xác định rõ bạn đang dùng Google-Extended hay chưa, và bạn có thực sự muốn thế không.
3. Theo dõi thông báo chính thức của Google trong năm 2027 trước khi thêm bất kỳ token mới nào.

Ngược lại, có hai việc nên tránh. Một là đừng dán vào file những khối lệnh bạn chưa hiểu, vì một dấu hoa thị sai chỗ có thể chặn nhầm cả công cụ tìm kiếm. Hai là đừng đưa ra quyết định chặn hoàn toàn chỉ vì bực bội với AI — hãy tính đến hệ quả hiện diện thương hiệu mà chính Google vừa nêu.

Những khoảng trống còn lại

Nói thẳng, đây vẫn là một bản dự thảo. Từ vựng của AIPREF mới hoàn thiện phần định nghĩa AI training, các phần còn lại vẫn đang được thảo luận đa bên. Mức độ tham gia của các nhà cung cấp AI lớn cũng chưa được liệt kê cụ thể.

Với người làm web, điều này có nghĩa: đừng xem tín hiệu chung là tấm khiên tuyệt đối. Nó chỉ có giá trị khi đối tác bên kia đồng ý tôn trọng. Vì vậy, bên cạnh robots.txt, bạn vẫn nên giữ các lớp bảo vệ khác và một chiến lược nội dung đủ tốt để việc bị dùng hay không bị dùng không còn là nỗi lo duy nhất.

Tôi vẫn tin đây là bước đi đúng hướng. Một file cấu hình nhỏ, vài dòng lệnh ngắn, nhưng phía sau là cuộc đàm phán dài về việc ai được dùng nội dung của ai, và ai phải xin phép.

Bạn thì sao? Website của bạn hiện đang chặn AI training, mở toàn bộ, hay chặn mà không nhớ lý do? Nếu bạn đang phải chọn giữa việc bảo vệ nội dung và xuất hiện trong câu trả lời của Gemini Apps, bạn sẽ nghiêng về bên nào? Để lại một bình luận nhé — tôi rất tò mò xem cộng đồng mình đang nghĩ khác nhau thế nào ở điểm này. Và nếu bạn thấy bài viết hữu ích, cứ lưu lại hoặc gửi cho đồng nghiệp đang loay hoay với robots.txt, rồi quay lại đây thảo luận tiếp cùng chúng tôi.