ERNIE 2.0 là một khung đào tạo trước liên tục để hiểu ngôn ngữ, trong đó các nhiệm vụ trước khi đào tạo có thể được xây dựng và học hỏi dần dần thông qua học tập đa tác vụ. Trong khung này, các tác vụ tùy chỉnh khác nhau có thể được giới thiệu tăng dần bất cứ lúc nào. Ví dụ, các tác vụ bao gồm dự đoán thực thể được đặt tên, nhận dạng quan hệ diễn ngôn, dự đoán thứ tự câu được tận dụng để cho phép các mô hình học các biểu diễn ngôn ngữ.
Nhiệm vụ trước khi đào tạo
Chúng tôi xây dựng một số nhiệm vụ để nắm bắt các khía cạnh khác nhau của thông tin trong tập đoàn đào tạo:
Nhiệm vụ nhận biết từ: để xử lý thông tin từ vựng
Nhiệm vụ nhận biết cấu trúc: để nắm bắt thông tin cú pháp
Nhiệm vụ nhận biết ngữ nghĩa: phụ trách các tín hiệu ngữ nghĩa
Đồng thời, ERINE 2.0 cung cấp nhiệm vụ nhúng để mô hình hóa đặc tính của các nhiệm vụ khác nhau. Chúng tôi đại diện cho các nhiệm vụ khác nhau với một ID từ 0 đến N. Mỗi ID nhiệm vụ được gán cho một nhiệm vụ nhúng duy nhất.
Nhiệm vụ trước khi đào tạo
Chúng tôi xây dựng một số nhiệm vụ để nắm bắt các khía cạnh khác nhau của thông tin trong tập đoàn đào tạo:
Nhiệm vụ nhận biết từ: để xử lý thông tin từ vựng
Nhiệm vụ nhận biết cấu trúc: để nắm bắt thông tin cú pháp
Nhiệm vụ nhận biết ngữ nghĩa: phụ trách các tín hiệu ngữ nghĩa
Đồng thời, ERINE 2.0 cung cấp nhiệm vụ nhúng để mô hình hóa đặc tính của các nhiệm vụ khác nhau. Chúng tôi đại diện cho các nhiệm vụ khác nhau với một ID từ 0 đến N. Mỗi ID nhiệm vụ được gán cho một nhiệm vụ nhúng duy nhất.
Comments
Post a Comment