EnglishRoberta 构造函数

定义

重要

一些信息与预发行产品相关，相应产品在发行之前可能会进行重大修改。对于此处提供的信息，Microsoft 不作任何明示或暗示的担保。

EnglishRoberta(Stream, Stream, Stream)	构造用于英语 Robert 模型的 tokenizer 对象。
EnglishRoberta(String, String, String)	构造用于英语 Robert 模型的 tokenizer 对象。

构造用于英语 Robert 模型的 tokenizer 对象。

public EnglishRoberta(System.IO.Stream vocabularyStream, System.IO.Stream mergeStream, System.IO.Stream highestOccurrenceMappingStream);

new Microsoft.ML.Tokenizers.EnglishRoberta : System.IO.Stream * System.IO.Stream * System.IO.Stream -> Microsoft.ML.Tokenizers.EnglishRoberta

Public Sub New (vocabularyStream As Stream, mergeStream As Stream, highestOccurrenceMappingStream As Stream)

包含字符串键字典及其 ID 的 JSON 文件的流。

包含令牌对列表的文件流。

将原始 GPT-2 模型 ID 重新映射到高匹配项排名和值。

构造用于英语 Robert 模型的 tokenizer 对象。

public EnglishRoberta(string vocabularyPath, string mergePath, string highestOccurrenceMappingPath);

new Microsoft.ML.Tokenizers.EnglishRoberta : string * string * string -> Microsoft.ML.Tokenizers.EnglishRoberta

Public Sub New (vocabularyPath As String, mergePath As String, highestOccurrenceMappingPath As String)

包含字符串键字典及其 ID 的 JSON 文件路径。

包含令牌的对列表的文件路径。

将原始 GPT-2 模型 ID 重新映射到高匹配项排名和值。