ai_extract

Extrai dados estruturados de uma coluna de documento usando IA/LLM.

Para a função SQL do Databricks correspondente, veja ai_extract função.

Sintaxe

from pyspark.sql import functions as dbf

dbf.ai_extract(col=<col>, schema=<schema>, options=<options>)

Parameters

Parâmetro Tipo Description
col pyspark.sql.Column ou str Uma coluna contendo o conteúdo do documento a extrair.
schema dict ou list Um dito em Python (nome de campo para {"type": ..., "description": ...}) ou lista de cadeias de nomes de campo. Serializado automaticamente para JSON.
options dict, opcional Um dicionário de opções para controlar o comportamento de extração.

Returns

pyspark.sql.Column: Uma nova coluna de VariantType contendo os campos extraídos.

Examples

df.select(ai_extract("text", {"name": {"type": "string", "description": "Name"}}))
df.select(ai_extract("text", ["name", "age"]))
  • Last updated on