กําหนดค่า PostgreSQL ในกิจกรรมการคัดลอก

บทความนี้สรุปวิธีการใช้กิจกรรมการคัดลอกในไปป์ไลน์เพื่อคัดลอกข้อมูลจากและไปยัง PostgreSQL

การกําหนดค่าที่ได้รับการสนับสนุน

สําหรับการกําหนดค่าของแต่ละแท็บภายใต้กิจกรรมการคัดลอก ให้ไปที่ส่วนต่อไปนี้ตามลําดับ

  • ทั่วไปเกี่ยวกับ
  • แหล่งข้อมูลของ
  • จุดหมาย
  • การแมป
  • การตั้งค่า

ทั่วไป

โปรดดูคําแนะนํา การตั้งค่า ทั่วไปของ เพื่อกําหนดค่าแท็บ การตั้งค่า ทั่วไป ของ

ที่มา

ไปที่แท็บ แหล่งข้อมูล เพื่อกําหนดค่าแหล่งข้อมูลกิจกรรมการคัดลอกของคุณ ดูเนื้อหาต่อไปนี้สําหรับการกําหนดค่าโดยละเอียด

สกรีนช็อตที่แสดงแท็บแหล่งที่มาและรายการของคุณสมบัติ

คุณสมบัติสามประการต่อไปนี้ ที่จําเป็น :

  • การเชื่อมต่อ : เลือกการเชื่อมต่อ PostgreSQL จากรายการการเชื่อมต่อ ถ้าไม่มีการเชื่อมต่ออยู่ ให้สร้างการเชื่อมต่อ PostgreSQL ใหม่
  • ชนิดการเชื่อมต่อ : เลือก PostgreSQL
  • ใช้คิวรี : เลือกจาก ตาราง หรือ คิวรี
    • ถ้าคุณเลือกตาราง :

      • ตาราง: ระบุชื่อของตารางสําหรับอ่านข้อมูล เลือกตารางจากรายการดรอปดาวน์ หรือเลือก ป้อน ด้วยตนเองเพื่อป้อนค่า

        สกรีนช็อตที่แสดงใช้คิวรี - ตาราง

    • ถ้าคุณเลือกคิวรี :

      • คิวรี : ระบุคิวรี SQL แบบกําหนดเองเพื่ออ่านข้อมูล

        สกรีนช็อตที่แสดงใช้คิวรี - คิวรี

        โน้ต

        ชื่อ Schema และตารางแยกตามตัวพิมพ์ใหญ่-เล็ก ใส่ไว้ใน "" (อัญประกาศคู่) ในคิวรี

ภายใต้ ขั้นสูง คุณสามารถระบุเขตข้อมูลต่อไปนี้:

  • หมดเวลาของคิวรี (นาที): ระบุเวลารอก่อนสิ้นสุดความพยายามในการดําเนินการคําสั่งและสร้างข้อผิดพลาด ค่าเริ่มต้นคือ 120 นาที ถ้าพารามิเตอร์ถูกตั้งค่าสําหรับคุณสมบัตินี้ ค่าที่อนุญาตคือ timespan เช่น "02:00:00" (120 นาที) สําหรับข้อมูลเพิ่มเติม โปรดดู CommandTimeout
  • คอลัมน์เพิ่มเติม: เพิ่มคอลัมน์ข้อมูลเพิ่มเติมเพื่อจัดเก็บเส้นทางสัมพัทธ์หรือค่าคงที่ของไฟล์ต้นฉบับ นิพจน์ได้รับการสนับสนุนสําหรับอย่างหลัง

จุดหมาย

คุณสมบัติต่อไปนี้ได้รับการสนับสนุนสําหรับ PostgreSQL ภายใต้แท็บปลายทางของกิจกรรมการคัดลอก

คุณสมบัติต่อไปนี้ เป็นสิ่งจําเป็น:

  • การเชื่อมต่อ : เลือกการเชื่อมต่อ PostgreSQL จากรายการการเชื่อมต่อ
  • ชนิดการเชื่อมต่อ : เลือก PostgreSQL
  • ตาราง: ระบุชื่อของตารางที่จะเขียนข้อมูล เลือกตารางจากรายการดรอปดาวน์ หรือเลือก ป้อน ด้วยตนเอง เพื่อป้อนชื่อสคีมาและชื่อตาราง

ภายใต้ ขั้นสูง คุณสามารถระบุเขตข้อมูลต่อไปนี้:

  • คริปต์คัดลอกล่วงหน้า: ระบุคิวรี SQL สําหรับกิจกรรมการคัดลอกที่จะดําเนินการก่อนที่จะเขียนข้อมูลลงใน PostgreSQL ในการเรียกใช้แต่ละครั้ง คุณสามารถใช้คุณสมบัตินี้ในการล้างข้อมูลที่โหลดไว้ล่วงหน้า
  • การหมดเวลาการเขียนแบทช์: ระบุเวลารอให้การดําเนินการแทรกแบทช์เสร็จสมบูรณ์ก่อนที่จะหมดเวลา ค่าที่อนุญาตคือช่วงเวลา ค่าเริ่มต้นคือ 00:02:00
  • เขียนขนาดแบทช์: ระบุจํานวนแถวที่จะแทรกลงในตาราง PostgreSQL ต่อแบทช์ ค่าที่อนุญาตคือจํานวนเต็ม (จํานวนแถว) ชุดงานใหม่จะถูกสร้างขึ้นเมื่อชุดงานปัจจุบันถึงขนาดชุดงานการเขียน ค่าเริ่มต้นคือ 50000
  • การเชื่อมต่อพร้อมกันสูงสุด: ระบุขีดจํากัดบนของการเชื่อมต่อพร้อมกันที่สร้างขึ้นไปยังที่เก็บข้อมูลระหว่างการเรียกใช้กิจกรรม ระบุค่าเมื่อคุณต้องการจํากัดการเชื่อมต่อที่เกิดขึ้นพร้อมกันเท่านั้น ค่าที่อนุญาตคือจํานวนเต็ม

การทําแผนที่

สําหรับการกําหนดค่าแท็บ Map โปรดดู กําหนดค่าการแมปของคุณภายใต้แท็บการแมป

การตั้งค่า

สําหรับการกําหนดค่าแท็บ การตั้งค่า ให้ไปที่ กําหนดค่าการตั้งค่าอื่น ๆ ของคุณภายใต้แท็บ การตั้งค่า

การแม็ปชนิดข้อมูลสําหรับ PostgreSQL

เมื่อคัดลอกข้อมูลจาก PostgreSQL การแม็ปต่อไปนี้จะถูกใช้จากชนิดข้อมูล PostgreSQL ไปยังชนิดข้อมูลชั่วคราวที่ใช้โดยบริการภายใน

ชนิดข้อมูล PostgreSQL ชนิดข้อมูลบริการชั่วคราว
สมอลลินท์ Int16
จำนวนเต็ม Int32
bigint Int64
ทศนิยม (ความแม่นยํา <= 28) ทศนิยม
ทศนิยม (ความแม่นยํา > 28) ไม่รองรับ
ตัวเลข ทศนิยม
real โสด
สองเท่า คู่
อนุกรมขนาดเล็ก Int16
อนุกรม Int32
บิ๊กเซเรียล Int64
เงิน ทศนิยม
char(n) สตริง
วาร์ชาร์(N) สตริง
SMS สตริง
ไบทีอา ไบต์[]
ประทับเวลา DateTime
การประทับเวลาด้วยเขตเวลา DateTime
วันที่ DateTime
เวลา TimeSpan
เวลาที่มีเขตเวลา DateTimeOffset
ช่วงเวลา TimeSpan
boolean แบบบูลีน
คะแนน สตริง
เส้น สตริง
แอลเซ็ก สตริง
กล่อง สตริง
เส้นทาง สตริง
รูปหลายเหลี่ยม สตริง
วงกลม สตริง
ซีดีอาร์ สตริง
อิเน็ต สตริง
แมคแคดร์ สตริง
แมคแคดอาร์ 8 สตริง
ทีเอสเวกเตอร์ สตริง
ทีเอสคิว สตริง
uuid Guid
json สตริง
เจซอนบี สตริง
อาร์เรย์ สตริง
บิต ไบต์[]
บิตแตกต่างกันไป ไบต์[]
xml สตริง
จํานวนเต็ม[] สตริง
ข้อความ[] สตริง
ตัวเลข[] สตริง
วันที่[] สตริง
ช่วง สตริง
บีพีชาร์ สตริง

เมื่อคัดลอกข้อมูลไปยัง PostgreSQL การแม็ปต่อไปนี้จะใช้จากชนิดข้อมูลชั่วคราวที่ใช้โดยบริการภายในกับชนิดข้อมูล PostgreSQL

ชนิดข้อมูลชั่วคราว ชนิดข้อมูล PostgreSQL
Int16 สมอลลินท์
Int32 จำนวนเต็ม
Int64 bigint
โสด real
คู่ ความแม่นยําสองเท่า
ทศนิยม ตัวเลข, เงิน
แบบบูลีน boolean
สตริง ข้อความ, char(n), varchar(n), ชื่อ, citext, json,jsonb, xml, inet, cidr, macaddr, tsvector, tsquery, point, line, lseg, box, path, polygon, circle, int4range, int8range, numrange, daterange, tsrange, tstzrange, integer[]
อาร์เรย์ไบต์ ไบที, บิต (n), วาร์บิต
Date วันที่
TimeSpan เวลาช่วงเวลา
DateTimeOffset Timetz, การประทับเวลา
DateTime ประทับเวลา
GUID uuid

ข้อมูลสรุปของตาราง

ตารางต่อไปนี้ประกอบด้วยข้อมูลเพิ่มเติมเกี่ยวกับกิจกรรมการคัดลอกใน PostgreSQL

ข้อมูลต้นทาง

ชื่อ คำอธิบาย ค่า ต้องระบุ คุณสมบัติสคริปต์ JSON
การเชื่อมต่อ การเชื่อมต่อของคุณไปยังที่เก็บข้อมูลต้นทาง < > การเชื่อมต่อ PostgreSQL ของคุณ ใช่ การเชื่อมต่อ
ชนิดการเชื่อมต่อ ชนิดการเชื่อมต่อต้นทางของคุณ PostgreSQL ใช่ /
ใช้ คิวรี วิธีการอ่านข้อมูล ใช้ ตาราง เพื่ออ่านข้อมูลจากตารางที่ระบุหรือใช้ คิวรี เพื่ออ่านข้อมูลโดยใช้คิวรี SQL • ตาราง
คิวรี
ใช่ • typeProperties (ต่ํากว่า typeProperties ->source)
  - เค้าร่าง
  -โต๊ะ
•สอบถาม
หมดเวลาคิวรี (นาที) เวลารอก่อนสิ้นสุดการพยายามดําเนินการคําสั่งและสร้างข้อผิดพลาดค่าเริ่มต้นคือ 120 นาที ถ้าพารามิเตอร์ถูกตั้งค่าสําหรับคุณสมบัตินี้ ค่าที่อนุญาตคือ timespan เช่น "02:00:00" (120 นาที) สําหรับข้อมูลเพิ่มเติม โปรดดู CommandTimeout timespan ไม่ใช่ queryTimeout
คอลัมน์เพิ่มเติม เพิ่มคอลัมน์ข้อมูลเพิ่มเติมเพื่อจัดเก็บเส้นทางสัมพัทธ์หรือค่าคงที่ของไฟล์ต้นฉบับ นิพจน์ได้รับการสนับสนุนสําหรับอย่างหลัง •ชื่อ
•ค่า
ไม่ใช่ additionalColumns:
•ชื่อ
•ค่า

ข้อมูลปลายทาง

ชื่อ คำอธิบาย ค่า ต้องระบุ คุณสมบัติสคริปต์ JSON
การเชื่อมต่อ การเชื่อมต่อของคุณไปยังที่เก็บข้อมูลปลายทาง < > การเชื่อมต่อ PostgreSQL ของคุณ ใช่ การเชื่อมต่อ
ตาราง ชื่อของตารางที่จะเขียนข้อมูล เลือกตารางจากรายการดรอปดาวน์ หรือเลือก ป้อน ด้วยตนเอง เพื่อป้อนชื่อสคีมาและชื่อตาราง < ชื่อตาราง > ใช่ ประเภทคุณสมบัติ:
•สคีมา
•โต๊ะ
สคริปต์สําเนาล่วงหน้า คิวรี SQL สําหรับกิจกรรมการคัดลอกที่จะดําเนินการก่อนที่จะเขียนข้อมูลลงใน PostgreSQL ในการเรียกใช้แต่ละครั้ง คุณสามารถใช้คุณสมบัตินี้ในการล้างข้อมูลที่โหลดไว้ล่วงหน้า < สคริปต์ก่อนคัดลอกของคุณ > ไม่ใช่ preCopyScript
พฤติกรรมการเขียน กําหนดลักษณะการเขียน แทรก (ค่าเริ่มต้น) ไม่ใช่ writeBehavior
เขียนขนาดแบทช์ จํานวนแถวที่จะแทรกลงในตาราง PostgreSQL ต่อชุดงาน ค่าที่อนุญาตคือจํานวนเต็ม (จํานวนแถว) < จํานวนเต็ม >
50000 (ค่าเริ่มต้น)
ไม่ใช่ writeBatchSize
การหมดเวลาชุดการเขียน เวลารอสําหรับชุดงานที่แทรกการดําเนินงานเพื่อเสร็จสิ้นก่อนที่จะหมดเวลา ค่าที่อนุญาตคือช่วงเวลา < ช่วงเวลา >
00:02:00 (ค่าเริ่มต้น)
ไม่ใช่ writeBatchTimeout
การเชื่อมต่อพร้อมกันสูงสุด ขีดจํากัดสูงสุดของการเชื่อมต่อพร้อมกันที่สร้างขึ้นกับที่เก็บข้อมูลในระหว่างการเรียกใช้กิจกรรม ค่าที่อนุญาตคือจํานวนเต็ม < จํานวนเต็ม > ไม่ใช่ maxConcurrentConnections
  • ภาพรวมของตัวเชื่อมต่อ PostgreSQL