Snowpark庫(kù)為在Snowflake中以規(guī)模查詢和處理數(shù)據(jù)提供了直觀的library。使用這個(gè)library中的任意一種語(yǔ)言，你可以構(gòu)建在Snowflake中處理數(shù)據(jù)的應(yīng)用程序，而無(wú)需將數(shù)據(jù)移動(dòng)到應(yīng)用程序代碼運(yùn)行的系統(tǒng)，并作為彈性和無(wú)服務(wù)器Snowflake引擎的一部分進(jìn)行規(guī)模處理。
目前，Snowflake為三種語(yǔ)言提供Snowpark庫(kù)：Java几于、Python和Scala。
Snowpark VS Snowflake Spark Connector
與使用Snowflake Connector for Spark相比沿后，使用Snowpark進(jìn)行開發(fā)具有以下優(yōu)勢(shì)：
- 支持使用專為不同語(yǔ)言而構(gòu)建的庫(kù)和模式與Snowflake內(nèi)部的數(shù)據(jù)進(jìn)行交互沿彭，而不會(huì)犧牲性能或功能。
- 支持使用本地工具（如Jupyter尖滚、VS Code或IntelliJ）編寫Snowpark代碼喉刘。
- 支持對(duì)所有操作（包括Snowflake UDFs）進(jìn)行下推。這意味著Snowpark將所有數(shù)據(jù)轉(zhuǎn)換和繁重的工作下推到Snowflake cloud漆弄，使您能夠高效處理任何大小的數(shù)據(jù)睦裳。
- 無(wú)需在Snowflake之外使用單獨(dú)的集群進(jìn)行計(jì)算。所有計(jì)算都在Snowflake內(nèi)部完成撼唾。規(guī)模和計(jì)算管理由Snowflake處理廉邑。
減少數(shù)據(jù)傳輸
Snowpark操作在服務(wù)器上以惰性方式執(zhí)行，這意味著您可以使用該庫(kù)延遲運(yùn)行數(shù)據(jù)轉(zhuǎn)換倒谷，盡可能晚地在流水線中運(yùn)行蛛蒙，同時(shí)將許多操作批量合并為單個(gè)操作。這減少了客戶端與Snowflake數(shù)據(jù)庫(kù)之間傳輸?shù)臄?shù)據(jù)量渤愁，同時(shí)提高了性能牵祟。
Snowpark中的核心抽象是DataFrame，它表示一組數(shù)據(jù)并提供操作這些數(shù)據(jù)的方法抖格。在客戶端代碼中诺苹，您構(gòu)建一個(gè)DataFrame對(duì)象咕晋，并設(shè)置它來(lái)檢索您想要使用的數(shù)據(jù)（例如，包含數(shù)據(jù)的列收奔，要應(yīng)用的行過(guò)濾器等）掌呜。
在構(gòu)建DataFrame對(duì)象時(shí)，并不會(huì)立即檢索數(shù)據(jù)坪哄。相反站辉，當(dāng)您準(zhǔn)備好檢索數(shù)據(jù)時(shí)，可以執(zhí)行一個(gè)操作來(lái)評(píng)估DataFrame對(duì)象并將相應(yīng)的SQL語(yǔ)句發(fā)送到Snowflake數(shù)據(jù)庫(kù)進(jìn)行執(zhí)行损姜。
>>> # Create a DataFrame with the "id" and "name" columns from the "sample_product_data" table.
>>> # This does not execute the query.
>>> df = session.table("sample_product_data").select(col("id"), col("name"))
>>> # Send the query to the server for execution and
>>> # return a list of Rows containing the results.
>>> results = df.collect()
創(chuàng)建內(nèi)聯(lián)UDF的能力
您可以在Snowpark應(yīng)用程序中內(nèi)聯(lián)創(chuàng)建用戶定義函數(shù)（UDF）。Snowpark可以將您的代碼推送到服務(wù)器上殊霞，在服務(wù)器上對(duì)數(shù)據(jù)進(jìn)行大規(guī)模操作摧阅。這在循環(huán)或批處理功能中非常有用，通過(guò)創(chuàng)建為UDF绷蹲，Snowflake可以在其內(nèi)部以大規(guī)模并行化和應(yīng)用代碼邏輯棒卷。
您可以使用與編寫客戶端代碼相同的語(yǔ)言編寫函數(shù)（例如，在Scala中使用匿名函數(shù)祝钢，在Python中使用lambda函數(shù)）比规。要在Snowflake數(shù)據(jù)庫(kù)中使用這些函數(shù)來(lái)處理數(shù)據(jù)，您可以在自定義代碼中定義和調(diào)用用戶定義的函數(shù)（UDFs）拦英。
Snowpark會(huì)自動(dòng)將自定義UDF的代碼推送到Snowflake數(shù)據(jù)庫(kù)蜒什。當(dāng)您在客戶端代碼中調(diào)用UDF時(shí)，您的自定義代碼將在服務(wù)器上（即數(shù)據(jù)所在的地方）執(zhí)行疤估。您不需要將數(shù)據(jù)傳輸?shù)娇蛻舳艘詧?zhí)行函數(shù)灾常。
