You can translate the question and the replies:

Bulk Data Load - Denodo8.0 DBFS

I am configured bulk data load API with databricks as cache and configured databricks cli (dbfs) in our denodo linux server..it successful when testing Listing HDFS URI contents ... OK Creating HDFS URI temporary directory ... OK Creating table ... OK Uploading file to HDFS ... OK Querying table ... OK Dropping table ... OK Deleting HDFS URI temporary directory ... OK Data movement succeeded when checking the folder in databricks under /mnt/foldername the parquet format should have created in table format in databricks but its empty. When checking show details its creating table and getting deleted. How to overcome this? Product name: Spark SQL Product version: 2.5.0 ################################################################################ # Listing HDFS URI contents # # /usr/local/bin/dbfs ls dbfs:/mnt/denodo_mpp/ # # SUCCESS ################################################################################ STDOUT > ################################################################################ # Creating HDFS URI temporary directory # # /usr/local/bin/dbfs mkdirs dbfs:/mnt/denodo_mpp/vdb_1615479846891 # # SUCCESS ################################################################################ ################################################################################ # Creating table # # CREATE TABLE vdb_1615479846891 (expirationDate BIGINT, rowStatus STRING ) USING PARQUET OPTIONS('path'='dbfs:/mnt/denodo_mpp/vdb_1615479846891') # # SUCCESS ################################################################################ -1 ################################################################################ # Describing table # # SHOW CREATE TABLE vdb_1615479846891 # # SUCCESS ################################################################################ CREATE TABLE `default`.`vdb_1615479846891` ( `expirationDate` BIGINT, `rowStatus` STRING) USING PARQUET LOCATION 'dbfs:/mnt/denodo_mpp/vdb_1615479846891' ################################################################################ # Inserting into table # # INSERT INTO vdb_1615479846891 VALUES (0, 'zero') # # SUCCESS ################################################################################ -1 ################################################################################ # Uploading file to HDFS # # /usr/local/bin/dbfs cp /opt/denodo/Denodo8.0/work/vdp/pipes/vdb_1615479846891.parquet dbfs:/mnt/denodo_mpp/vdb_1615479846891/ # # SUCCESS ################################################################################ ################################################################################ # Executing post insertion clause # # REFRESH TABLE vdb_1615479846891 # # SUCCESS ################################################################################ -1 ################################################################################ # Listing table HDFS URI contents # # /usr/local/bin/dbfs ls dbfs:/mnt/denodo_mpp/vdb_1615479846891 # # SUCCESS ################################################################################ STDOUT > _SUCCESS STDOUT > _committed_7017346298760737392 STDOUT > _started_7017346298760737392 STDOUT > part-00000-tid-7017346298760737392-eb19619a-1cf2-4883-b913-aa867b8cbd49-8-1-c000.snappy.parquet STDOUT > vdb_1615479846891.parquet ################################################################################ # Querying table # # SELECT * FROM vdb_1615479846891 # # SUCCESS ################################################################################ 0, zero 1, one ################################################################################ # Dropping table # # DROP TABLE vdb_1615479846891 # # SUCCESS ################################################################################ -1 ################################################################################ # Deleting HDFS URI temporary directory # # /usr/local/bin/dbfs rm -r dbfs:/mnt/denodo_mpp/vdb_1615479846891 # # SUCCESS ################################################################################ STDOUT > STDOUT > Delete finished successfully. Data movement succeeded Click "Show Details" for more information.
user
11-03-2021 11:30:54 -0500

1 Answer

Hi, The Test Bulk Load utility available in the *Read & Write* tab of the Distributed File System based JDBC data sources is to ensure that the configuration settings provided in ‘Use bulk data load APIs’ option are valid. So, when I click on the Test Bulk Load option, it performs series of steps like create the table directory, create the table, describe the table, execute insert into table, generate the parquet file, place the parquet file in the table directory, list the table directory, query the table, and after those steps, the utility always drops the table and its directory. Having said the above, it is the expected behavior that the tables, files, and the directory created as part of the testing process will be deleted. You can take a look at the [**Bulk Data Load**](https://community.denodo.com/docs/html/browse/latest/en/vdp/administration/bulk_data_load/bulk_data_load) and [**Data Bricks**](https://community.denodo.com/docs/html/browse/8.0/en/vdp/administration/bulk_data_load/databricks#databricks) section of Virtual DataPort Administration Guide and for more information. Hope this helps!
Denodo Team
15-03-2021 04:47:49 -0400
You must sign in to add an answer. If you do not have an account, you can register here