Fix Databricks HDFS Authentication Error

₹600-1500 INR

Đã hoàn thành

Đã đăng vào khoảng 1 tháng trước

₹600-1500 INR

Thanh toán khi bàn giao

I have an Azure Databricks SQL warehouse that needs to read from an external Hive metastore hosted on HDFS using thrift service. The moment the warehouse tries to reach that store, the job fails with an “authentication failure” coming back from HDFS. I am using a token-based authentication flow rather than Kerberos or a simple username/password combination, and I suspect the problem lies either in how the token is passed or in mismatched Hadoop core-site settings inside Databricks.

Mã dự án: 40290711

Về dự án

3 đề xuất

Dự án từ xa

Hoạt động 1 tháng trước

Bạn muốn kiếm tiền?

Địa chỉ email

Lợi ích khi chào giá trên Freelancer

Thiết lập ngân sách và thời gian

Nhận thanh toán cho công việc

Phác thảo đề xuất của bạn

Miễn phí đăng ký và cháo giá cho công việc

Đã trao cho:

@amy123o

Hello, I understand you are facing a "token-based authentication failure" between Azure Databricks and your external HDFS Hive metastore. This is likely due to a mismatch in the [login to view URL] configurations or the way the delegation token is being passed in the Spark session. I can help you debug and fix this by: Verifying the [login to view URL] and token provider settings. Checking the [login to view URL] and Thrift service connectivity. Ensuring the Hadoop core-site settings within your Databricks cluster are correctly mapped to your HDFS token flow. I have a strong background in SQL, Database Programming, and Data Warehousing. I am available to start right now and can jump on a quick chat to resolve this for you. Best regards, Amit S.

₹1.000 INR trong 1 ngày