Podręcznik interfejsu wiersza poleceń Beko Brh90cb

• Artykuł
01/23/2023
• Czas czytania: 8 min

Interfejs wiersza polecenia (CLI) usługi Databricks zapewnia łatwy w użyciu interfejs do platformy Azure Databricks. Projekt open source jest hostowany w usłudze GitHub. Interfejs wiersza polecenia jest oparty na interfejsie API REST usługi Databricks i jest zorganizowany w grupy poleceń na podstawie podstawowych punktów końcowych.

Interfejs wiersza polecenia usługi Databricks umożliwia wykonywanie takich czynności jak:

• Aprowizuj zasoby obliczeniowe w obszarach roboczych usługi Azure Databricks.
• Uruchom zadania przetwarzania danych i analizy danych.
• Wyświetlanie listy, importowanie i eksportowanie notesów i folderów w obszarach roboczych.

Ważne

Ten interfejs wiersza polecenia podlega aktywnemu rozwojowi i jest udostępniany jako eksperymentalny klient. Oznacza to, że interfejsy nadal mogą ulegać zmianie.

Konfigurowanie interfejsu wiersza polecenia

W tej sekcji wymieniono wymagania interfejsu wiersza polecenia oraz opisano sposób instalowania i konfigurowania środowiska w celu uruchomienia interfejsu wiersza polecenia.

Wymagania

• Python 3 — 3. 6 i nowsze

• Python 2 — 2. 7. 9 i nowsze

  W systemie macOS domyślna instalacja języka Python 2 nie implementuje protokołu TLSv1_2 i uruchamiania interfejsu wiersza polecenia przy użyciu tej instalacji języka Python powoduje błąd: AttributeError: 'module' object has no attribute 'PROTOCOL_TLSv1_2'. Użyj oprogramowania Homebrew, aby zainstalować wersję środowiska Python obsługującą protokół ssl. PROTOCOL_TLSv1_2.

  Ograniczenia

  Używanie interfejsu wiersza polecenia usługi Databricks z kontenerami magazynu obsługującymi zaporę nie jest obsługiwane. Firma Databricks zaleca używanie usługi Databricks Connect lub narzędzia az storage.

  Instalowanie interfejsu wiersza polecenia

  Uruchom pip install databricks-cli polecenie przy użyciu odpowiedniej wersji pip instalacji języka Python:

  pip install databricks-cli

  Aktualizowanie interfejsu wiersza polecenia

  Uruchom pip install databricks-cli --upgrade polecenie przy użyciu odpowiedniej wersji pip instalacji języka Python:

  pip install databricks-cli --upgrade
  Aby wyświetlić listę wersji aktualnie zainstalowanego interfejsu wiersza polecenia, uruchom polecenie databricks --version (lub databricks -v):
  databricks --version# Or...databricks -v
    Konfigurowanie uwierzytelniania
  Uwaga
  Najlepszym rozwiązaniem w zakresie zabezpieczeń w przypadku uwierzytelniania za pomocą zautomatyzowanych narzędzi, systemów, skryptów i aplikacji usługa Databricks zaleca używanie tokenów dostępu należących do jednostek usługi zamiast użytkowników obszaru roboczego. Aby utworzyć tokeny dostępu dla jednostek usługi, zobacz Zarządzanie tokenami dostępu dla jednostki usługi. 
  Przed uruchomieniem poleceń interfejsu wiersza polecenia należy skonfigurować uwierzytelnianie. Aby uwierzytelnić się w interfejsie wiersza polecenia, możesz użyć tokenu dostępu osobistego usługi Azure Databricks lub tokenu usługi Azure Active Directory (Azure AD). 
  Domyślnie następujące polecenia tworzą plik profilów konfiguracji o nazwie . databrickscfg z profilem konfiguracji o nazwie DEFAULT w tym nowym pliku. . databrickscfg Jeśli plik już istnieje, profil konfiguracji tego pliku DEFAULT zostanie zastąpiony nowymi danymi. Aby zamiast tego utworzyć profil konfiguracji o innej nazwie, zobacz Profile połączeń. 
    Konfigurowanie uwierzytelniania przy użyciu tokenu Azure AD
  Aby skonfigurować interfejs wiersza polecenia przy użyciu tokenu usługi Azure AD wygeneruj token usługi Azure AD i zapisz go w zmiennej środowiskowej DATABRICKS_AAD_TOKEN. 
  Uruchom następujące polecenie:
  databricks configure --aad-token
  Polecenie generuje następującą instrukcję:
  Databricks Host (should begin with https://):
  Wprowadź adres URL dla obszaru roboczego z formatem https://adb-<workspace-id>. <random-number>. azuredatabricks. net. Aby uzyskać adres URL dla obszaru roboczego, zobacz Adres URL dla obszaru roboczego. 
  Po wykonaniu monitu poświadczenia dostępu są przechowywane w pliku ~/. databrickscfg w systemach Unix, Linux lub macOS lub %USERPROFILE%\. databrickscfg Windows. Plik zawiera domyślny wpis profilu:
  [DEFAULT]host = <workspace-URL>token = <Azure-AD-token>
  Konfigurowanie uwierzytelniania za pomocą osobistego tokenu dostępu usługi Databricks
  Aby skonfigurować interfejs wiersza polecenia do korzystania z osobistego tokenu dostępu, uruchom następujące polecenie:
  databricks configure --token
  Polecenie rozpoczyna się od wystawienia wiersza polecenia:
  Polecenie kontynuuje, wydając monit o wprowadzenie osobistego tokenu dostępu:
  Token:
  Po wykonaniu monitów poświadczenia dostępu są przechowywane w pliku ~/. Plik zawiera domyślny wpis profilu:
  token = <personal-access-token>
  W przypadku interfejsu wiersza polecenia w wersji 0. 8. 1 lub nowszej można zmienić ścieżkę tego pliku, ustawiając zmienną środowiskową DATABRICKS_CONFIG_FILE. 
  Unix, linux, macos
  export DATABRICKS_CONFIG_FILE=<path-to-file>
  Windows
  setx DATABRICKS_CONFIG_FILE "<path-to-file>" /M
  Począwszy od interfejsu wiersza polecenia 0. 17. 2 interfejs wiersza polecenia nie działa z plikiem. netrc. Możesz mieć . netrc plik w środowisku do innych celów, ale interfejs wiersza polecenia nie będzie używać tego . netrc pliku. 
  Interfejs wiersza polecenia w wersji 0. 0 lub nowszej obsługuje następujące zmienne środowiskowe usługi Azure Databricks:
  DATABRICKS_HOST
  DATABRICKS_TOKEN
  Ustawienie zmiennej środowiskowej ma pierwszeństwo przed ustawieniem w pliku konfiguracji. 
  Testowanie konfiguracji uwierzytelniania
  Aby sprawdzić, czy uwierzytelnianie zostało poprawnie skonfigurowane, możesz uruchomić polecenie, takie jak następujące, zastępując nazwę <someone@example. com> użytkownika obszaru roboczego usługi Azure Databricks:
  databricks workspace ls /Users/<someone@example. com>
  W przypadku powodzenia to polecenie wyświetla listę obiektów w określonej ścieżce obszaru roboczego. 
    Profile połączenia
  Konfiguracja interfejsu wiersza polecenia usługi Databricks obsługuje wiele profilów połączeń. Tej samej instalacji interfejsu wiersza polecenia usługi Databricks można używać do wykonywania wywołań interfejsów API w wielu obszarach roboczych usługi Azure Databricks. 
  Aby dodać profil połączenia, określ unikatową nazwę profilu:
  databricks configure [--token | --aad-token] --profile <profile-name>
  Plik . databrickscfg zawiera wpis profilu korezonowania:
  [<profile-name>]token = <token>
  Aby użyć profilu połączenia:
  databricks <group> <command> --profile <profile-name>
  Jeśli --profile <profile-name> nie zostanie określony, zostanie użyty profil domyślny. Jeśli nie znaleziono profilu domyślnego, zostanie wyświetlony monit o skonfigurowanie interfejsu wiersza polecenia przy użyciu profilu domyślnego. 
  Testowanie profilów połączeń
  Aby sprawdzić, czy profile połączeń są poprawnie skonfigurowane, możesz uruchomić polecenie, takie jak następujące, zastępując nazwę <someone@example. com> użytkownika obszaru roboczego usługi Azure Databricks i <DEFAULT> jedną z nazw profilów połączenia:
  databricks workspace ls /Users/<someone@example. com> --profile <DEFAULT>
  W przypadku powodzenia to polecenie wyświetla listę obiektów w określonej ścieżce obszaru roboczego w obszarze roboczym dla określonego profilu połączenia. Uruchom to polecenie dla każdego profilu połączenia, który chcesz przetestować. 
    Grupy poleceń aliasów
  Czasami może być niewygodne, aby przed każdym wywołaniem interfejsu wiersza polecenia umieszczać prefiks z nazwą grupy poleceń, na przykład databricks workspace ls. Aby ułatwić korzystanie z interfejsu wiersza polecenia, możesz utworzyć alias grup poleceń w celu skrócenia poleceń.Aby na przykład skrócić databricks workspace ls do dw ls w powłoce Bourne ponownie, można dodać alias dw="databricks workspace" do odpowiedniego profilu powłoki bash. Zazwyczaj ten plik znajduje się w folderze ~/. bash_profile. 
  Porada
  Usługa Azure Databricks już aliasy do dbfsplatformy databricks fs; databricks fs ls i dbfs ls są równoważne. 
  Korzystanie z interfejsu wiersza polecenia
  W tej sekcji opisano, jak uzyskać pomoc dla interfejsu wiersza polecenia, przeanalizować dane wyjściowe interfejsu wiersza polecenia i wywołać polecenia w poszczególnych grupach poleceń. 
  Wyświetlanie pomocy dla grupy poleceń interfejsu wiersza polecenia
  Listę podpolecenia dla dowolnej grupy poleceń można wyświetlić, uruchamiając polecenie databricks <group> --help (lub databricks <group> -h). Na przykład wyświetlisz listę podpolecenia interfejsu wiersza polecenia systemu plików DBFS, uruchamiając polecenie databricks fs -h:
  databricks fs -h
  Wyświetlanie podpolecenia interfejsu wiersza polecenia
  Zostanie wyświetlona lista pomocy dla podpolecenia, uruchamiając polecenie databricks <group> <subcommand> --help (lub databricks <group> <subcommand> -h). Na przykład wyświetlisz listę pomocy dla podpolecenia kopiowania plików DBFS, uruchamiając polecenie databricks fs cp -h:
  databricks fs cp -h
    Używanie narzędzia jq, aby przeanalizować dane wyjściowe interfejsu wiersza polecenia
  W przypadku niektórych poleceń interfejsu wiersza polecenia usługi Databricks w interfejsie API punktu końcowego odpowiedź ma format JSON. Czasami warto przeanalizować części odpowiedzi JSON w celu wprowadzenia do innych poleceń. Aby na przykład skopiować definicję zadania, należy użyć settings pola databricks jobs get polecenia i użyć go jako argumentu databricks jobs create polecenia. W takich przypadkach zalecamy użycie narzędzia jq. 
  Na przykład następujące polecenie wyświetla ustawienia zadania o identyfikatorze 233. 
  databricks jobs list --output JSON | jq '. jobs[] | select(. job_id == 233) |. settings'
  {"name": "Quickstart","new_cluster": {"spark_version": "7. 5. x-scala2. 12","spark_env_vars": {"PYSPARK_PYTHON": "/databricks/python3/bin/python3"},"num_workers": 8,... },"email_notifications": {},"timeout_seconds": 0,"notebook_task": {"notebook_path": "/Quickstart"},"max_concurrent_runs": 1}
  W innym przykładzie następujące polecenie wyświetla nazwy i identyfikatory wszystkich dostępnych klastrów w obszarze roboczym:
  databricks clusters list --output JSON | jq '[. clusters[] | { name:. cluster_name, id:. cluster_id}]'
  [{"name": "My Cluster 1","id": "1234-567890-grip123"},"name": "My Cluster 2","id": "2345-678901-patch234"}]
  Instalację można zainstalować jq na przykład w systemie macOS przy użyciu Homebrew z brew install jq systemem Windows lub w systemie Windows przy użyciu narzędzia Chocolatey z choco install jqprogramem. Aby uzyskać więcej informacji na temat narzędzia jq, zobacz Podręcznik dotyczący jq. 
  Parametry ciągu JSON
  Parametry ciągów są obsługiwane inaczej w zależności od używanego systemu operacyjnego:
  Unix, linux, macos
  Parametry ciągu JSON należy ująć w apostrofy. Przykład:
  databricks jobs run-now --job-id 9 --jar-params '["20180505", "alantest"]'
  Windows
  Parametry ciągu JSON należy ująć w cudzysłów, a znaki cudzysłowu wewnątrz ciągu muszą być poprzedzone znakiem \. Przykład:
  databricks jobs run-now --job-id 9 --jar-params "[\"20180505\", \"alantest\"]"
  Rozwiązywanie problemów
  Poniższe sekcje zawierają wskazówki dotyczące rozwiązywania typowych problemów z interfejsem wiersza polecenia usługi Databricks. 
  Korzystanie z EOF z databricks configure nie działa
  W przypadku interfejsu wiersza polecenia usługi Databricks w wersji 0. 12. 0 lub nowszej przy użyciu sekwencji końca pliku (EOF) w skry skrycie w celu przekazania parametrów do databricks configure polecenia nie działa. Na przykład następujący skrypt powoduje, że interfejs wiersza polecenia usługi Databricks ignoruje parametry i nie jest zgłaszany żaden komunikat o błędzie:
  # Do not do this.databricksUrl=<per-workspace-url>databricksToken=<personal-access-token-or-Azure-AD-token>databricks configure --token << EOF$databricksUrl$databricksTokenEOF
  Aby rozwiązać ten problem, wykonaj jedną z następujących czynności:
  Użyj jednej z pozostałych opcji konfiguracji programowej zgodnie z opisem w temacie Konfigurowanie uwierzytelniania. 
  Ręcznie dodaj host wartości i token do . databrickscfg pliku zgodnie z opisem w temacie Konfigurowanie uwierzytelniania. 
  Obniżyć poziom instalacji interfejsu wiersza polecenia usługi Databricks do wersji 0. 11. 0 lub nowszej i ponownie uruchomić skrypt. 
  Polecenia interfejsu wiersza polecenia
  Interfejs wiersza polecenia zasad klastra
  Interfejs wiersza polecenia klastrów
  Interfejs wiersza polecenia DBFS
  Interfejs wiersza polecenia usługi Delta Live Tables
  Interfejs wiersza polecenia grup
  Interfejs wiersza polecenia pul wystąpień
  Interfejs wiersza polecenia zadań
  Interfejs wiersza polecenia bibliotek
  Interfejs wiersza polecenia repozytoriów
  Uruchamia interfejs wiersza polecenia
  Interfejs wiersza polecenia wpisów tajnych
  Interfejs wiersza polecenia stosu
  Interfejs wiersza polecenia tokenów
  Interfejs wiersza polecenia wykazu aparatu Unity
  Interfejs wiersza polecenia obszaru roboczego