Azure 스토리지에서 ABFSS와 WASBS의 차이점은 무엇입니까?

Azure 스토리지에서 ABFSS와 WASBS의 차이점은 무엇입니까?

ABFS[S] 및 WASB[S]에 사용할 수 있는 정의가 있습니다.하지만 언제 무엇을 사용해야 하는지에 대한 명확한 구분은 없습니다.두 가지 모두에 적합하고 가장 적절한 사용 사례는 무엇입니까?

차이점과 사용 사례는 다음과 같습니다.

ABFS[S]는 일반 Azure 스토리지를 기반으로 하는 Azure Data Lake 스토리지 Gen2에 사용됩니다(Azure 스토리지 계정을 생성하는 동안 계층 네임스페이스를 활성화한 다음 Azure Data Lake 스토리지 Gen2를 생성하는 경우).예를 들어 보겠습니다.

WASB[S]는 일반 Azure 스토리지에 사용됩니다.예를 들어 보겠습니다.

HTTP를 사용하는 Blob 스토리지

애저는 평면 구조의 객체 스토리지인 블롭 스토리지를 도입했습니다.폴더 또는 계층에 대한 개념이 없습니다.파일 이름에 슬래시(/)를 사용하면 계층 구조와 같은 착각이 들 수 있습니다.

HTTP 프로토콜을 사용하는 BLOB 끝점(blob.core.windows.net )을 사용하여 BLOB를 읽고 쓸 수 있습니다.

https://storageaccount.blob.core.windows.net/container/path/to/blob

WASBS가 포함된 Blob 스토리지

Hadoop 애플리케이션이 Zure BLOB 스토리지와 상호 작용하기를 원하는 경우, HDFS 호환성은 WASBS 드라이버를 사용하여 제공되었습니다.이 드라이버는 Hadoop Filesystem 인터페이스에서 요구하는 대로 Azure Blob Storage에서 노출된 객체 저장소 스타일 인터페이스의 파일 시스템 의미를 매핑하는 복잡한 작업을 수행했습니다.

wasbs://containername@accountname.blob.core.windows.net

WASB 드라이버를 사용하면 드라이버를 사용하는 HD Insight와 같은 도구를 동일한 BLOB 끝점(blob.core.windows.net )에 있는 BLOB 스토리지에 연결할 수 있습니다.

ABFSS 포함 ADLS

(별도의 서비스이며 현재는 더 이상 사용되지 않는 ADLS gen 1은 무시하십시오.)

diff b/w blob 스토리지 및 ADLS에 대해 이 답변을 확인합니다.

이어서 파일 및 폴더에 ACL과 같은 기능을 갖춘 계층형 스토리지(폴더 개념)를 지원하는 ADLS Gen2(Azure의 HDFS 오퍼링)가 등장했습니다.계층 네임스페이스 기능이 활성화된 스토리지 계정은 BLOB 저장소에서 ADLS Gen2로 변환됩니다.ADLS gen2와 통신하려면 DFS 끝점(dfs.core.windows.net )이 사용됩니다.

abfss://filesystemname@accountname.dfs.core.windows.net

이제 하둡 애플리케이션은 ABFS 드라이버를 사용하여 ADLS에 연결할 수 있습니다.새로운 DFS 엔드포인트 때문에 드라이버는 이제 매우 효율적이며 드라이버에 복잡한 매핑이 필요하지 않습니다.Hortonworks, HD Insight, zure Databrix와 같은 솔루션은 ABFSS 드라이버를 사용하여 ADLS에 훨씬 효율적으로 연결할 수 있습니다.

또한 전원과 같은 일부 도구도 사용할 수 있습니다.BI는 WASBS 및 ABFSS를 모두 지원합니다.

---

무엇을 사용해야 합니까?

만약 ADLS를 사용한다면,

• Databricks와 같은 Hadoop/Data 처리 도구의 경우 HD Insight는 DFS 엔드포인트에서 ABFSS를 사용해야 합니다.
• ADLS HTTP rest 엔드포인트 문서입니다.필요한 경우 HTTP 호출을 수행합니다.예: 경로 등을 나열하려는 파이썬 앱.
• ADLS는 BLOB 스토리지 위에 구축되므로 BLOB 끝점을 사용하여 데이터를 읽고 쓸 수도 있습니다.

Blob 스토리지를 사용할 경우,

• Hadoop/Data 처리 툴의 경우 BLOB Endpoint의 WASBS를 사용할 수 있습니다.(WASB는 나중에 더 이상 사용되지 않습니다)
• ABFS 드라이버는 상호 호환되며 이 드라이버도 사용할 수 있습니다.
• 다른 사용 사례에서는 특별한 드라이버 없이 HTTP 엔드포인트를 사용할 수 있습니다.예: http endpoint를 사용하여 BLOB 저장소에 파일을 읽고 쓰는 파이썬 앱입니다.

---

• ADLS - Azure 데이터 레이크 스토리지
• WASB - Windows Azure Storage BLOB(암호화되지 않은 액세스 제공)
• WASBS - Windows Azure Storage BLOB Secure(TLS 암호화 액세스)
• ABFS - Azure BLOB 파일 시스템
• ABFSS - Azure BLOB 파일 시스템 보안
• DFS - 분산 파일 시스템

---

업데이트 1:

Microsoft는 Windows Azure Storage BLOB 드라이버(WASB)를 ABFS(Azure BLOB Filesystem Driver)로 대체했습니다.ABFS는 WASB에 비해 많은 이점이 있습니다.새로운 워크로드의 경우 BLOB 스토리지와 Data Lake 모두에 ABFS를 사용합니다.

ABFS는 Azure Blob File System의 약자로, 여기서 언급한 것처럼 ABFS가 최적화되어 있으므로 마이크로소프트는 빅데이터 워크로드에 ABFS를 권장합니다.

WASBS는 Windows Azure Storage Blob의 약자이며 Microsoft는 여기에서 언급한 대로 TLS 암호화 액세스를 제공하는 것을 권장합니다.

언급URL : https://stackoverflow.com/questions/60277545/what-is-the-difference-between-abfss-and-wasbs-in-azure-storage