Configurer la sécurité de PolyBase Hadoop

Cet article fournit des informations de référence pour différents paramètres de configuration qui affectent la connectivité d’APS PolyBase à Hadoop. Pour bénéficier d’un guide pas à pas sur ce qu’est PolyBase, consultez Présentation de PolyBase.

Paramètre Hadoop.RPC.Protection

Une méthode courante pour sécuriser la communication dans un cluster hadoop consiste à changer le paramètre de configuration hadoop.rpc.protection de « Privacy » à « Integrity ». Par défaut, PolyBase suppose que la configuration est définie sur « Authenticate ». Pour remplacer cette valeur par défaut, ajoutez la propriété suivante dans votre fichier core-site.xml. Cette nouvelle configuration permet de transférer en toute sécurité les données entre les nœuds hadoop et la connexion SSL vers SQL Server.

<!-- RPC Encryption information, PLEASE FILL THESE IN ACCORDING TO HADOOP CLUSTER CONFIG -->
   <property>
     <name>hadoop.rpc.protection</name>
     <value></value>
   </property> 

Configuration Kerberos

Notez que quand PolyBase s’authentifie auprès d’un cluster sécurisé Kerberos, le paramètre hadoop.rpc.protection doit être défini sur « Authenticate ». De cette façon, la communication de données entre les nœuds Hadoop n’est pas chiffrée. Afin d’utiliser les paramètres « Privacy » ou « Integrity » pour hadoop.rpc.protection, mettez à jour le fichier core-site.xml sur le serveur PolyBase. Pour plus d’informations, consultez la section précédente Connexion à un cluster Hadoop avec Hadoop.rpc.protection.

Pour vous connecter à un cluster Hadoop sécurisé par Kerberos à l’aide du KDC MIT, les modifications suivantes sont nécessaires sur tous les nœuds de calcul APS et le nœud de contrôle :

1. Recherchez les annuaires de configuration Hadoop dans le chemin d’installation d’APS. En règle générale, le chemin d’accès est le suivant :

   C:\Program Files\Microsoft SQL Server Parallel Data Warehouse\100\Hadoop\conf  
   

2. Recherchez la valeur de configuration côté Hadoop des clés de configuration répertoriées dans le tableau. Sur l’ordinateur Hadoop, recherchez les fichiers dans le répertoire de configuration Hadoop.

3. Copiez les valeurs de configuration dans la propriété de valeur dans les fichiers correspondants sur l’ordinateur SQL Server.

   #	Fichier de configuration	Clé de configuration	Action
   1	core-site.xml	polybase.kerberos.kdchost	Spécifiez le nom d’hôte KDC. Par exemple : kerberos.votre-domaine.com.
   2	core-site.xml	polybase.kerberos.realm	Spécifiez le domaine Kerberos. Par exemple : VOTRE-DOMAINE.COM
   3	core-site.xml	hadoop.security.authentication	Recherchez la configuration côté Hadoop et copiez-la sur l’ordinateur SQL Server. Par exemple : KERBEROS Note de sécurité : KERBEROS doit être écrit en majuscules. Dans le cas contraire, il pourrait ne pas être activé.
   4	hdfs-site.xml	dfs.namenode.kerberos.principal	Recherchez la configuration côté Hadoop et copiez-la sur l’ordinateur SQL Server. Par exemple : hdfs/_HOST@YOUR-REALM.COM
   5	mapred-site.xml	mapreduce.jobhistory.principal	Recherchez la configuration côté Hadoop et copiez-la sur l’ordinateur SQL Server. Par exemple : mapred/_HOST@YOUR-REALM.COM
   6	mapred-site.xml	mapreduce.jobhistory.address	Recherchez la configuration côté Hadoop et copiez-la sur l’ordinateur SQL Server. Par exemple : 10.193.26.174:10020
   7	yarn-site.xml yarn.	yarn.resourcemanager.principal	Recherchez la configuration côté Hadoop et copiez-la sur l’ordinateur SQL Server. Par exemple : yarn/_HOST@YOUR-REALM.COM

core-site.xml

<property>
  <name>polybase.kerberos.realm</name>
  <value></value>
</property>
<property>
  <name>polybase.kerberos.kdchost</name>
  <value></value>
</property>
<property>
    <name>hadoop.security.authentication</name>
    <value>KERBEROS</value>
</property>

hdfs-site.xml

<property>
  <name>dfs.namenode.kerberos.principal</name>
  <value></value> 
</property>

mapred-site.xml

<property>
  <name>mapreduce.jobhistory.principal</name>
  <value></value>
</property>
<property>
  <name>mapreduce.jobhistory.address</name>
  <value></value>
</property>

yarn-site.XML

<property>
  <name>yarn.resourcemanager.principal</name>
  <value></value>
</property>

1. Créez un objet d’informations d’identification limité à la base de données pour spécifier les informations d’authentification de chaque utilisateur Hadoop. Consultez Objets T-SQL PolyBase.

Configuration de la zone de chiffrement Hadoop

Si vous utilisez la zone de chiffrement Hadoop, modifiez core-site.xml et hdfs-site.xml comme suit. Indiquez l’adresse IP où le service KMS s’exécute avec le numéro de port correspondant. Le port par défaut pour KMS sur CDH est 16000.

core-site.xml

<property>
  <name>hadoop.security.key.provider.path</name>
  <value>kms://http@<ip address>:16000/kms</value> 
</property>

hdfs-site.xml

<property>
  <name>dfs.encryption.key.provider.uri</name>
  <value>kms://http@<ip address>:16000/kms</value>
</property>
<property>
  <name>hadoop.security.key.provider.path</name>
  <value>kms://http@<ip address>:16000/kms</value>
  </property>

Contenu connexe

• Configurer PolyBase dans Analytics Platform System (PDW) pour accéder à des données externes dans Hadoop