Entrepôt de données 4.0 Notes - acquisition de données commerciales

1 Introduction au commerce électronique

 SKU = Stock Keeping Unit（Unit é de base des stocks）.Abréviation du numéro uniforme du produit,Chaque produit correspond à unSKUNo..

 SPU（Standard Product Unit）：- Oui.Unit é minimale d'agrégation de l'information sur les produits,C'est un groupe.Réutilisable、 Facile à récupérer Ensemble normalisé d'informations pour .

Par exemple：iPhoneXLe téléphone estSPU.Un ensemble d'argent、128GMémoire、Prise en charge du réseau UnicomiPhoneX,C'estSKU.

2 Module d'acquisition de données commerciales

Opérations de base：Oui.MySQLSynchroniser les données d'affaires surHDFSEn haut（Synchronisation par lots et synchronisation en temps réel）

MySQLInstallation

Les paquets etJDBCDrive upload to/opt/software,Total général6- Oui.

[[email protected] ~]$ cd /opt/software/

Trop de paquets compressés,Arrange ça.：

[[email protected] software]$ mkdir flume
[[email protected] software]$ mkdir zookeeper
[[email protected] software]$ mkdir java
[[email protected] software]$ mkdir kafka
[[email protected] software]$ mkdir mysql

[[email protected] software]$ mkdir hadoop
[[email protected] software]$ ll

[[email protected] software]$ mv apache-flume-1.9.0-bin.tar.gz flume/
[[email protected] software]$ mv apache-zookeeper-3.5.7-bin.tar.gz zookeeper/
[[email protected] software]$ mv hadoop-3.1.3.tar.gz hadoop
[[email protected] software]$ mv jdk-8u212-linux-x64.tar.gz java/
[[email protected] software]$ mv kafka_2.11-2.4.1.tgz kafka
[[email protected] software]$ ll

  Effacez tous les fichiers inutiles

 EntréeMySQL,TéléchargerMySQLPaquet d'installation requis

[[email protected] software]$ cd mysql/

Déchargez votre propreMysql-libs（Si vous avez déjà installéMySQL, Pour tout désinstaller ）

[[email protected] mysql]$ rpm -qa | grep -i -E mysql\|mariadb | xargs -n1 sudo rpm -e --nodeps

[[email protected] mysql]$ rpm -qa | grep -i -E mysql\|mariadb

  Si c'est Alibaba Cloud Server, suivez les étapes suivantes

Description： Parce que l'installation d'Alibaba Cloud Server est Linux Version système minimale , Il n'y a pas les outils suivants ,Donc vous devez installer.

（1）DésinstallerMySQLDépendance, Bien qu'il n'y ait pas de MySQL, Mais c'est un pas important

[[email protected] software]# sudo yum remove mysql-libs

（2） Télécharger les dépendances et installer

[[email protected] software]# sudo yum install libaio

[[email protected] software]# sudo yum -y install autoconf 

kDémarrer l'installation：

[[email protected] mysql]$ rpm -qa | grep -i -E mysql\|mariadb | xargs -n1 sudo rpm -e --nodeps

[[email protected] mysql]$ sudo rpm -ivh 02_mysql-community-libs-5.7.16-1.el7.x86_64.rpm

[[email protected] mysql]$ sudo rpm -ivh 03_mysql-community-libs-compat-5.7.16-1.el7.x86_64.rpm

[[email protected] mysql]$ sudo rpm -ivh 04_mysql-community-client-5.7.16-1.el7.x86_64.rp

[[email protected] mysql]$ sudo rpm -ivh 05_mysql-community-server-5.7.16-1.el7.x86_64.rpm

DémarrageMySQL

[[email protected] software]$ sudo systemctl start mysqld

Voir l'état[[email protected] mysql]$ sudo systemctl status mysqld

VoirMySQLMot de passe

[[email protected] software]$ sudo cat /var/log/mysqld.log | grep password

Entrez avec le mot de passe que vous venez de trouver MySQL（Si une erreur est signalée, Ajouter une seule citation au mot de passe ）

 [[email protected] mysql]$ mysql -uroot -p'f&8U;US.yhP#'

Définir un mot de passe complexe（Parce queMySQLPolitique de mot de passe,Ce mot de passe doit être assez complexe）

mysql> set password=password("Qs23=zs32");

ChangementMySQLPolitique de mot de passe

mysql> set global validate_password_length=4;

mysql> set global validate_password_policy=0;

Définir un mot de passe facile à mémoriser

mysql> set password=password("000000");

Configurer la connexion à distance：EntréeMySQLBibliothèque

mysql> use mysql

RequêteuserTableau

mysql> select user, host from user;

ModifieruserTableau,Prends ça.HostLe contenu du tableau est modifié comme suit:%

mysql> update user set host="%" where user="root";

Rafraîchir

mysql> flush privileges;

Sortie

mysql> quit;

Production de données commerciales

ConnexionMySQL

Utilisez unMySQL Le client génère une base de données （Navicat for MySQL）

 

Testez d'abord la connexion ,Connexion réussie,Encore une fois.（ Mon ordinateur central utilise hadoop102,La connexion a échoué,Remplacer parIP L'adresse est connectée avec succès , Je ne sais pas quel lien a mal tourné , Il faut utiliser IP）

 

 

 Début de la mise en œuvre

 

 

 Générer des données commerciales

Inhadoop102De/opt/module/Créer sous le Répertoiredb_logDossiers

[[email protected] module]$ mkdir db_log/

 

 [[email protected] db_log]$ vim application.properties

 

 

[[email protected] db_log]$ java -jar gmall2020-mock-db-2021-01-22.jar

 Écrire les données terminé.

VoirgmallBase de données,Observez s'il y a2020-06-14Les données de

 Déjà généré2020-06-14Le contenu de, Si vous voulez reproduire les données d'autres jours ,Allez - y. application.propertiesTemps de modification,Et1Set As0.