基于 Inception&Yearning 的web可視化 SQL審核平臺

一豺鼻、總述

Inception是集審核综液、執(zhí)行、回滾于一體的一個自動化運維系統(tǒng)儒飒，它是根據(jù)MySQL代碼修改過來的谬莹，用它可以很明確的，詳細的桩了，準確的審核MySQL的SQL語句附帽，它的工作模式和MySQL完全相同，可以直接使用MySQL客戶端來連接井誉，但不需要驗證權限士葫，它相對應用程序（上層審核流程系統(tǒng)等）而言，是一個服務器送悔，在連接時需要指定服務器地址及Inception服務器的端口即可，而它相對要審核或執(zhí)行的語句所對應的線上MySQL服務器來說爪模，是一個客戶端欠啤，它在內部需要實時的連接數(shù)據(jù)庫服務器來獲取所需要的信息，或者直接在在線上執(zhí)行相應的語句及獲取binlog等屋灌，Inception就是一個中間性質的服務洁段。

Inception的架構

Inception提供的功能很豐富，首先共郭，它可以對提交的所有語句的語法分析祠丝，如果語法有問題，都會將相應的錯誤信息返回給審核者除嘹。 還提供語義分析写半，當一個表，庫尉咕，列等信息不正確或者不符合規(guī)范的時候報錯叠蝇，或者使用了一個不存在的對象時報錯等等。 還提供了很多針對SQL規(guī)范性約束的功能年缎，這些DBA都是可以通過系統(tǒng)參數(shù)來配置的悔捶。 更高級的功能是铃慷，可以輔助DBA分析一條查詢語句的性能，如果沒有使用索引或者某些原因導致查詢很慢蜕该，都可以檢查犁柜。

還提供SQL語句的執(zhí)行功能，可執(zhí)行的語句類型包括常用的DML及DDL語句及truncate table等操作堂淡。 Inception 在執(zhí)行 DML 時還提供生成回滾語句的功能馋缅，對應的操作記錄及回滾語句會被存儲在備份機器上面，備份機器通過配置Inception參數(shù)來指定淤齐。

Yearning 是基于Inception的web可視化SQL審核平臺,其本身只提供可視化交互頁面并不具備sql審核的能力股囊。所以必須搭配Inception一起使用。


二更啄、搭建Inception

1稚疹、安裝依賴包

#yum -y install gcc gcc-c++ cmake openssl-devel ncurses-devel MySQL-python git m4

#cd /usr/local/src

#wget http://ftp.gnu.org/gnu/bison/bison-2.5.1.tar.gz

#tar xf bison-2.5.1.tar.gz

#cd bison-2.5.1

#./configure

#make

#make install

2、安裝mysql服務

#rpm -ivh http://repo.mysql.com/mysql-community-release-el7-5.noarch.rpm

#yum -y install mysql-community-server

#systemctl start mysql

3祭务、安裝inception

#cd /app/

#git clone https://github.com/mysql-inception/inception.git

#cd /app/inception

#bash inception_build.sh debug

#mkdir /app/inception/{conf,log,sqls}

4内狗、配置inception

# vi /app/inception/conf/inc.cnf

[inception]

general_log=1

general_log_file=/app/inception/log/inception.log

port=6669

socket=/tmp/inc.socket

character-set-client-handshake=0

character-set-server=utf8

inception_remote_system_password=

inception_remote_system_user=root

inception_remote_backup_port=3306

inception_remote_backup_host=localhost

inception_support_charset=utf8mb4

inception_enable_nullable=0

inception_check_primary_key=1

inception_check_column_comment=1

inception_check_table_comment=1

inception_osc_min_table_size=1

inception_osc_bin_dir=/usr/bin

inception_osc_chunk_time=0.1

inception_enable_blob_type=1

inception_check_column_default_value=1

5啡浊、啟動inception

#nohup /app/inception/debug/mysql/bin/Inception --defaults-file=/app/inception/conf/inc.cnf &

6妒蛇、驗證inception

#mysql -uroot -h127.0.0.1 -P6669

mysql> inception get variables;

#vi /app/inception/sqls/inception.py

#!/usr/bin/python

#-\*-coding: utf-8-\*-

import MySQLdb

sql='/*--user=root;--password=;--host=127.0.0.1;--execute=1;--port=3306;*/\

inception_magic_start;\

use mysql;\

CREATE TABLE adaptive_office(id int);\

inception_magic_commit;'

try:

? ? conn=MySQLdb.connect(host='127.0.0.1',user='',passwd='',db='',port=6669)

? ? cur=conn.cursor()

? ? ret=cur.execute(sql)

? ? result=cur.fetchall()

? ? num_fields = len(cur.description)

? ? field_names = [i[0] for i in cur.description]

? ? print field_names

? ? for row in result:

? ? ? ? print row[0], "|",row[1],"|",row[2],"|",row[3],"|",row[4],"|",row[5],"|",row[6],"|",row[7],"|",row[8],"|",row[9],"|",row[10]

? ? cur.close()

? ? conn.close()

except MySQLdb.Error,e:

? ? print "Mysql Error %d: %s" % (e.args[0], e.args[1])

#python /app/inception/sqls/inception.py


三至壤、搭建Yearning

1枫弟、安裝nginx

#rpm -ivh? http://nginx.org/packages/centos/7/noarch/RPMS/nginx-release-centos-7-0.el7.ngx.noarch.rpm

#yum -y install nginx

2返吻、安裝python3.6

#cd /usr/local/src/

#wget https://www.python.org/ftp/python/3.6.4/Python-3.6.4.tar.xz

#tar -xf Python-3.6.4.tar.xz

#mkdir -p /usr/local/python/3.6.4/lib

#cd Python-3.6.4

#./configure --enable-shared --prefix=/usr/local/python/3.6.4 LDFLAGS="-Wl,-rpath /usr/local/python/3.6.4/lib"

#make

#make install

3性湿、建立數(shù)據(jù)庫

#mysql

mysql> create database Yearning DEFAULT CHARACTER SET utf8 COLLATE utf8_general_ci;

4苦掘、Yearning下載

#cd /app/

#git clone https://github.com/cookieY/Yearning.git

5棍掐、Yearning配置

#vi /app/Yearning/src/deploy.conf

[mysql]

db = Yearning

address = 127.0.0.1

port = 3306

username = root

password =

[host]

ipaddress = 192.168.0.108:80

[Inception]

ip = 127.0.0.1

port = 6669

user = root

password? =

backupdb = 127.0.0.1

backupport = 3306

backupuser = root

backuppassword =

[LDAP]

LDAP_SERVER =

LDAP_SCBASE =

LDAP_DOMAIN =

LDAP_TYPE = 1

[email]

username =

password =

smtp_server =

smtp_port =

[sql]

limit = 100

[webhook]

dingding =

6柱恤、安裝python依賴庫

#cd /app/Yearning/src/

#/usr/local/python/3.6.4/bin/pip3 install -r requirements.txt

7数初、初始化數(shù)據(jù)庫

#/usr/local/python/3.6.4/bin/python3 manage.py makemigrations core && /usr/local/python/3.6.4/bin/python3 manage.py migrate core

8、初始化用戶

#echo "from core.models import Account;Account.objects.create_user(username='admin', password='20151012', group='admin',is_staff=1)" | /usr/local/python/3.6.4/bin/python3 manage.py shell

#echo "from core.models import grained;grained.objects.get_or_create(username='admin', permissions={'person': [], 'ddl': '1', 'ddlcon': [], 'dml': '1', 'dmlcon': [], 'dic': '1', 'diccon': [], 'dicedit': '0', 'user': '1', 'base': '1', 'dicexport': '0'})" |? /usr/local/python/3.6.4/bin/python3 manage.py shell

9梗顺、復制編譯好的靜態(tài)文件到nginx html目錄下

#cp -rf /app/Yearning/webpage/dist/* /usr/share/nginx/html/

# systemctl start nginx

10泡孩、啟動django

#cd /app/Yearning/src/

#nohup /usr/local/python/3.6.4/bin/python3 manage.py runserver 0.0.0.0:8000 &

11、注意事項

默認超級管理用戶只擁有管理頁面的訪問權限,其他的權限需自行增加寺谤！詳情請查看使用說明用戶管理

由于Inception 并不原生支持pymysql仑鸥，所以需更改pymysql相關源碼

注: 在install 文件夾下有已經(jīng)修改的connections.py 和 cursors.py 直接替換即可

#cp /app/Yearning/install/connections.py /usr/local/python/3.6.4/lib/python3.6/site-packages/pymysql/

#cp /app/Yearning/install/cursors.py /usr/local/python/3.6.4/lib/python3.6/site-packages/pymysql/

或直接修改 $PYTHON_HOME/lib/python3.6/site-packages/pymysql下

connections.py 和 cursors.py 兩個文件

找到 connections.py 1108行

ifint(self.server_version.split('.',1)[0]) >=5:self.client_flag|= CLIENT.MULTI_RESULTS

更改為

try:ifint(self.server_version.split('.',1)[0]) >=5:self.client_flag |= CLIENT.MULTI_RESULTSexcept:ifself.server_version.split('.',1)[0] >='Inception2':self.client_flag |= CLIENT.MULTI_RESULTS

找到 cursors.py 345行

ifself._resultand(self._result.has_nextornotself._result.warning_count):return

更改為

ifself._result:return

12、訪問Yearning

http://192.168.0.108

最后編輯于 ：
?著作權歸作者所有,轉載或內容合作請聯(lián)系作者
  • 人面猴
    序言：七十年代末变屁，一起剝皮案震驚了整個濱河市眼俊，隨后出現(xiàn)的幾起案子，更是在濱河造成了極大的恐慌粟关，老刑警劉巖泵琳，帶你破解...
    沈念sama閱讀 219,539評論 6贊 508
  • 死咒
    序言：濱河連續(xù)發(fā)生了三起死亡事件，死亡現(xiàn)場離奇詭異，居然都是意外死亡获列，警方通過查閱死者的電腦和手機谷市，發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,594評論 3贊 396
  • 救了他兩次的神仙讓他今天三更去死
    文/潘曉璐 我一進店門，熙熙樓的掌柜王于貴愁眉苦臉地迎上來击孩，“玉大人迫悠，你說我怎么就攤上這事」遥” “怎么了创泄？”我有些...
    開封第一講書人閱讀 165,871評論 0贊 356
  • 道士緝兇錄：失蹤的賣姜人
    文/不壞的土叔 我叫張陵，是天一觀的道長括蝠。 經(jīng)常有香客問我鞠抑，道長，這世上最難降的妖魔是什么忌警？ 我笑而不...
    開封第一講書人閱讀 58,963評論 1贊 295
  • ?港島之戀（遺憾婚禮）
    正文 為了忘掉前任搁拙，我火速辦了婚禮，結果婚禮上法绵，老公的妹妹穿的比我還像新娘箕速。我一直安慰自己，他們只是感情好朋譬，可當我...
    茶點故事閱讀 67,984評論 6贊 393
  • 惡毒庶女頂嫁案：這布局不是一般人想出來的
    文/花漫 我一把揭開白布盐茎。 她就那樣靜靜地躺著，像睡著了一般徙赢。 火紅的嫁衣襯著肌膚如雪字柠。 梳的紋絲不亂的頭發(fā)上，一...
    開封第一講書人閱讀 51,763評論 1贊 307
  • 城市分裂傳說
    那天狡赐，我揣著相機與錄音募谎，去河邊找鬼。 笑死阴汇，一個胖子當著我的面吹牛，可吹牛的內容都是我干的节槐。 我是一名探鬼主播搀庶，決...
    沈念sama閱讀 40,468評論 3贊 420
  • 雙鴛鴦連環(huán)套：你想象不到人心有多黑
    文/蒼蘭香墨 我猛地睜開眼，長吁一口氣：“原來是場噩夢啊……” “哼铜异！你這毒婦竟也來了哥倔？” 一聲冷哼從身側響起，我...
    開封第一講書人閱讀 39,357評論 0贊 276
  • 萬榮殺人案實錄
    序言：老撾萬榮一對情侶失蹤揍庄，失蹤者是張志新（化名）和其女友劉穎咆蒿，沒想到半個月后，有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體，經(jīng)...
    沈念sama閱讀 45,850評論 1贊 317
  • ?護林員之死
    正文 獨居荒郊野嶺守林人離奇死亡沃测，尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內容為張勛視角 年9月15日...
    茶點故事閱讀 38,002評論 3贊 338
  • ?白月光啟示錄
    正文 我和宋清朗相戀三年缭黔，在試婚紗的時候發(fā)現(xiàn)自己被綠了。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片蒂破。...
    茶點故事閱讀 40,144評論 1贊 351
  • 活死人
    序言：一個原本活蹦亂跳的男人離奇死亡馏谨，死狀恐怖，靈堂內的尸體忽然破棺而出附迷，到底是詐尸還是另有隱情惧互，我是刑警寧澤，帶...
    沈念sama閱讀 35,823評論 5贊 346
  • ?日本核電站爆炸內幕
    正文 年R本政府宣布喇伯，位于F島的核電站喊儡，受9級特大地震影響，放射性物質發(fā)生泄漏稻据。R本人自食惡果不足惜艾猜，卻給世界環(huán)境...
    茶點故事閱讀 41,483評論 3贊 331
  • 男人毒藥：我在死后第九天來索命
    文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望攀甚。 院中可真熱鬧箩朴，春花似錦、人聲如沸秋度。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,026評論 0贊 22
  • 一樁弒父案，背后竟有這般陰謀
    文/蒼蘭香墨 我抬頭看了看天上的太陽荚斯。三九已至埠居，卻和暖如春，著一層夾襖步出監(jiān)牢的瞬間事期，已是汗流浹背滥壕。 一陣腳步聲響...
    開封第一講書人閱讀 33,150評論 1贊 272
  • 情欲美人皮
    我被黑心中介騙來泰國打工， 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留兽泣，地道東北人绎橘。 一個月前我還...
    沈念sama閱讀 48,415評論 3贊 373
  • 代替公主和親
    正文 我出身青樓，卻偏偏與公主長得像唠倦，于是被迫代替她去往敵國和親称鳞。 傳聞我的和親對象是個殘疾皇子，可洞房花燭夜當晚...
    茶點故事閱讀 45,092評論 2贊 355

推薦閱讀更多精彩內容