Mysql数据迁徙方法工具解析

这篇文章主要介绍了mysql数据迁徙方法工具解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下

数据迁徙是每个后端都会遇到的工作之一，本文介绍了一些常见的数据迁徙方法与工具

mysqldump：数据结构不变的数据迁徙

导出数据

?

1	mysqldump -u root -p DATABASE_NAME table_name > dump.sql

恢复数据

?

1	mysql -u root -p DATABESE_NAME < dump.sql

或者连接mysql客户端

?

1	mysql> source dump.sql

使用pymysql连接数据库

可以直接用用户名密码连接的数据库

?

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18

class GeneralConnector:    def __init__( self , config, return_dic = False ):      self .return_dic = return_dic      self .config = config      def __enter__( self ):      self .conn = pymysql.connect( * * self .config, port = 3306 )      if self .return_dic:        # 一行数据会变成一个字典        self .cursor = self .conn.cursor(pymysql.cursors.DictCursor)      else :        self .cursor = self .conn.cursor()      return self .cursor      def __exit__( self , * args):      self .cursor.close()      self .conn.commit()      self .conn.close()

使用：

?

1 2 3 4 5 6 7 8 9

# local_db = { #   'user' : 'root' , #   'passwd' : '' , #   'host' : '127.0.0.1' , #   'db' : 'local_db' #   } with GeneralConnector(const.local_db, return_dic= True ) as cursor :    cursor . execute ( 'SELECT `col1`, `col2` FROM test;' )    return cursor .fetchall()

连接处于需要SSH连接的服务器的数据库

?

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19

class SSHConnector:    def __init__( self , server, config, return_dic = False ):      self .return_dic = return_dic      self .server = server      self .config = config      def __enter__( self ):      self .conn = pymysql.connect( * * self .config, port = self .server.local_bind_port)      if self .return_dic:        # 一行数据会变成一个字典        self .cursor = self .conn.cursor(pymysql.cursors.DictCursor)      else :        self .cursor = self .conn.cursor()      return self .cursor      def __exit__( self , * args):      self .cursor.close()      self .conn.commit()      self .conn.close()

使用：

?

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19

# SERVER = SSHTunnelForwarder( #     (remote_host, ssh_port), #     ssh_username=USERNAME, #     ssh_pkey=SSH_KEY, #     ssh_private_key_password=SSH_KEY_PASSWD, #     remote_bind_address=( '127.0.0.1' , 3306) # mysql服务位置 #   ) # server_db = { #   'user' : 'root' , #   'passwd' : '' , #   'host' : '127.0.0.1' , #   'db' : 'server_db' #   } # 创建一个隧道将服务端的mysql绑定到本地3306端口 with const.SERVER as server:    with SSHConnector(server, const.server_db) as cursor :      cursor . execute ( 'show tables;' )      data = cursor .fetchall()      print(data)

cursor的各种操作

1.cursor.execute(sql_statement)

执行一条sql语句

2.cursor.fetchall()

获取cursor的所有结果，常跟在select语句后使用

3.cursor.fetchone()

获取cursor的第一条结果

4.cursor.lastrowid

最后一条数据的id

5.cursor.executemany(insert_statement, data_list)

批量插入一批数据，如

?

1 2 3 4 5 6 7

with const.SERVER as server:    with connector.Connector(server, const.db_1) as cursor:      cursor.execute( 'select * from preference' )      preferences = cursor.fetchall()      with connector.Connector(server, const.db_2) as cursor:      cursor.executemany( 'insert into preference (`id`,`theme`,`user_id`) values (%s,%s,%s)' ,preferences)

从cursor获取list类型的结果

?

1	cursor.execute( 'SELECT `name` FROM user;' )

直接使用fetchall()，只能得到tuple包裹的数据

?

1 2	cursor.fetchall() # (('Jack',), ('Ben'))

现在希望得到一个list结果集，做到像Django中flat=True那样的效果

有两种方法

列表解析式(list comprehension)

?

1	name_list = [x[0] for x in cursor.fetchall()]

这个方法的缺点在于会先使用fetchall()将结果集读到内存，再做列表转换，并不高效。

itertools工具

?

1	name_list = list(itertools.chain.from_iterable(cursor))

推荐使用这个方式，第一它不会将所有结果fetch到内存中，第二使用itertools生成列表比列表解析式要快

如何在数据迁徙中使用Django的model

• 需要拷贝Django的settings文件，删掉不需要的配置，并设置好迁徙目标数据库
• 需要拷贝用到此model的文件
• 需要在settings.INSTALLED_APPS中引入models.py文件所在的目录
• 在迁徙脚本头部启动Django

?

1 2 3 4 5 6

import os import django import sys sys.path.append(os.path.dirname(os.path.dirname(os.path.abspath(__file__)))) os.environ.setdefault( "DJANGO_SETTINGS_MODULE" , "translate.settings" ) django.setup()

通过SSH隧道的本地转发实现Django连接远程数据库

创建一个ssh隧道，将远程数据库映射到本地端口

?

1	ssh -L local_port:localhost:<remote mysql port> <username>@<remote host>

ssh连接进行时，可以通过访问本地端口来访问远程数据库

在Django的settings中配置数据库

?

1 2 3 4 5 6 7 8 9 10 11

DATABASES = {    'default' : {      'ENGINE' : 'django.db.backends.mysql' ,      'NAME' : db_name,      'USER' : remote_mysql_user, # 远程数据库账号密码      'PASSWORD' : remote_mysql_password,      'HOST' : "localhost" ,      'PORT' : local_port, # 远程数据库映射到本地的端口      'OPTIONS' : { 'init_command' : 'SET default_storage_engine=INNODB;' }      } }

至此，在使用Django的model时，将通过ssh隧道访问远程数据库

注意事项

• 事先了解迁徙数据量，并且取5%~10%的数据测试迁徙速度
• 由测试数据预估总迁徙用时，如果总迁徙用时大于一小时，一定要把迁徙脚本放到服务器运行，这样迁徙过程不易中断，且服务器性能远比个人电脑更优
• 尽量使用批量插入减少写数据库的次数，使用cursor.executemany或者Django的bulk_create
• 迁徙过程要写好log，这样能够知道数据迁徙到了哪一步，如意外终端也能找到断点继续运行
• 创建时间字段加上auto_add_now会自动记录数据的创建时间，在插入数据的时候对这个字段赋值无效

以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持服务器之家。

原文链接：https://www.cnblogs.com/luozx207/p/11792337.html