当前位置:首页 » Python基础教程 » Django如安在不停机的情况下创立索引

Django如安在不停机的情况下创立索引

231°c 2021年03月01日 11:23 Python基础教程 0条评论
  移步手机端

1、打开你手机的二维码扫描APP
2、扫描左则的二维码
3、点击扫描获得的网址
4、可以在手机端阅读此文章

该框架在管理数据库更改方面非常强大和有用,但是该框架提供的灵活性受到了一定的限制。为了理解Django迁移的局限性,你将处理一个众所周知的问题:在不停机的情况下,在Django中创建一个索引。

在本教程中,你将学习:

Django如何以及何时生成新的迁移;

如何检查Django生成的执行迁移的命令;

如何安全地修改迁移以满足你的需求。

本中级教程是为已经熟悉Django迁移(Migration)的读者设计的。

在Django迁移中创建索引的问题

当应用程序存储的数据增长时,通常需要进行的一个常见更改就是添加索引。索引可以用来加快查询速度,并使你的应用程序运行和响应更快。

在大多数数据库中,添加索引时需要对表使用独占锁。在创建索引时,独占锁会防止数据修改(DML)操作,如UPDATE,INSERT,和DELETE。

数据库在执行某些操作时会隐式地获取锁。例如,当用一个户登录到你的应用程序时,Django将更新auth_user表中的last_login字段。要执行更新,数据库首先必须在这个行上获得一个锁。如果该行当前被另一个连接锁定,那么你会得到一个数据库异常。

当需要在迁移期间保持系统可用时,锁定表可能会造成问题。表越大,创建索引所需的时间就越长。创建索引所需的时间越长,系统不可用或对用户无响应的时间就越长。

一些数据库供应商提供了一种创建索引而不锁定表的方法。例如,要在PostgreSQL中创建索引而不锁定表,你可以使用CONCURRENTLY关键字:


在Oracle中,有一个ONLINE选项允许在创建索引时对表执行DML操作:


在生成迁移时,Django不会使用这些特殊的关键字。按原样运行迁移将使数据库获得表上的独占锁,并在创建索引时防止DML操作。

并发创建索引有一些注意事项。提前了解特定于数据库后端的问题是很重要的。例如,PostgreSQL中的一个警告是并发创建索引需要更长的时间,因为它需要进行额外的表扫描。

在本教程中,你将使用Django迁移在一个大型表上创建索引,而不会导致任何停机。

注意:要学习本教程,建议你使用PostgreSQL后端,Django2.x和python3

也可以使用其他数据库后端。在使用PostgreSQL特有的SQL特性的地方,更改SQL以匹配你的数据库后端。

设置

你将在一个名为app的应用中使用一个虚构的Sale模型。在现实生活中,Sale等模型是数据库中的主要表,它们通常会非常大,并存储大量数据:


创建表,生成初始迁移并应用它:


一段时间之后,sales表变得非常大,用户开始抱怨速度太慢。在监视数据库时,你注意到许多查询使用sold_at列。为了加快速度,你决定在列上需要一个索引。

要在sold_at上添加索引,你需要对模型进行以下更改:


如果按原样运行这个迁移,那么Django将在表上创建索引,并且它将被锁定,直到索引完成。在非常大的表上创建索引可能需要一段时间,你希望避免停机。

在具有小数据集和很少连接的本地开发环境中,这种迁移可能是瞬间完成的。然而,对于具有许多并发连接的大型数据集,获取锁并创建索引可能需要一段时间。

在接下来的步骤中,你将修改Django创建的迁移,以便在不引起任何停机的情况下创建索引。

伪造迁移

第一种方法是手动创建索引。你将生成迁移,但实际上并不会让Django应用它。相反,你将在数据库中手动运行SQL,然后让Django认为迁移已经完成。

首先,生成迁移:


使用sqlmigrate命令来查看Django将用于执行此迁移的SQL:


你希望在不锁定表的情况下创建索引,因此你需要修改命令。添加CONCURRENTLY关键字并在数据库中执行:


注意,你在执行命令的过程中没有BEGIN和COMMIT部分。省略这些关键字会在没有数据库事务的情况下执行命令。我们将在本文后面讨论数据库事务。

执行命令后,如果你尝试应用迁移,会出现以下错误:


Django会提示你该索引已经存在,因此无法继续迁移。你刚刚在数据库中直接创建了索引,所以现在需要让Django认为已经应用了迁移。

如何伪造一个迁移

Django提供了一种内置的方法,可以将迁移标记为已执行,而不需要实际执行它们。要使用这个选项,你需要在应用迁移时设置―fake标志:


这一次Django没有抛出错误。实际上,Django并没有真正应用任何迁移。它只是将其标记为已执行(或FAKED)。

以下是在伪造迁移时需要考虑的一些问题:

手动命令必须与Django生成的SQL等价: 你需要确保所执行的命令与Django生成的SQL等价。使用sqlmigrate来生成SQL命令。如果命令不匹配,则可能导致数据库和模型状态之间的不一致。

其他未应用的迁移也将被伪造:当你有多个未应用的迁移时,它们都将被伪造。在应用迁移之前,重要的是确保只有你想要伪造的迁移没有应用。否则,你可能会得到不一致的结果。另一个选项是指定要伪造的确切迁移。

需要直接访问数据库:你需要在数据库中运行SQL命令,这有时也不是必需的。此外,在生产数据库中直接执行命令是危险的,应该尽可能避免。

自动化部署流程可能需要调整:如果你自动化了部署流程(使用CI、CD或其他自动化工具),那么你可能需要将流程更改为伪迁移。这并不总是可取的。

清理

在继续下一节之前,你需要将数据库恢复到它在初始迁移之后的状态。要做到这一点,请迁移回初始迁移:


Django没有应用在第二次迁移中所做的更改,所以现在可以安全地删除文件:


为了确保你做的一切都是正确的,检查一下迁移:


应用了初始迁移之后,就没有未应用的迁移了。

在迁移(Migration)中执行原始SQL

在上一节中,你直接在数据库中执行SQL并伪造迁移。这样就完成了任务,但是还有一个更好的解决方案。

Django提供了一种使用RunSQL在迁移中执行原始SQL的方法。我们来尝试使用它代替直接在数据库中执行命令。

首先,生成一个新的空迁移:


接下来,编辑迁移文件并添加RunSQL操作:


当你运行迁移时,你将获得以下输出:


这看起来不错,但有一个问题。我们再次来尝试生成迁移:


Django再次生成了相同的迁移。为什么会这样?

清理

在回答这个问题之前,你需要清理并撤消对数据库所做的更改。首先删除最后一次迁移。它没有被应用,所以可以安全删除:


接下来,列出app应用程序的迁移:


第三次迁移已经结束,但是只应用了第二次迁移。你希望回到初始迁移之后的状态。试着像你在上一节所做的那样迁移回初始迁移状态:


Django无法进行逆向迁移。

逆向迁移操作

要进行一次逆向迁移,Django会对每个操作执行相反的操作。在本例中,添加索引的反面是删除索引。正如你已经看到的,当一个迁移是可逆的时,你可以取消应用它。就像你可以在Git中使用checkout一样,如果你对较早的迁移执行了migrate命令,你可以进行逆向迁移。

许多内置迁移操作已经定义了反向操作。例如,添加字段的反向操作是删除对应的列,创建模型的反向操作是删除相应的表。

有些迁移操作是不可逆的。例如,删除字段或删除模型没有反向操作,因为一旦应用了迁移,数据就会消失。

在上一节中,你使用了RunSQL操作。当你试图进行反向迁移时,遇到了一个错误。根据错误提示,迁移中的一个操作不能逆转。Django默认情况下无法反转原始SQL。因为Django不知道该操作执行了什么,所以它不能自动生成相反的操作。

如何使迁移可逆

要使一个迁移是可逆的,迁移中的所有操作都必须是可逆的。只逆转迁移的一部分是不可能的,因此一个单一的不可逆操作将使整个迁移不可逆。

要使RunSQL操作可逆,你必须提供在操作反转时执行的SQL。反向SQL在reverse_sql参数中提供。

添加索引的相反操作是删除索引。要使你的迁移可逆,请提供reverse_sql参数来删除索引:


现在试着反转迁移:


我们对第二次迁移进行了反转,Django删除了索引。现在可以安全地删除迁移文件了:


提供reverse_sql总是一个好主意。在反转原始SQL操作而不需要其他任何操作的情况下,你可以使用特殊的哨兵语句migrations.

RunSQL.noop将该操作标记为可逆操作。


理解模型状态和数据库状态

在你之前尝试使用RunSQL手动创建索引时,Django一次又一次地生成了相同的迁移,尽管索引是在数据库中创建的。要理解Django为什么这样做,你首先需要理解Django如何决定何时生成新的迁移。

当Django生成一个新的迁移时

在生成和应用迁移的过程中,Django同步数据库状态和模型状态。例如,当你向模型添加字段时,Django会向表添加一列。当你从模型中删除字段时,Django将从表中删除列。

为了在模型和数据库之间同步,Django拥有一个表示模型的状态。为了使数据库与模型同步,Django会生成迁移操作。迁移操作转换为可以在数据库中执行的特定供应商的SQL。当所有迁移操作都执行后,数据库和模型应该是一致的。

为了获得数据库的状态,Django聚合了所有过去迁移的操作。当迁移的聚合状态与模型的状态不一致时,Django会生成一个新的迁移。

在前面的例子中,你使用原始SQL创建了索引。Django不知道你创建了索引,因为你没有使用熟悉的迁移操作。

当Django聚合所有迁移并将它们与模型的状态进行比较时,它发现缺少一个索引。这就是为什么即使你手动创建了索引,Django仍然认为它是缺失的,并为它生成了一个新的迁移。

如何在迁移中分离数据库和状态

由于Django无法按照你希望的方式创建索引,所以你希望提供自己的SQL,但仍然要让Django知道你已经创建了索引。

换句话说,你需要在数据库中执行一些操作,并为Django提供迁移操作来同步其内部状态。为此,Django为我们提供了一个名为 SeparateDatabaseAndState的特殊迁移操作。这项操作并不为人所知,应该留到像这种特殊情况下使用。

编辑迁移要比从头开始写容易的多,因此,首先以通常的方式生成一个迁移:


这是Django生成的迁移内容,和之前一样:


Django在字段sold_at上生成了一个AlterField操作。该操作会创建一个索引并更新状态。我们希望保留这个操作,但是在数据库中提供一个不同的命令来执行。

同样,要获得该命令,请使用Django生成的SQL:


在合适的地方添加CONCURRENTKY关键字:


接着,编辑该迁移文件,并使用SeparateDatabaseAndState来提供你修改过的SQL命令并执行:


迁移操作separate atabaseandstate接受2个操作列表:

1.state_operations是应用于内部模型状态的操作。它们不会影响数据库。

2.database_operations是应用于数据库的操作。

你在state_operations中保留了Django生成的原始操作。当使用SeparateDatabaseAndState时,这是你通常想要做的,注意向字段提供db_index=True参数。这个迁移操作将让Django知道字段上有一个索引。

你使用了Django生成的SQL并添加了CONCURRENTLY关键字。你使用特殊的操作RunSQL来在迁移中执行原始SQL。

如果你试图运行此迁移,你将获得以下输出:


非原子迁移

在SQL中,CREATE、DROP、ALTER和TRUNCATE操作称为数据定义语言(Data Definition Language, DDL)。在支持事务性DDL的数据库中,比如PostgreSQL,Django默认会在数据库事务中执行迁移。然而,根据上面的错误,PostgreSQL不能在事务块中并发地创建索引。

为了能够在迁移中并发地创建索引,你需要告诉Django不要在数据库事务中执行迁移。为此,通过将atomic设置为False,将迁移标记为非原子(non-atomic):


将迁移标记为非原子之后,你可以运行迁移了:


你只是执行了迁移,并没有引起任何停机。

下面是使用SeparateDatabaseAndState时需要考虑的一些问题

数据库操作必须与状态操作等价:数据库和模型状态之间的不一致可能会造成很多麻烦。一个好的开始是保留Django在 state_operations中生成的操作和编辑sqlmigrate的输出并在database_operations中使用。

非原子迁移在发生错误时不能回滚:如果在迁移过程中出现错误,则无法回滚。你必须要么回滚迁移,要么手动完成它。将在非原子迁移中执行的操作保持在最少是一个好主意。如果你在迁移中有其他操作,请将它们移到新的迁移中。

迁移可能是特定于供应商的:Django生成的SQL特定于项目中使用的数据库后端。它可能会在其他数据库后端运行,但这并不能保证。如果你需要支持多个数据库后端,则需要对这种方法进行一些调整。

结论:

你从一个大型的数据表和一个问题开始了本教程。你想让你的应用程序对用户来说更快,你想在不引起应用程序任何停机的情况下做到这一点。

在本教程的最后,你尝试生成并安全地修改了一个Django迁移来实现这一目标。在此过程中,你遇到了不同的问题,并使用migration 框架提供的内置工具设法解决了这些问题。

在本教程中,你学习了以下内容:

  • Django迁移在内部如何使用模型和数据库状态进行工作,以及何时生成新的迁移;

  • 如何使用RunSQL操作在迁移中执行自定义的SQL;

  • 什么是可逆迁移,以及如何使RunSQL操作可逆;

  • 什么是原子迁移,以及如何根据需要更改默认行为;

  • 如何安全地在Django中执行复杂的迁移。

模型与数据库状态的分离是一个重要的概念。一旦你理解了它,以及知道如何使用它,你就可以突破内置迁移操作的许多限制。我想到的一些用例包括添加已经在数据库中创建的索引,以及为DDL命令提供特定的服务商参数。

到此这篇关于Django如何在不停机的情况下创建索引的文章就介绍到这了,更多相关不停机状态下使用Django创建索引内容请搜索python学习网以前的文章或继续浏览下面的相关文章希望大家以后多多支持python学习网!

欢迎阅读本文,希望本文对您有所帮助!

本文链接:http://www.cqrxzs.com/2639.html

版权声明:本文为原创文章,版权归 雨凡教育 所有,欢迎分享本文,转载请保留出处!

本文标签:

百度推荐获取地址:http://tuijian.baidu.com/,百度推荐可能会有一些未知的问题,使用中有任何问题请直接联系百度官方客服!

评论(0) 赞助本站

发表评论:


【顶】 【踩】 【好】 【懵】 【赞】 【表情】

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。

推荐阅读
04月20日

Python模块汇总(常见第三方库)

发布 : | 分类 : Python基础教程 | 评论 : 0人 | 浏览 : 2846次

模块 定义 计算机在开发过程中,代码越写越多,也就越难以维护,所以为了编写可维护的代码,我们会把函数进行分组,放在不同的文件里。在python里,一个.py文件就是一个模块 优点: 提高代码的可维护性。 提高代码的复用,当模块完成时就可以在其他代码中调用 引用其他模块,包含python内置模块和其他第三方模块 避免函数名和变量名等名称冲突 Python语言生态 Python语言提供超过15万个第三方库,Python库之间广泛联系、逐层封装。 使用pip安装 Python社区:ht...

04月20日

python 应用while写猜年龄小游戏过程解析

发布 : | 分类 : Python基础教程 | 评论 : 0人 | 浏览 : 2610次

要求: 用户一轮有三次机会开展猜年龄手机游戏,每猜一次会给相对应的提示告之用户应当往大些猜或是小一点猜,三次机会用完之后,可挑选重新再来三次机会。 构思: 最先界定一个原始年龄为25和原始次数0,随后每猜一次,次数加1,另外提示猜的年龄是很小或是很大,猜校时退出游戏,当次数相当于3时,提示用户是不是重新再来。 编码以下: age_of_fww = 25 count = 0 while count < 3: guess_age = int(input("guess_age:"))...

04月20日

python读文件的步骤

发布 : | 分类 : Python基础教程 | 评论 : 0人 | 浏览 : 343次

python怎么读文档? 最先,在桌面创建一个txt文档,在上面键入以下几点: 您好。Hello.abcdefg啊非常好的设计风格 查询文档的特性,获得文档的相对路径: D:\HintSoft\Hint-W7\Desktop 文件夹名称是——新建文本文档.txt, 那麼,相对路径再加上文件夹名称,便是肯定文件夹名称: D:\HintSoft\Hint-W7\Desktop\新建文本文档.txt 用python开启这一文档,并取名为f。 f = open(r"D:\HintSo...

04月20日

pip 安装库比较慢的解决方法(国内镜像)

发布 : | 分类 : Python基础教程 | 评论 : 0人 | 浏览 : 313次

针对Python开发设计客户而言,PIP安装程序包是家常饭。但海外的源下载速度确实很慢,虚度光阴。并且经常会出现下载后安装打错难题。 因此把PIP安装源换成国内镜像,能够 大幅度提高下载速度,还能够提升 安装通过率。 中国源: 新版本ubuntu规定应用https源,要留意。 清华大学:https://pypi.tuna.tsinghua.edu.cn/simple 阿里云服务器:http://mirrors.aliyun.com/pypi/simple/ 中国科大 https://pypi....

04月20日

python完成的按要求生成手机号功能示例

发布 : | 分类 : Python基础教程 | 评论 : 0人 | 浏览 : 288次

文中案例叙述了python完成的按要求生成手机号作用。共享给大伙儿供大伙儿参照,实际以下: 见到一个生成手机号的编码,因此自身提升了一下,能够 适用按要求生成手机号。 #!/usr/bin/python # coding=utf-8 ''' 1:任意生成11位手机号 2:只自定义地域(第4--7位) 3:只自定义手机尾号(第八--11位) 4:自定义后8位手机号 5:只自定义前3位 ''' import time,random print __doc__ def moblieRando...

04月19日

为什么说Python能够 完成全部的算法

发布 : | 分类 : Python基础教程 | 评论 : 0人 | 浏览 : 368次

今日强烈推荐一个Python学习培训的干货知识。 好多个印尼小伙,在GitHub里建了一个各种各样Python算法的初学者全集,如今标星早已超出2.六万。 这一新项目关键包含两一部分內容:一是各种各样算法的基本概念解读,二是各种各样算法的编码完成。 传送器在这里: https://github.com/TheAlgorithms/Python 简易详细介绍下。 算法的基本概念解读一部分,包含排序算法、检索算法、插值法算法、弹跳检索算法、迅速挑选算法、禁忌搜索算法、数据加密算法等。 这一部分內容...

04月19日

Django中应用haystack whoosh完成搜索功能

发布 : | 分类 : Python基础教程 | 评论 : 0人 | 浏览 : 365次

为了实现项目中的搜索功能,我们使用的是全文检索框架haystack+搜索引擎whoosh+中文分词包jieba 安装和配置 安装所需包 pip install django-haystack pip install whoosh pip install jieba 去settings文件注册haystack应用 INSTALLED_APPS = [ 'haystack', # 注册全文检索框架 ] 在settings文件中配置全文检索框架 # 全文检索框架的配置 HAYSTACK_...

04月19日

Django完成文件上传和下载功能

发布 : | 分类 : Python基础教程 | 评论 : 0人 | 浏览 : 359次

文中案例为大伙儿共享了Django下进行文件提交和下载作用的实际编码,供大伙儿参照,具体内容以下 一、文件提交 Views.py def upload(request): if request.method == "POST": # 要求方式为POST时,开展解决 myFile = request.FILES.get("myfile", None) # 获得提交的文件,如果没有文件,则默认设置为None if not myFile: return HttpResponse("no f...

04月19日

Python3 无反复字符的最多子串的完成

发布 : | 分类 : Python基础教程 | 评论 : 0人 | 浏览 : 348次

题型: 给出一个字符串,你要找到在其中不带有反复字符的 最多子串 的长度。 示例: 示例 1: 键入: “abcabcbb” 输出: 3 表述: 由于无反复字符的最多子串是 “abc”,因此其长度为 3。 示例 2: 键入: “bbbbb” 输出: 1 表述: 由于无反复字符的最多子串是 “b”,因此其长度为 1。 示例 3: 键入: “pwwkew” 输出: 3 表述: 由于无反复字符的最多子串是 “wke”,因此其长度为 3。 一定要注意,你的答案务必是 子串 的长度,“pwke...

您好,欢迎到访网站!
  查看权限