MySQL周期表管理太繁琐，通过Python自定义工具方法优雅解决
公众号：杨建荣的学习笔记 · 作者：杨建荣 · 发布：2019-11-02 23:56:59 · 原文链接
这是学习笔记的第 2149 篇文章
最近的数据库小问题还是零零散散会出现，通过这些零星的小问题可以发现很多潜在问题的端倪。 所以准备在一些技术储备方面要多投入一些，把这些基础打扎实。
比如对于按照时间维度的日表，我们在此成为周期表，对于它的管理看起来很简单，实际上会有很多潜在的问题，对此我会提供一些改进的思路。
比如日表test_data_20190101，它存储的是1月1日的数据，这种数据模型中的数据基本都是流水型/日志数据，所以数据不需要保留太长时间，在用到的时候够查就可以了，一般设置为1个月，那么test_data表在20190201的时候就删除20190101的数据了，这里就存在一系列的问题，核心思想就是：怎么保证这个过程是可控的。通常会出现很多方面的问题:
1)周期表没有生成，业务写入失败
2）过期周期表没有按时清理，磁盘空间报警
3）误删除周期表，导致数据无法回复
4）管理多个周期表，没有提醒的机制，导致人为跟进出错概率高
5）周期表创建了，可能权限没有刷新
6）周期表创建了，但是业务压根没有用到，数据量一直是0
7）周期表创建了，但是不连续，比如有的月份是31天，只创建了30天
当然还有很多，对此我的目标是把这些潜在的问题都解决掉，转换为一种闭环的操作。
所以看起来一个很简单的操作，在引入一个特定的场景后（目前维护的有60多张周期表，时间范围各不相同），就会发现要处理的问题实在是太多了。
从功能设计上，有下面的一些小的功能需要完善和补充：
-
生成周期表的创建语句
-
检测失效的周期表
-
转置失效的周期表
-
删除失效的周期表
-
周期表阈值检测
-
数据是否存在的检测
-
周期表连续性检查
-
周期表可访问预检查
-
周期表自动创建
对于里面的一个功能，如何检测周期表是否连续，出发点是很好的，但是在实现的时候发现比想象的要复杂一些。
在今天的总结中，我的最大收获就是想明白，重视设计，写出来一二三，然后按照设计的思路，完成之后就会事半功倍。
简单的梳理，我发现时间管理方面有很多重复的功能，如果每次都去单独处理，其实还是挺繁琐的，索性写了一堆的工具方法。
-
N个小时后的时间
-
N个小时前的时间
-
今天前的第N天
-
今天后的第N天
-
今天以前的N天列表
-
今天以后的N天列表
-
指定时间范围的时间列表
-
判断日期是否在日期范围之内
-
两个日期列表相同的日期
-
两个日期列表差异的日期
相关的部分代码如下：
# 得到几个小时前的时间
def beforeHours2Date(hours, date_format='%Y-%m-%d %H:%M:%S'): hours = int(hours) t = time.time() - hours*60*60 t = time.strftime('%Y-%m-%d %H:%M:%S', time.localtime(t)) return t# 得到几个小时后的时间
def afterHours2Date(hours, date_format='%Y-%m-%d %H:%M:%S'): hours = int(hours) t = time.time() + hours*60*60 t = time.strftime('%Y-%m-%d %H:%M:%S', time.localtime(t)) return t# 得到几天前的日期
def beforeDays2Date(days, date_format='%Y-%m-%d %H:%M:%S'): days = int(days) t = time.time() - days*60*60*24 t = time.strftime('%Y-%m-%d', time.localtime(t)) return t# 得到几天后的日期
def afterDays2Date(days, date_format='%Y-%m-%d %H:%M:%S'): days = int(days) t = time.time() + days*60*60*24 t = time.strftime('%Y-%m-%d', time.localtime(t)) return t#得到几天前到今天的日期列表
def beforeDays2Datelist(n): before_n_days = [] for i in range(1, n + 1)[::-1]: before_n_days.append(str(datetime.date.today() - datetime.timedelta(days=i))) return before_n_days# 得到今天到几天后的日期列表
def afterDays2Datelist(n): before_n_days = [] for i in range(1, n + 1)[::-1]: before_n_days.append(str(datetime.date.today() + datetime.timedelta(days=i) )) return before_n_days
# 根据起始和截止日期得到日期列表
def get_datelist_by_start_end(datestart,dateend): data_list_arr = [] datestart = str_to_date_day(datestart) dateend = str_to_date_day(dateend) data_list_arr.append(date_day_to_str(datestart)) while datestart < dateend: datestart += datetime.timedelta(days=1) next_day = datestart.strftime('%Y-%m-%d') data_list_arr.append(next_day) return data_list_arr# 转换字符串为时间
def str_to_date_time(time_str): return datetime.datetime.strptime(time_str, '%Y-%m-%d %H:%M:%S')# 转换时间为字符串
def date_time_to_str(time1): return time1.strftime("%Y-%m-%d %H:%M:%S")# 转换字符串为日期
def str_to_date_day(time_str): return datetime.datetime.strptime(time_str, '%Y-%m-%d')# 转换日期为字符串
def date_day_to_str(time1): return time1.strftime("%Y-%m-%d")# 判断日期是否在指定的列表中
def date_in_range(date_str,start_date,end_date): return date_str in get_datelist_by_start_end(start_date,end_date)# 得到指定时间范围内不连续的日期
def discontinuous_date_in_list(start_date,end_date,date_list): defined_list = get_datelist_by_start_end(start_date, end_date) return list(set(defined_list).difference(set(date_list)))比如我的一个需求，得到不连续的日期，调用函数discontinuous_date_in_list，输入参数为起始日期，结束日期，然后提供一个时间列表进行比对。
print discontinuous_date_in_list('2019-10-21','2019-11-01',['2019-10-21','2019-10-23'])输出为：
['2019-10-22', '2019-10-27', '2019-10-26', '2019-10-25', '2019-10-24', '2019-10-29', '2019-10-28', '2019-10-30', '2019-10-31', '2019-11-01']可以看到很简短的代码就实现了一些繁琐的逻辑调用，而在后续的功能开发中，时间部分的处理也能高效很多。
简单一句话：不要轻视设计，然后像拼装乐高一样完成逻辑集成。
近期热文：
数据库修改密码风险高，如何保证业务持续，这几种密码双活方案可以参考
MySQL中的主键和rowid,看似简单,其实有一些使用陷阱需要注意
QQ群号：763628645
QQ群二维码如下， 添加请注明：姓名+地区+职位，否则不予通过
点在看，让更多人看到