2022-08-18

记一次docker更换数据存储目录全过程

背景: 公司一体机服务器上运行着大量容器、镜像，可装系统磁盘分区的时候又没给系统根目录分太大的空间，导致磁盘空间经常被占满。所以决定把docker的存储目...

2021-11-01

分布式数据采集框架实际工作中的去重是如何实现的-下

从上篇文末我们得知，两个simhash对应二进制(01串)取值不同的数量称为这两个simhash的海明距离，知道这点，那么就好办了 海量数据中，高效判...

2021-10-19

分布式数据采集框架实际工作中的去重是如何实现的-上

在我们实际工作中，提到分布式数据采集框架，就不免说起数据去重的问题，对于一个7*24小时不间断的爬虫框架来说，爬虫任务循环往复调度，就必须将数据去重做好，...

2021-10-09

分布式及数据同步

自站长从业的第一天起，身边的大神就告诉站长，做大数据，必须要记住并深刻理解的一个词就是分布式。工作至今，也没有写过一篇关于分布式概念的帖子，本文主要介绍...

2021-09-01

基于PaddleHub进行情感分析 / 预训练模型Senta完成情感分析预测

基于PaddleHub进行情感分析 情感倾向分析（Sentiment Classification，简称Senta）针对带有主观描述的中文文本，可自动...

2021-08-02

号脉初学

脉门六部 左（寸口、关上、尺中） 右（寸口、关上、尺中） 六部对应五脏 部门 对应的器官 左寸 心、小肠 左关 肝、胆 左...

2021-07-29

16个Redis常见使用场景总结

缓存 String类型 例如：热点数据缓存（例如报表、明星出轨），对象缓存、全页缓存、可以提升热点数据的访问数据。 数据共享分布式 Str...

2021-06-21

windows gitignore 忽略提交全局配置

有时我们开发的项目，因为项目组内每个人使用的idea版本不同，而使用不同版本的idea加载项目，文件夹.idea下的文件会随着个人环境的不同产生不一致的文...

2021-06-16

算法复杂度速查表

这篇文章覆盖了计算机科学里面常见算法的时间和空间的大 O 复杂度。我之前在参加面试前，经常需要花费很多时间从互联网上查找各种搜索和排序算法的优劣，以便我...