发表于 | 更新于 | 评论数：

统计git提交

因为工作需要，需要统计一个时间段指定用户的git提交的次数，代码改变的行数，以及依据commit特殊前缀来统计次数。脚本如下：
 

阅读全文 »

发表于 | 评论数：

Java Random 的多线程效率问题

缘起

最近在写一个算法的多线程计算时发现效率比单线程还慢，单线程大概计算300S，8个线程却计算了900S，这很不正常。一开始以为是锁的原因，于是把算法里面所有的锁都去掉了（该算法估算几乎不影响最后结果准确性）,锁去掉之后还是很慢，时间几乎没有变化。最后打开jconsole查看线程，发现计算的线程显示 阻止1 等待6之类的。观察调用栈发现了卡在random的调用上。

多线程random

Java的random是多线程是安全的，但是Java的random多线程效率存在问题，为此jdk在1.7之后推出了ThreadLocalRandom，它通过一个线程对应一个专属的random实例解决了多线程下random效率的问题。

它的用法如下：

1
ThreadLocalRandom.current()....

发表于 | 评论数：

Alias 算法抽样

简述

对于一个只有两种情况的情景抽样，很简单，例如A的概率是0.4，B的概率是0.6，那么只需要随机数小于0.4就是A，否则是B。

如果扩展多个情况，例如A，B，C的概率分别是0.2，0.3，0.5，一般情况O(1)的方法是生成一个数组[A,A,B,B,B,C,C,C,C,C,C],对数组进行随机抽取，这样比较耗费内存。

Alias也可以在O(1)的方法下取样，并且内存需要更小。
 

阅读全文 »

发表于 | 评论数：

编写networkx插件

前言

networkx的时候发现在3.0版本支持实验性的插件支持 https://github.com/networkx/networkx/pull/6000 ,
支持替换networkx的计算后端，目前比较成熟的后端插件是graphblas https://github.com/python-graphblas/graphblas-algorithms/ ，
通过这个插件，可以同时结合networkx
API的易用性以及graphblas的高性能。networkx插件的原理是利用了python的装饰器。
 

阅读全文 »

发表于 | 评论数：

python递归爆栈

python 递归函数默认递归深度比较小（在本机测试为1000），可以通过 sys.getrecursionlimit() 函数打印出来。
超过 sys.getrecursionlimit()的值就会报错。

1
2
3
4
5
6
import sys

# 打印本机的值
print(sys.getrecursionlimit())
# 设置该值
sys.setrecursionlimit(100000)

参考

https://pegasuswang.github.io/python_data_structures_and_algorithms/19_python%E5%86%85%E7%BD%AE%E5%B8%B8%E7%94%A8%E7%AE%97%E6%B3%95%E5%92%8C%E6%95%B0%E6%8D%AE%E7%BB%93%E6%9E%84/builtins/#_1

发表于 | 评论数：

图（稀疏矩阵）的压缩存储 CSR

矩阵的压缩

CSR 是对稀疏矩阵进行压缩处理，把矩阵压缩成三个数组,值数组（values）、行索引数组（col_index）和列偏移数组（row_offsets）。

  • 值数组：按照矩阵的行顺序依次存储非零元素的值
  • 行索引数组：行索引数组存储了每个非零元素所在的行号 (col_index[i]等于values[i]元素的列数)
  • 列偏移数组：存储了每一行的非零元素在值数组中的起始位置 （第i个元素记录了前i-1行包含的非零元素的数量）

 

阅读全文 »

发表于 | 评论数：

最近实现一个算法，最初懒，直接拿原始图依照需求直接算，没想到后面出现需求变动，需要算更深的度，计算量爆炸，再加上比最初约定的数据大很多，边直接多了五倍多！
 

阅读全文 »

发表于 | 评论数：

缘起

fifsky/ssh-action@master是GitHub Action的一个插件，用于在GitHub Action中远程登录主机执行命令。

最近写了一个脚本，结果发现github action一直处于运行状态，实际已经执行完了，最后发现是执行nohup后，ssh-action无法判定命令是否结束。

解决

https://github.com/appleboy/ssh-action/issues/40

通过重定向所有输出解决

1
nohup python script.py > nohup.out 2> nohup.err < /dev/null &

For some reason, the action keeps waiting for stdin, stdout, and stderr. That’s why we need to redirect all three outputs to free the terminal. That’s all I could gather from this…

发表于 | 评论数：

大年初一，来了亲戚做客，我带着两个小朋友玩NS。

  • 马车教一个小朋友说 按A前进，她妈妈说，她才三岁，懂个屁的A。。。
  • 一个小朋友回家前问我说，你在读高中还是大学啊？ 大概没有我这样带他们打游戏的大人存在。。。