多参数的 python 简单并行循环 -- multiprocessing

在之前用蒙特卡洛算法的时候我曾经舱室过用multiprocessing来对for循环进行加速 ,当时效果还是可以的,将循环中的操作包装成一个函数,即可传入可遍历的变量组即可有效利用多个线程进行同时计算。最近在分析自己DEM模拟试验的数据时又遇到了大量独立数据文件的io和分析,但是不同的是这次的计算需要在函数中传入多个变量,不变的要求是最小化业务代码更改。 ...

2020-01-27 · siyuan

windows小型文件server

笔者很多时候会想从windows主机上共享文件,SMB分享呢不够通用,而且有时候在配置用户名和密码的时候由于字符编码不同会出现无法登陆的情况,ftp server 呢也是不够轻量。笔者理想的工具是一种web形式的文件系统,就像很多开源镜像站之类的,这样的话不需要考虑平台、编码等等一系列问题。终于在很多年的等待之后终于偶遇了__USBWebServer__ 这个项目。在这里记录一下这个软件解决我痛点的过程。 ...

2019-06-14 · siyuan

协方差和协方差矩阵

在随机场分析以及机器学习的 PCA 主成分分析的过程中,我经常看到协方差和协方差矩阵这两个概念。 协方差:用于衡量两个变量的总体误差,方差(variance)是协方差的一种特殊情况,即两个变量完全相同。 ...

2019-01-30 · siyuan

使用 mathjax 引擎渲染 github pages / wordpress 中的公式

使用 GitHub pages 服务有一段时间了,体验很棒。不过在上一篇 蒙特卡洛随机算法 101 的发布过程中发现,GitHub 的 markdown 语法并不支持 LaTeX 公式的渲染,所以今天晚饭后抽了几分钟时间搜索了以下解决方案,在这里分享出来。 ...

2018-03-30 · siyuan

python 多线程并行加速 for

在前一篇文章里,我借助蒙特卡洛法对圆周率进行了估算,结果还是比较满意的,但是在试算过程中有一个问题很 annoying。更准确的结果需要更多的随机点,更多随机点意味着更大的矩阵计算,而且我在计算收敛情况时,需要多次执行求 pi 函数,但是我的 7700k 在计算时很不慌张,占有率仅在15%附近徘徊。矩阵乘法的并行加速我暂时还没有时间弄清楚,但是 for 的加速还是比较简单的,直接使用 multiprocessing 。代码如下: ...

2018-02-20 · siyuan

蒙特卡洛算法-101 使用随机算法计算圆周率

随机算法在解决复杂问题时可以用极少的计算成本得到近似解析解的结果。今年,在国内岩土届,随机算法也有大量的应用,例如可靠度分析以及随机有限元方面。 ...

2018-01-30 · siyuan

Github pages build failure

File is not properly UTF-8 encoded? 也许这里可以帮到你 Github pages 绝对是一项超值服务,如果没有动态网页要求的话,已经可以把这项服务当做一个不错的网站虚拟机了。很多托管在 github 上的优秀的项目都会建立一个相应的 github pages 页面。具体的建立流程十分简单,笔者就不在此赘述了。今天给大家分享一个 buil failure 问题的解决方法。 ...

2018-01-15 · siyuan

如何优雅的配置 ssh-key 登录远程 Linux 服务器 //ssh-copy-id excited!

笔者手上有国内外小鸡若干,如果采用密码登录服务器。在远程登录服务器以及在有服务器端–本地段拷贝需求时,频繁的密码输入过程略显繁琐。所以在本地机器相对固定时,ssh-key 登录方式非常方便。在配置好 ssh-key 之后,我们登录服务器或者执行 scp 操作都不需要在此输入密码了。 ...

2018-01-05 · siyuan

matplotlib 的动态绘图实现

笔者在日常的研究中经常使用 matplotlib 进行数据后处理,这个库的自由度很高,在 seaborn 加持下的出图质量也很高,在处理大量的试验数据时,Python 的应用节省了大量的时间。 ...

2017-12-04 · siyuan