-
![]()
scrapy-redis分布式爬虫
scrapy-redis是scrapy框架基于redis数据库的组件，用于scrapy项目的分布式开发和部署。 -
![]()
Scrapy存入MySQL
之前利用Scrapy爬取的数据，都是写入在json文件中，现在需要写入到mysql中 -
![]()
使用pyppeteer 下载chromium 报错 或速度慢
使用Reuqests-html的render函数，它会在用户目录（默认是~/.pyppeteer/）中下载一个chromium，然后用它来执行JS代码。 -
![]()
Splash抓取jd
这里做一下项目实战，以爬取京东商城商品冰淇淋为例吧 -
![]()
Splash抓取javaScript动态渲染页面
Splash是一个javascript渲染服务。它是一个带有HTTP API的轻量级Web浏览器，使用Twisted和QT5在Python 3中实现 -
![]()
Django3+websocket+paramiko实现web页面实时输出
我们最终的效果是web页面上，能够实时输出结果，比如执行一个shell脚本。 -
![]()
django3 websockets
现在Django 3.0附带了对ASGI的支持，将Websockets添加到Django应用中不需要任何额外的依赖关系。 -
![]()
Kubernetes Python Client
Kubernetes官方维护的Python客户端client-python -
![]()
初识Pandas
江湖上流传着这么一句话——分析不识潘大师（PANDAS），纵是老手也枉然。 -
![]()
Helm安装Prometheus Operator
使用 helm 安装 Prometheus Operator。使用 helm 安装后，会在 Kubernetes 集群中创建、配置和管理 Prometheus 集群 -
![]()
docker搭建elasticsearch集群
Elasticsearch 作为一个搜索引擎，我们对它的基本要求就是存储海量数据并且可以在非常短的时间内查询到我们想要的信息。 -
![]()
docker安装filebeat
首先filebeat是Beats中的一员。 -
![]()
docker安装kibana
Kibana是一个针对Elasticsearch的开源分析及可视化平台，用来搜索、查看交互存储在Elasticsearch索引中的数据。使用Kibana，可以通过各种图表进行高级数据分析及展示。 -
![]()
docker安装logstash
需要使用docker 安装Logstash，来收集文件/var/log/messages -
![]()
docker安装elasticsearch和head插件
需要在服务器中部署elasticsearch和head插件 -
![]()
Python selenium chrome parses blob url
When crawling video sites, many videos use blob url to hide the source address. Through F12, you can find the download address of m3u8 corresponding to the request, but the amount of crawled data is v -
![]()
python 判断当前时间是否在一个时间范围内
最近在数据分析，需要判断当前时间是否为上班时间：9:00~18:00 -
![]()
基于docker部署skywalking实现全链路监控
skywalking是一个开放源码的，用于收集、分析，聚合，可视化来自于不同服务和本地基础服务的数据的可观察的平台 -
![]()
天天基金网数据接口
基金实时信息：http://fundgz.1234567.com.cn/js/001186.js?rt=1463558676006 -
![]()
python判断工作日，节假日
最近在做数据分析，需要判断一个日期是否为工作日，节假日。
- openvpn linux客户端使用
50173
- H3C基本命令大全
49447
- openvpn windows客户端使用
40093
- H3C IRF原理及 配置
37125
- Python exit()函数
31532
- openvpn mac客户端使用
28366
- python全系列官方中文文档
27321
- 1.常用turtle功能函数
22113
- python 获取网卡实时流量
22076
- python 获取Linux和Windows硬件信息
20411
- Python搭建一个RAG系统(分片/检索/召回/重排序/生成)
69°
- Browser-use:智能浏览器自动化(Web-Agent)
657°
- 使用 LangChain 实现本地 Agent
480°
- 使用 LangChain 构建本地 RAG 应用
467°
- 使用LLaMA-Factory微调大模型的function calling能力
685°
- 复现一个简单Agent系统
606°
- LLaMA Factory-Lora微调实现声控语音多轮问答对话-1
1204°
- LLaMA Factory微调后的模型合并导出和部署-4
2272°
- LLaMA Factory微调模型的各种参数怎么设置-3
2098°
- LLaMA Factory构建高质量数据集-2
1632°
- 姓名：Run
- 职业：谜
- 邮箱：383697894@qq.com
- 定位：上海 · 松江
