2 279
Subscribers
+124 hours
-87 days
-3030 days
Data loading in progress...
Similar Channels
Tags Cloud
No data
Any problems? Please refresh the page or contact our support manager.
Incoming and Outgoing Mentions
---
---
---
---
---
---
Attracting Subscribers
December '24
December '240
in 0 channels
November '24
+2
in 0 channels
Get PRO
October '24
+5
in 0 channels
Get PRO
September '24
+5
in 0 channels
Get PRO
August '24
+24
in 0 channels
Get PRO
July '24
+31
in 0 channels
Get PRO
June '24
+26
in 0 channels
Get PRO
May '24
+35
in 0 channels
Get PRO
April '24
+13
in 0 channels
Get PRO
March '24
+37
in 0 channels
Get PRO
February '24
+40
in 0 channels
Get PRO
January '24
+33
in 0 channels
Get PRO
December '23
+120
in 2 channels
Get PRO
November '23
+548
in 2 channels
Get PRO
October '23
+470
in 1 channels
Get PRO
September '23
+1 553
in 0 channels
| Date | Subscriber Growth | Mentions | Channels | |
| 09 December | 0 | |||
| 08 December | 0 | |||
| 07 December | 0 | |||
| 06 December | 0 | |||
| 05 December | 0 | |||
| 04 December | 0 | |||
| 03 December | 0 | |||
| 02 December | 0 | |||
| 01 December | 0 |
Channel Posts
| 2 | No text... | 680 |
| 3 | https://b.a8dog.com/download | 706 |
| 4 | 破解版宝塔,解锁企业版,不用登录手机号,安全性自行判断 | 685 |
| 5 | 反正我今天是休息一天,毕竟后面打的都是身体战,如果现在不好好休息,后边绝对是撑不住的,而且Apache官方从来没有要求我们去复习,只是说了毕设范围和答辩时间,从来就没有复习环节,所以毕设的内容都是我们上课学过的,那些复习的都是上课没有好好学的,现在想投机取巧,反正我是不打算复习的,我是一直休息,写毕设的时候什么都不用写,老师到最后也会让你过的,不管你们怎么样,反正我今天是务必休息一天。 | 747 |
| 6 | 频道太乱了,留下了些有用的东西,把其他的都清空了 | 653 |
| 7 | 💬https://t.me/penguinSGKchat | 616 |
| 8 | 今天针对hadoop的日志采集功能,做了个实验,也算是对框架的学习。
使用框架:flume
Java版本:1.8
服务器:CentOS6.9
实验目的是为了掌握flume的基础概念和工作原理,实现实时日志数据采集并上传至HDFS
我把本次实验分为四个步骤
· 服务系统搭建与配置
· 配置采集方案
· 启动日志采集系统
· 测试日志采集系统
接下来是对本次实验的记录
服务系统的搭建
· 首先下载解压flume,此处略过,大家都会。
· 配置进入conf文件夹配置 flume-env.sh, netcat-logger.conf,等会我会把配置文件打包上传。
· 配置环境变量。将flume/bin目录添加进/etc/profile,别忘了source
· 启动flume。进入flume目录,使用指定采集方案启动flume:
flume-ng agent --conf conf/ --conf-file conf/netcat-logger.conf --name a1 -Dflume.root.logger=INFO,console
· 为了测试flume是否能够正常收集信息,我们这里模拟其他集群向flume发送请求,所以我们使用telnet向flume所在集群发送内容。
telnet localhost 44444
使用localhost是因为我发信息用的集群就是flume所在的集群,flume监听44444端口。
测试几条消息发送后,flume收到了消息。
至此,flume搭建完成。
2.配置采集方案
我们有三台机器,下文我们称之为01, 02, 03,这三台机器组成了集群。我们要实现的效果是01的数据被采集,通过02,03接收,这个好像叫负载均衡。
思路清晰,开始写采集方案。由于这里不便于放太多代码,我简单说一下。
2.1 在01上,我们创建exec-avro.conf文件,用于配置load balancing sink processor一级采集方案。
2.2 在02,03上分别创建avro-logger.conf文件,用于配置load balancing sink processor二级采集方案的一个Sink分支。
3.启动日志采集系统
分别在02,03上进入flume目录,使用avro-logger采集方案启动flume。
flume-ng agent --conf conf/ --conf-file conf/avro-logger.conf --name a1 -Dflume.root.logger=INFO,console
在01上,进入flume目录,使用exec-avro.conf采集方案启动flume。
flume-ng agent --conf conf/ --conf-file conf/exec-avro.conf --name a1 -Dflume.root.logger=INFO,console
启动后,如果01上显示02,03已经连接,则证明启动成功。
4.测试日志采集系统
我们在采集方案中写的采集目录为/root/logs,所以我们在01创建/root/logs目录。
mkdir -p /root/logs
我们重新打开一个01的终端,准备模拟生成日志数据。
执行如下命令,即可向监听的目录循环写入数据。
while true; do echo "hello flume..." >> /root/logs/123.log; sleep 1; done
输入此命令后,切换回原01窗口,查看flume提示,即可看到信息已经被采集。接下来要做的就是将输出重定向到HDFS即可。
至此,实验结束。小总结一下:flume主要是用来数据采集,将用户的行为信息以及日志保存到hdfs集群中或者本地,相当于是个搬运工。flume的单位是agent,它是一个jvm进程,包含了三个部分:source channel sink,source是接受数据到channel中,sink是将chaneel中的数据写入到hdfs或者本地。channel算是中间缓冲器,因为有了channel,才可以让source和sink处于不同的速率进行。
‼️我认为重要的是做好sink和channel之间的负载均衡,如果卡崩了那就玩完了... | 558 |
| 9 | Runway 发布视频生成模型 Gen-2 的运动笔刷功能
"Motion Brush/运动笔刷"的发布代表了模型可控性的一个重要里程碑,用户只需绘制一个区域或主题,选择一个方向并为运动添加强度即可。运动笔刷允许您为您的生成添加受控运动,从而更好地控制生成的内容。
Runway
投稿:@TNSubmbot
频道:@TestFlightCN | 398 |
| 10 | https://t.me/penguinSGK?boost
telegram新功能吗,这是干啥的谁知道🤔 | 387 |
| 11 | #思路
关于机器人的响应速度,我认为重点是网络条件和数据库查询,网络条件是硬伤,我们只能在优化数据库上下手。
关于如何优化数据库的查询,最重要的就是索引。索引存在的目的就是为了提升查询数据的效率,对于ORM框架来说索引的使用至关重要,但是ORM的优化往往不能顾及所有业务情况。本机器人没有使用ORM,不再赘述。
索引常用有B+树索引和哈希索引,简单说下区别
B+树索引:类似快表,可以做到模糊查询。B+树索引是传统意义上的索引,是目前关系型数据库系统中查找最为常用和最为有效的索引。B+树索引的构造类似于二叉树,根据键值可以快速找到数据。
Hash索引:哈希索引更适合全值匹配和精确查找,但这个特点对于社工库来说却是致命的,因为社工库往往需要用到 like 语句来对数据库进行模糊查询,所以我们不使用hash索引。
另外就是数据库的引擎,从mysql5.5版本之后,默认引擎变为了innodb。innodb为我们提供了很多的操作,但是社工库只需要查,不需要改,所以用不上事务处理功能,同时,这种操作也会影响效率。所以我们使用myisam引擎,myisam是mysql5.5之前的默认引擎,大家常见的MYD, MYI, frm文件,就是属于myisam的数据文件。myisam小巧轻便,性能极佳,缺点是不支持事务处理,而我们刚好不需要事务处理,所以myisam成为我们最好的选择。
本机器人是用的是:mysql5.7 myisam引擎 + B树索引
我用这种方法让他在破旧的服务器上运行了起来,还算不错。
懒得说更多了,都是一些瞎想,晚安! | 546 |
| 12 | #思路
原来emoji需要转换成unicode才能正常显示,我说为什么开发时好好的,放到服务器上就崩了。
emoji对应unicode: https://apps.timwhitlock.info/emoji/tables/unicode | 538 |
| 13 | sticker.webp | 383 |
| 14 | 能当你爷了 | 375 |
| 15 | 你多大了哥 | 374 |
| 16 | 反正你就那句话没实力 | 370 |
| 17 | 你想 咋想就咋想 | 364 |
| 18 | 不聊了没意思 | 364 |
| 19 | 你必是串子 | 357 |
| 20 | 还有falsk | 343 |
