halfbloodrock
@halfbloodrock
Followers
1,836
Following
1,657
Media
728
Statuses
5,140
Explore trending content on Musk Viewer
#2024MAMAVOTE
• 1483555 Tweets
Liz Cheney
• 582030 Tweets
Mazón
• 378127 Tweets
Diddy
• 298058 Tweets
#HappyBirthdaySRK
• 241250 Tweets
Christmas
• 209449 Tweets
#الهلال_النصر
• 125844 Tweets
taemin
• 58368 Tweets
Noroña
• 52325 Tweets
Alito
• 52238 Tweets
Hugh Hewitt
• 37574 Tweets
Thanksgiving
• 30540 Tweets
للهلال
• 30353 Tweets
فوز الهلال
• 29320 Tweets
Interlagos
• 21663 Tweets
Nuketown
• 19159 Tweets
Nuria Montes
• 19008 Tweets
Murillo
• 16025 Tweets
القحطاني
• 14054 Tweets
Drudge
• 13498 Tweets
تاليسكا
• 11346 Tweets
مستر فيفا
• 10476 Tweets
مالكوم
• 10040 Tweets
老婆说了很多次办公室新配的电脑很慢，开pdf都卡，说比之前破电脑（只能跑xp系统）还要卡。当时换电脑时候办公室IT就说现在政策只能采购这个电脑，硬件是全国产化，性能差些。
我之前琢磨着估计内存小吧，这x86体系还能咋国产，今天发了一个系统截图来，震惊了，真的是国产CPU。。。
113
98
374
趁着滴滴宕机10小时，都说是Kubernetes升级引起的，刚好kubernetes是老本行，在eBay那几年，都是在做大规模kubernetes集群管理，kubernetes集群升级这块，正好蹭个热点，讲讲这几年在kubernetes上踩过的坑。
9
29
243
这位老哥说的句句在理，但是在国内，gap 一年多的，可能简历都过不了初筛。
去年招聘的时候，有个候选人技术和经验我觉得可以，US面试也pass，但是简历上连着经历两次裁员，recruit hr非常concern他个人背景，最终pass另外一位，我只能用平庸来形容。
25
25
230
案例二：
最近aws上做了迁移，发现nginx的cpu性能消耗是之前的两倍，查了程序配置都是一样，唯一的差别是cpu，老的是intel cpu，新的是AMD cpu，不都说AMD YES么， 怎么出现性能差这么大？
在intel官网上找到这个文章，Intel的QAT加速了SSL处理，后压测也复现了性能差。
6
16
153
最近刚好遇到这个issue，然后扫了一把全部数据库，主键ID即将用完的情况不占少数。。。
二十亿的单表其实也没那么稀奇，出问题的那张表其实也就存了三年的数据。。。
4
12
85
1. 在不跑任何workload的情况下，一个集群2w个节点也毫无压力，官方只是建议不要超过5k，并未限制不能超过5k
2. 真正的压力是pod等资源变化频繁，这对etcd的读写压力比较大，而etcd不是一个性能很高的数据库。比较常见做法是把event拆出来，扔进单独的etcd
2
5
48
公司某个服务，做了一些架构上的改动，花了大约2个月时间落地，一年省下了300多万的费用。。。不过然并卵。。。Manager并没有很在意这个cost。。。
15
3
32
k8s不是一个完美的东西，个人喜好厌恶也好，技术实现上纷争也好，每家公司都有自己的想法和做法，都可以理解。滴滴是不是真的因为集群挂了导致服务中断我们也不得而知
但是我看到借此尬吹elon对推特的裁员。。我实在是绷不住。。。。。。。。
趁着滴滴宕机10小时，都说是Kubernetes升级引起的，刚好kubernetes是老本行，在eBay那几年，都是在做大规模kubernetes集群管理，kubernetes集群升级这块，正好蹭个热点，讲讲这几年在kubernetes上踩过的坑。
9
29
243
2
3
29
做kubernetes最怕这种一知半解的文章来误导开发。。
local pv早就有很多种办法来做动态扩缩容。
cgroup v1 IO限制的缺陷主要在buffer IO这块，现在普遍使用nvme ssd的情况下，性能问题不是很明显，cgroup v2我暂时还未研究过
既然是分布式，你为何要怕掉了一个pod。。
3
5
24
问题十一：k8s网络2
eBay Pod ip是从tor switch上取的，一个rack上分配的ip数量决定了这个rack里的机器一共能起多少个pod
其实类似情况在calico上也存在，ip pool block要是配小了，很可能出现pod拿不到IP起不来而计算资源空闲的情况。调度器可不看IPAM里还有多少剩余IP
趁着滴滴宕机10小时，都说是Kubernetes升级引起的，刚好kubernetes是老本行，在eBay那几年，都是在做大规模kubernetes集群管理，kubernetes集群升级这块，正好蹭个热点，讲讲这几年在kubernetes上踩过的坑。
9
29
243
2
1
23
找fb的人问了一下，差不多是有这事，但是也没这么说。
背景是小扎每个月都开一次all hands，这个员工每次都问什么时候四天工作制，那天大概小扎心情不大好，怼回去说业界都很拼，竞争激烈，大家要加油。
这种事说不上谁对谁错，我司老板说的可比这个厉害多了。。。
说个真事，前段时间Meta开“民主生活会”，有员工问小扎，能不能实行一周四天工作制。小扎很不爽，说你看我们的竞争对手Tiktok，他们是996，Meta没让你们一周工作6天就很好了，还要4天工作制……
10
25
171
1
2
20
案例一：
某组在aws上升级RDS数据库过程中卡住了，不能回退也不能继续走下去，于是找了aws的support，又走aws的层层审批，最后aws后台kill掉这个RDS升级。But神奇的是：这个组在踩了这样一次坑，然后在又踩了同样的坑！
3
1
21
案例三
aws上起eks，基本不可能只在一个页面上点点就能拿到eks，要靠terraform或者eksctl才能比较快速的拿到一个集群
坑人的是，如果在init的时候，kube-proxy没有选择eks托管的，哪怕是eks带起来的，在后续的eks控制平面升级也不会升级kube-proxy，进而出现kube proxy不兼容新apiserver集群挂掉。。
2
0
19
问题八：不都说k8s高可用，弹性，分布式，咋还挂了？
应用多集群部署社区做的并不太好，原来的federation基本废掉了，而各家公司各有个的做法，有用第三方的，有用CI/CD实现的。
（反正我在eBay时候，那套federation做的是真的很难用）
用k8s不等于高可用，网站稳定性还是取决于草台班子的能力。
趁着滴滴宕机10小时，都说是Kubernetes升级引起的，刚好kubernetes是老本行，在eBay那几年，都是在做大规模kubernetes集群管理，kubernetes集群升级这块，正好蹭个热点，讲讲这几年在kubernetes上踩过的坑。
9
29
243
1
1
19
问题六：k8s可以应用无感知升级吗？
至少1.18之前不行
Kubelet升级之后要重新算下pod hash，会重建底层容器，不少应用其实不太能容忍这个动作，每次升级都要收到很多pod重启的抱怨
滴滴这个方案看起来ok但实际代码改动量不少，同时社区在1.18之后做了这个功能，所以对于滴滴文章上这点我是存疑的
趁着滴滴宕机10小时，都说是Kubernetes升级引起的，刚好kubernetes是老本行，在eBay那几年，都是在做大规模kubernetes集群管理，kubernetes集群升级这块，正好蹭个热点，讲讲这几年在kubernetes上踩过的坑。
9
29
243
0
2
19
争论一：天天云原生，原生哪去了？
按照CNCF的定义来说，现在基本上各个公司或多或少都在用这五个技术之一，但是你不能期望这几个技术是银弹，用了就高枕无忧。
合理的软件架构和基础架构，草台班子的能力才是稳定性的核心部分。
趁着滴滴宕机10小时，都说是Kubernetes升级引起的，刚好kubernetes是老本行，在eBay那几年，都是在做大规模kubernetes集群管理，kubernetes集群升级这块，正好蹭个热点，讲讲这几年在kubernetes上踩过的坑。
9
29
243
0
1
15
湾区某友和我说，他组里都是名校的，宾大，斯坦福的这些，最差也是UC San Diego，我说最差不是你吗。。他想了下，说shit是的，没人知道Nanjing University。。。😂😂😂
2
0
16
问题三：有没有不适合上k8s的应用？
有，如果应用没有做容器化，比如在eBay时候，有一些应用不做容器化改造，直接起一个带有ssh的容器，然后CI/CD连进去deploy tarball这种，不能说错，只能说。。拗造型上去的
还有像hadoop这类自带调度类的应用，不能利用到k8s自己的调度能力，也没有必要硬上。
趁着滴滴宕机10小时，都说是Kubernetes升级引起的，刚好kubernetes是老本行，在eBay那几年，都是在做大规模kubernetes集群管理，kubernetes集群升级这块，正好蹭个热点，讲讲这几年在kubernetes上踩过的坑。
9
29
243
1
1
17
问题五：自己改了代码怎么维护？
改了上游代码，最好的结果是，提给社区合并进主干。但是大部分情况是提上去的社区不接受，原因众多。
那在下个大版本升级时候，需要把改过的代码cherry-pick进去，解决冲突，过UT，过e2e，过benchmark
这活我从1.9干到了1.18，实在不想干了。。麻烦且技术含量不高。
趁着滴滴宕机10小时，都说是Kubernetes升级引起的，刚好kubernetes是老本行，在eBay那几年，都是在做大规模kubernetes集群管理，kubernetes集群升级这块，正好蹭个热点，讲讲这几年在kubernetes上踩过的坑。
9
29
243
3
1
14
问题一：是选择共用大集群，还是分散功能做小集群？
超大集群官方定义
不少人/公司喜欢吹嘘“我们集群规模超大，研发能力很强”，但是其背后是：集群升级非常头疼，不仅要升级kubernetes版本，还要升级os和容器runtime，一个3000+节点的集群，无缝升级集群一次最少两三天。
趁着滴滴宕机10小时，都说是Kubernetes升级引起的，刚好kubernetes是老本行，在eBay那几年，都是在做大规模kubernetes集群管理，kubernetes集群升级这块，正好蹭个热点，讲讲这几年在kubernetes上踩过的坑。
9
29
243
3
0
13
问题二：有状态应用到底能不能上k8s
k8s的statefulset解决的是pod启动顺序问题，其实真正的核心点是有状态应用如何存数据。
像es这种天生分布式的，可采用本地lvm卷做存储
像MySQL，官方推荐的是mysql cluster+proxy （但是我没在生产上跑过）
趁着滴滴宕机10小时，都说是Kubernetes升级引起的，刚好kubernetes是老本行，在eBay那几年，都是在做大规模kubernetes集群管理，kubernetes集群升级这块，正好蹭个热点，讲讲这几年在kubernetes上踩过的坑。
9
29
243
1
5
13
在小区牵头搞消杀自救行动，今天和居委会一把手直接联系得到几个信息：
1）我们街道120个小区所有阳性楼的生活垃圾都没有收走，没有人力了
2）居委会也没有任何资源了
3）今天的会议上即便基层向上反应也毫无用处，没人听
4）居委会鼓励小区自救，但是怕小区志愿者因此感染，他们自己也会过意不去
0
4
12
最近帮公司某个组面试SRE，接过来的不少简历最近的一份工作的title是架构师，manager等等。。
某个候选人现在担任manager，我问他你知道这个是工程师职位吧，他说知道，他就想做技术，不想管人。。。然后我就问了一个很简单的技术问题，答曰：我出方案的，具体实施给下面人。。。
6
0
11
厂里有个组做了个开源产品，每天会收到很多issues，于是他们将提issue人在GitHub上所有的信息，比如commit，issues，互动交流等等一切在GitHub找的到信息导入到spark，然后算出个分数，根据这个分数决定这个issue的处理优先级。。。。。。。。。
2
1
12
@mranti
这个应该是中文翻译的一个问题。
当一个观点抛出来时候，思考的是这个观点或者事物的逻辑是如何建立的，是不是符合常规逻辑，前后因果关系是否正确等等，也就是如何从A观点推导到B结论。
而杠精第一反应是结论错误，然后寻找证明自己正确的逻辑。
3
1
11
这事后续来了，其中一哥们虽然被开了，但是*被*要求工作交接到四月，账号保留到四月。。。这破公司早点关门吧
2
0
10
江苏内停靠的最好的服务区是沙溪。。。洗手间干净；食堂饭菜口味很好；还提供现磨咖啡
然鹅，这两天在浙江停靠的服务区一个赛一个。。
桐庐服务区。。既有肯德基也有星巴克。。
G60上的长安服务区，不仅有这些。。地下一层还有海宁皮革专场。。。。。
9
3
8
@ayanamist
曾经。。我们遇到一个问题，开了P1的issue给GCP，oncall的老哥上线后回复说“这个问题不值得P1，等我明天上班再看”。。。我说实话，我满是羡慕GCP的engineer的
0
1
10
仔细看了下AWS提供的SLA数据，RDS的SLA是99.95%。
公司内一帮DBA，连个主从切换都是手动做的，怎么好意思在wiki里写DB SLA 99.99% ?
3
0
10
Elon是个工作狂，他自己一周在工厂要待六天，发邮件要求大家在工厂待满40小时，但也并没要求更多，更多来说还是组织管理中效率和公平两点做的好，这点不是一两个人靠明星力量才能完成的。
Elon也是很有远见，2022年就发邮件给everyone，说对经济形势感觉不好，会layoff
1
0
9
大部门里一同学被毕业，心里不服，万字小作文发到大老板那。。。大老板亲自过问，好了，下有对策，邮件系统里对发给大老板的邮件做审查。
7
3
9
问题七：能跨版本升级吗？能跨多少版本？
不要跨超过三个版本：
熟读ChangeLog
曾经的坑，用户在pod里对secret做修改，1.10之后社区去除了这个功能，这直挺挺升级上去用户应用就挂了。这些变动在每个版本ChangeLog里都有
趁着滴滴宕机10小时，都说是Kubernetes升级引起的，刚好kubernetes是老本行，在eBay那几年，都是在做大规模kubernetes集群管理，kubernetes集群升级这块，正好蹭个热点，讲讲这几年在kubernetes上踩过的坑。
9
29
243
1
2
8
上海超级工厂现在极限大约在35秒左右。。。财经博主们要更新更新知识库了
特斯拉在上海的超级工厂和墨西哥比会差远了。
台媒节目说，特斯拉正在墨西哥打造全球最大工厂，未来45秒就能生产一台车，产能之大极其恐怖。
特斯拉最新武器“哥吉拉”是有史以来最大工业机器人，造车超轻松全程自动。
墨西哥工厂看来在特斯拉的全球布局中才是真正的核心。
7
6
56
1
1
8
去年打算去舟山，酒店都订好了，疫情复发了，没去成。
今年再打算去舟山，酒店钱都付了，还是不可退的，台风来了，酒店退了钱给我，然后疫情又复发了，又去不成了。
2
0
6
早晨和美国的manager 1:1，他对中国这种放假形式非常的疑惑。。。我完全理解他是怎么想的，套用中国的成语就是朝三暮四。。。
1
0
8
问题四：为啥要改k8s代码？For KPI？
k8s一直到1.12才趋于稳定，比如admission webhook是1.9才引入，到1.13稳定
之前admission上的一些需求只能改上游代码，改动提给社区，人家不一定要，而后面版本cherrypick这些自己改的代码，维护起来还是比较痛苦的。
不过到今天绝大部分需求都不用再改上游代码
趁着滴滴宕机10小时，都说是Kubernetes升级引起的，刚好kubernetes是老本行，在eBay那几年，都是在做大规模kubernetes集群管理，kubernetes集群升级这块，正好蹭个热点，讲讲这几年在kubernetes上踩过的坑。
9
29
243
1
0
8
小区今天新增疑似阳性，抗原两道杠，八个月的孕妇，去医院产检过程中感染了。小区人现在情绪稳定，毫无波澜，已经封麻了🤪🤪🤪
2
2
7
问题十：k8s网络1
k8s的网络复杂度比较高，整个体系属于能用，但是不怎么好用
对外暴露服务的ingress毕业比较晚，眼花缭乱的annotation，凑合能用。
热了很多年的mesh，data plane的复杂度成倍提升，不知道有几家公司落地了。
社区Gateway API终于GA了，勉强算有了复杂流量管理的能力。
趁着滴滴宕机10小时，都说是Kubernetes升级引起的，刚好kubernetes是老本行，在eBay那几年，都是在做大规模kubernetes集群管理，kubernetes集群升级这块，正好蹭个热点，讲讲这几年在kubernetes上踩过的坑。
9
29
243
1
2
8
争论三：yaml engineer？
很多人尤其是开发人员会抱怨k8s里spec各个字段复杂，“我又特么不是运维”
的确官方文档里对各个字段的解释比较复杂，但是要说复杂莫过于云厂商的API/SDK，terraform的代码
其实k8s成为了各个云厂商的接口标准了，一个helm包基本上可以不用修改，就在eks，gke，aks上部署起来
趁着滴滴宕机10小时，都说是Kubernetes升级引起的，刚好kubernetes是老本行，在eBay那几年，都是在做大规模kubernetes集群管理，kubernetes集群升级这块，正好蹭个热点，讲讲这几年在kubernetes上踩过的坑。
9
29
243
0
0
7
争论二：k8s管理有状态的应用不行？
在问题2中提到利用本地LVM做存储，至少eBay在生产环境里早已大规模应用
社区提供了rook-ceph这种利用本地盘做分布式存储的方式，也有pure storage这样商业公司提供的方案
有状态的应用上k8s，不要非黑即白，也不要硬拗造型，没有什么技术方案是完美无缺。
趁着滴滴宕机10小时，都说是Kubernetes升级引起的，刚好kubernetes是老本行，在eBay那几年，都是在做大规模kubernetes集群管理，kubernetes集群升级这块，正好蹭个热点，讲讲这几年在kubernetes上踩过的坑。
9
29
243
1
3
9
昨天和朋友吃饭，提到他们有几百个kata container，用户用的很high。。。high到直接上生产流量。。。不用太过操心用户😂😂😂
羡慕坏了。。不是羡慕用了kata，而是我这。。每天都有几个用户写spec遇到问题，不看文档不问Google，直接人肉GPT。。
1
1
7
Python Web开发，新手还是别拿Flask做入门了，用Flask入门全花时间去搭积木了。花一天看看Django入门教程，再花个一天看看bootstrap的文档，基本上就能上手做小项目。熟练Django之后再转向Flask也会快很多。
2
0
6
内部消息是副总理来之后对健康云不满意，派工信部人来换核酸码。我反正没看出来这个时间点折腾换核酸码有什么实质意义。。
6
1
6
其他条不好讲。。。第一条，产线是6x24。。。不少事情得等到专门停线时候才能做。。。吃瓜.gif
这次和Tesla非官方交流一下，感慨很深：1/n
Tesla 的很多工程师“全年无休，没有周末”，是湾区唯一比996还卷的公司… 而这些人这们干是自愿的，是被老板“蛊惑了”… 当然受不了的自然不会来，留下来的以此为乐，于是越来越卷…
57
116
667
2
1
6
过马路，斑马线上捡到一部iPhone，估计骑电动车的人掉了，正好对面是警务站，送去警察那，大过年的免的麻烦。。
警察说留个名字，好人好事，我说了算了算了，我不想麻烦，然后走挥挥衣袖走了，深藏功与名。。。
1
0
6
虽然本地机房比公有云成本低是共识了，但是这个例子本质是日常cost review不到位
题外话前公司有个哥们写了个bug，导致云上一下子申请了几百台pgsql，azure那边主动block了账户，事后和azure商量是程序bug导致的，微软免掉了大部分费用。
当然这个哥们错不会只犯一次，同样的bug又申请了几百台redis
1
0
6
高德地图每次在我走错路的时候总是会用林志玲的声音拖了很长的一段话，”向着诗和远方，走错路也不怕“。尼玛，我不要诗和远方，我知道我走错了，我要快速的知道下个路口怎么走。。。我好提前变道。。。
1
9
6
@laixintao
这个场景有点像我这里k8s集群做os upgrade，要重启机器。我们利用了pdb，服务设置了pdb，把集群里全部机器拉出来，根据pdb情况分出不同bucket，按bucket分批做。
0
0
5
@Manjusaka_Lee
好几个因素促成了k8s的流行。15年前后openstack整体质量撑不起内部私有云；容器的这种打包方式流行；k8s统一的api接口可以比较容易在多种公有云间迁移；微服务大行其道（我觉得这才是主因）
0
0
5
朋友老婆在方舱驻守，昨夜收进一对闹事夫妻，原因是说自己是阴性，不该被送进来。劝阻无效之后，朋友老婆被打，还有其他医生，劝阻的病人也一并被打，医院打了110，110表示不出警，等解封再来。
前几天大批警察有空去张江抓人，今天警察没空管理方舱。
行吧，只要给前两天张江事件洗地的都是臭傻逼！
2
1
4
AI臭皮匠群里一共三个人，周末的时候，一个在调参，一个在整gpu sharing，一个在AI公司里加班。。。我们都有“美好”的未来。。
1
0
4
厂里某个组的同学们这周中午特意找我吃饭，吐槽他们manager。。我说我看起来像好人吗？万一我把你们卖了你们咋办😂😂😂😂
事情其实很小，组里一个同学无心之失，少回复了一封邮件，例会时候manager对着全组说，爱干干，不爱干就滚。。。。
现在做manager的门槛的确有点低。。。
2
0
5
最近两个组撕逼争抢一个chatbot的业务，然后我学到了rasa+milvus就可以低成本实现一个ask机器人系统。。。
0
0
4
某个傻逼开发，把cmdb里的数据导出成json，把这几十万个.json存在内部的GitHub上，还设置成public的，搜代码时候全特么是他这个repo里垃圾信息。。。
1
2
3
@songma
最近家里装修家电产品在几个电商实体店比价，就算双十一jd价格也不算低，是一个稍有优惠的价格，但是的确送货快，服务好。大家电是苏宁实体店便宜些，jd上不少型号属于电商特供型号，价格是低，但是似乎属于缩水产品。taobao这块其实完全无法和jd苏宁比。
0
1
4
以我最近几年的观察，Apple这种抢购时候官网崩掉的，可能不一定是抢的人太多超出承载。。。。。。可能就是技术烂。。。。。。。。。。。。
3
0
4
最近开会改变了策略，只要有人会上讲“正确的废话”，就直接点出来这件事或者这个问题你要怎么落地或者怎么解决，如果他讲不出来，就over；如果再杠，就直接说你来解决。
0
0
4
案例四
案例二有人提到用nlb offload tls，但有个前提，在建nlb的时候就要把cert挂上去，否则后面用到这个功能，只能重建
此外aws lb的设计也是让人摸不着头脑，定位在四层的nlb可以做tls offload，但是其他7层规则又做不了
（aws的人和我说是有大客户要求，大概是tcp with tls，所以才有这个功能）
2
0
4
晚上被一学员气到吐血，前面的课程不看也罢，问的问题也是课程上反复讲过的，但是我最烦听到“我花钱买课程了，你就要怎样怎样”，直接拉黑这学员。。。代课赚的钱还不够我上下班的油费，我真是谢谢你教我做老师。。。
1
0
3
@CMGS1988
像/8这么大，假设pods和svc用到了1/10的IP，接下来问题就是iptables规则表巨大，用户实惨，改个配置等半天才sync到全集群，然后社区又觉得这不行啊，咱直接上kernel改吧，ebpf吧。。。这又要坑死一波人。。。
2
0
3
@onlyswan
这个情况应该是二手车过户或者车籍迁移，这个看当地规定，比如江苏省内在2019年取消了排放限制迁入。上海内部二手车交易在同为沪牌情况下不限排放（包括沪C）这个主要看各个省市的规定。
0
0
4