`
nanjingjiangbiao_T
  • 浏览: 2605446 次
  • 来自: 深圳
文章分类
社区版块
存档分类
最新评论

Flickr的服务器架构

 
阅读更多

Flickr的架构师Cal Henderson,在Flickr: Web Services这个PPT中,有对其架构比较全面的阐述。

Flickr运维团队的John Allspaw,有两个讲LAMP的幻灯,Hardware Layouts for LAMP Installationscapacity planning forLAMP,但应该是Flickr架构演进和运维的一些经验总结,其中也透露一些服务器架构。

John Allspaw也很强调测量(measurement)的重要性;他也很笔试benchmark,这个和我们的经验比较吻合,无论是对开源软件比如Cassandra的benchmark,或是自己开发的进程的性能测试,都与上线后运营的负载差异太大,以致对容量规划几乎没帮助。基本上需要在灰度发布后根据实际应用负载才能做比较靠谱的规划。

Flickr的DBADathan Vance Pattishall 的这个幻灯Federation at Flickr: DoingBillions of Queries Per Day

是说他们怎么做shard的。当然,里面说的一些小tips也比较受用的,比如 Swapiness set to 0,我们自己就曾有服务器进程被swapiness搞堵。其中提到的ticket server,则在Flickr的官方博客上的Ticket Servers: Distributed Unique Primary Keys on the Cheap做了详细讲解。

Flickr的前员工Mikhail Panchenko在Strange Loop 2010会议上做了标题为Flickr架构的演进(The Evolution of the Flickr Architecture)的演讲, InfoQ上有视频录像可以看,这里可以下载幻灯。

没错,是前员工,已经离开Flickr了,却在讲Flickr的架构。

看了视频,其实并没有讲太多技术架构的具体实现和设计。大多数时候在批评Flickr里头写的PHP代码,以及他对各种流行技术的看法。

包括对Foursqure前些时候的MogoDB宕机事件,他也认为不是MogoDB问题。

“This isn’t a MongoDB problem.

It’s an “It’s NoSQL, so I don’t have

to think about it” problem. ”

Flickr坚持用MySQL,他是这样说的:

“As far as I can tell, the

amount of effort spent

making various datasets fit

NoSQL databases is

equivalent to the time it

takes to get good at MySQL”

他说的3个have to很实在:

• You have to know what it is you need and

what your limits are

• You have to monitor for those limits

• You have to have a plan for what you’re

gonna do to continue avoiding those limits

他们也用了Redis,在他的那个offline tasks system,对Redis评价很高。

Cal Henderson的另一个幻灯expo08nyc_moving_pictures.pps,则是讲Flickr怎么实现视频的(里头对几种视频格式的总结也很深刻)。

分享到:
评论

相关推荐

    高性能高并发服务器架构大全

    整理的高性能高并发服务器架构文章,内容预览:  初创网站与开源软件 6  谈谈大型高负载网站服务器的优化心得! 8  Lighttpd+Squid+Apache搭建高效率Web服务器 9  浏览量比较大的网站应该从哪几个方面...

    国内图片网站Yupoo的架构

    之前向大家介绍过全球最大在线图片服务网站Flickr网站架构,Yupoo(又拍网)作为国内最大的图片服务提供商,我们也一起来看看它的架构,同样是提供图片服务,看看他与Flickr的差别在哪里,大家看完本文可以思考一下...

    网站架构的设计方案.doc

    越大的城市,机房价格越贵,从成本的角度看 可以在一些中小城市托管服务器,比如说北京的公司可以考虑把服务器托管在天津,廊 坊等地,不是特别远,但是价格会便宜很多。 现在的PHP框架有很多选择,比如:CakePHP,...

    clean-flickr-public-feed:The Flickr Public Feed-一种干净的方法

    清洁Flickr公共提要用例简短的实验,这是一个Android...资料库服务Flickr公共照片供稿,实现在域层中定义的接口。 可以轻松地用任何其他带有标签的照片来源替换。推介会负责表示逻辑。 拥有演示者,视图和导航器(基于

    TrackMyPath:用Kotlin编写的Android应用程序,演示了使用MVVM,Fused Location Provider,LifecycleService和Coroutines的干净架构。 用作实验室测试新的Android功能

    当应用程序从后台删除并且用户尚未停止跟踪时,跟踪将继续在服务中进行 请创建一个Flickr帐户并使用您自己的api密钥。 将其添加到FlickrApi文件中。 由Kotlin开发的具有Clean架构的MVVM模式。 干净的体系结构包括三...

    大数据云计算技术系列 NoSQL数据库学习教程(共71页).pdf

    5 Flickr架构经验 5 Twitter运维经验 5 运维经验 5 Metrics 5 配置管理 5 Darkmode 5 进程管理 5 硬件 5 代码协同经验 5 Review制度 5 部署管理 5 团队沟通 5 Cache 5 云计算架构 5 反模式 5 单点失败(Single Point...

    CRIOJO:一种用于编排服务的化学编程语言

    这种限制的一个例子是使用 Flickr 和 Picasa 等服务进行照片管理的情况,它们不仅在照片的组织方式上有所不同,而且在它们提供的服务上也有所不同。 两种服务的异构性导致互操作性问题,即适应、集成和协调问题。 ...

    嵌入式系统/ARM技术中的Web 2.0对于时代虚拟化的影响

    我们通过Facebook,MySpace和Flickr等网络工具进行沟通,也不忘记使用常规的电子邮件。我们能安心地在网上购物,得益于对原始协议的安全扩展,该协议现在称为 HTTPS("安全"部分已经被加入)。同时还有机对机(M2M)...

    表单的验证

    一旦UI设计与服务架构之间的范围被严格区分开来后,开发人员就需要更新和变化的技术集合了。  三、时刻想着用户  AJAX的最大机遇在于用户体验。在使应用更快响应和创新的过程中,定义Web应用的规则正在被重写...

    cadac:Cadac是图像共享门户,其后端是使用servlet在Java上构建的

    其他要求是IBM DB2和glassfish服务器。 Cadac是一个基于Web的数据库应用系统,以Model 2(MVC)架构实现,使用JSP,Java Servlet和DB2作为后端。 该系统类似于flickr和PhotoShelter,可由其客户使用以•创建自己的...

Global site tag (gtag.js) - Google Analytics