Twitter — построение высокопроизводительной архитектуры.
Приветствую своих читателей. График новых постов совсем сбился, это всецело моя вина. В закромах есть уже два материала готовых, ожидаю когда будет публикация на сайте журнала Хакер, с которым я теперь сотрудничаю. А сегодня я предлагаю краткий но интересный пост об архитектуре Twitter-а. Основой послужил это материал, крайне рекомендуемый для прочтения всем - Архитектура Twitter. Два года спустя (Иван Блинков, сайт http://www.insight-it.ru).
Cтатистика (взято из insight-it.ru):
- 752% рост аудитории за 2008 год
- 1358% рост аудитории за 2009 год (без учета API, по данным comScore)
- 120 миллионов зарегистрированных пользователей
- 9й сайт в мире по популярности (по данным Alexa, год назад был на 12 месте)
- 70 миллионов твитов в день (800 в секунду в среднем, пики до 2000)
- Каждый твит читают в среднем 600 раз, то есть 1.2 миллионов показов твитов в секунду
- 600 миллионов поисков в день
- Лишь 25% трафика приходится на веб сайт, остальное идет через API
- 6 миллиардов запросов к API в день, около 70 тысяч в секунду
А с помощью чего это достигается?
Twitter by the Numbers
[slideshare id=5181240&doc=by-the-numbers-100911160711-phpapp01]
Big Data in Real-Time at Twitter
[slideshare id=3770885&doc=qcon-100418224449-phpapp02]
NoSQL at Twitter (NoSQL EU 2010)
[slideshare id=3806196&doc=nosqlattwitter-nosqleu2010-100421124212-phpapp02]
Hadoop and Pig at Twitter - HadoopSummit2010
[slideshare id=4653147&doc=3hadooppigattwitterhadoopsummit2010-100630134438-phpapp01]
Protocol Buffers and Hadoop at Twitter
[slideshare id=3213632&doc=protobufsandhadoop-hug021709-100218001936-phpapp01]
Scaling Twitter with Cassandra
[slideshare id=3751439&doc=chirpstorage-100416145427-phpapp01]
Building Distributed Systems in Scala
[slideshare id=3693668&doc=phillyetepayne-100411190225-phpapp01]
Cassandra: Open Source Bigtable + Dynamo
[slideshare id=1786870&doc=cassandraopensourcebigtabledynamopresentation-090729134121-phpapp01]
Chirp 2010: Scaling Twitter
[slideshare id=3747027&doc=johnadams-scalingtwitter-100416061113-phpapp01]
О, спасибо за верхнюю презентацию, я на нее почему-то не наткнулся, обновлю статистику 🙂
Спасибо за отзыв — да случайно наткнулся когда готовил и искал презентации.
Кстати здесь статистику тоже можно было бы обновить)
уже 🙂
А еще очень рекомендую настроить в WP нормальную схему URL, «?p=1181» поисковиками не очень воспринимается…
Мне кажется поисковикам на URL в большинстве случаев неважно (кроме вариантов с хештегами и полностью ajax-приложениями, но это другой разговор). А мне не очень нравиться вариант с длинными урлами — часто они либо нечитабельные (если там кириллица), либо сложно передать как то — без сокращалки они не влазят в твит даже 🙂
В WP же встроенная сокращалка есть, в 3.1 на панельку администратора её даже вынесли.
Google точно видит в юрлах совпадение с поисковым запросом (если смог обратно растранслитерировать), даже в выдаче подсвечивается, да и по собственным ощущениям на большинство постов идет трафик с ПС по запросам, пересекающимся с названием.