Главная > Open Source, web2.0, веб-обзоры, Высокопроизводительная архитектура, Разное, Стартапы > Twitter — построение высокопроизводительной архитектуры.

Twitter — построение высокопроизводительной архитектуры.

6 марта 2011

Приветствую своих читателей. График новых постов совсем сбился, это всецело моя вина. В закромах есть уже два материала готовых, ожидаю когда будет публикация на сайте журнала Хакер, с которым я теперь сотрудничаю. А сегодня я предлагаю краткий но интересный пост об архитектуре Twitter-а. Основой послужил это  материал, крайне рекомендуемый для прочтения всем - Архитектура Twitter. Два года спустя (Иван Блинков, сайт http://www.insight-it.ru).

Cтатистика (взято из insight-it.ru):

  • 752% рост аудитории за 2008 год
  • 1358% рост аудитории за 2009 год (без учета API, по данным comScore)
  • 120 миллионов зарегистрированных пользователей
  • 9й сайт в мире по популярности (по данным Alexa, год назад был на 12 месте)
  • 70 миллионов твитов в день (800 в секунду в среднем, пики до 2000)
  • Каждый твит читают в среднем 600 раз, то есть 1.2 миллионов показов твитов в секунду
  • 600 миллионов поисков в день
  • Лишь 25% трафика приходится на веб сайт, остальное идет через API
  • 6 миллиардов запросов к API в день, около 70 тысяч в секунду

А с помощью чего это достигается?

Twitter by the Numbers

[slideshare id=5181240&doc=by-the-numbers-100911160711-phpapp01]

Big Data in Real-Time at Twitter

[slideshare id=3770885&doc=qcon-100418224449-phpapp02]

 

NoSQL at Twitter (NoSQL EU 2010)

[slideshare id=3806196&doc=nosqlattwitter-nosqleu2010-100421124212-phpapp02]

 

Hadoop and Pig at Twitter - HadoopSummit2010

[slideshare id=4653147&doc=3hadooppigattwitterhadoopsummit2010-100630134438-phpapp01]

 

Protocol Buffers and Hadoop at Twitter

[slideshare id=3213632&doc=protobufsandhadoop-hug021709-100218001936-phpapp01]

 

Scaling Twitter with Cassandra

[slideshare id=3751439&doc=chirpstorage-100416145427-phpapp01]

 

Building Distributed Systems in Scala

[slideshare id=3693668&doc=phillyetepayne-100411190225-phpapp01]

 

Cassandra: Open Source Bigtable + Dynamo

[slideshare id=1786870&doc=cassandraopensourcebigtabledynamopresentation-090729134121-phpapp01]

 

Chirp 2010: Scaling Twitter

[slideshare id=3747027&doc=johnadams-scalingtwitter-100416061113-phpapp01]

 

 

 

 

 

  • О, спасибо за верхнюю презентацию, я на нее почему-то не наткнулся, обновлю статистику 🙂

    • Aleks Raiden

      Спасибо за отзыв — да случайно наткнулся когда готовил и искал презентации.

      • Кстати здесь статистику тоже можно было бы обновить)

  • А еще очень рекомендую настроить в WP нормальную схему URL, «?p=1181» поисковиками не очень воспринимается…

    • Мне кажется поисковикам на URL в большинстве случаев неважно (кроме вариантов с хештегами и полностью ajax-приложениями, но это другой разговор). А мне не очень нравиться вариант с длинными урлами — часто они либо нечитабельные (если там кириллица), либо сложно передать как то — без сокращалки они не влазят в твит даже 🙂

      • В WP же встроенная сокращалка есть, в 3.1 на панельку администратора её даже вынесли.

        Google точно видит в юрлах совпадение с поисковым запросом (если смог обратно растранслитерировать), даже в выдаче подсвечивается, да и по собственным ощущениям на большинство постов идет трафик с ПС по запросам, пересекающимся с названием.

Developers.org.ua