Главная > Open Source, web2.0, веб-обзоры, Высокопроизводительная архитектура, Разное, Стартапы > Twitter — построение высокопроизводительной архитектуры.

Twitter — построение высокопроизводительной архитектуры.

6 Март 2011

Приветствую своих читателей. График новых постов совсем сбился, это всецело моя вина. В закромах есть уже два материала готовых, ожидаю когда будет публикация на сайте журнала Хакер, с которым я теперь сотрудничаю. А сегодня я предлагаю краткий но интересный пост об архитектуре Twitter-а. Основой послужил это  материал, крайне рекомендуемый для прочтения всем - Архитектура Twitter. Два года спустя (Иван Блинков, сайт http://www.insight-it.ru).

Cтатистика (взято из insight-it.ru):

  • 752% рост аудитории за 2008 год
  • 1358% рост аудитории за 2009 год (без учета API, по данным comScore)
  • 120 миллионов зарегистрированных пользователей
  • 9й сайт в мире по популярности (по данным Alexa, год назад был на 12 месте)
  • 70 миллионов твитов в день (800 в секунду в среднем, пики до 2000)
  • Каждый твит читают в среднем 600 раз, то есть 1.2 миллионов показов твитов в секунду
  • 600 миллионов поисков в день
  • Лишь 25% трафика приходится на веб сайт, остальное идет через API
  • 6 миллиардов запросов к API в день, около 70 тысяч в секунду

А с помощью чего это достигается?

Twitter by the Numbers



Big Data in Real-Time at Twitter



 

NoSQL at Twitter (NoSQL EU 2010)



 

Hadoop and Pig at Twitter - HadoopSummit2010



 

Protocol Buffers and Hadoop at Twitter



 

Scaling Twitter with Cassandra



 

Building Distributed Systems in Scala



 

Cassandra: Open Source Bigtable + Dynamo



 

Chirp 2010: Scaling Twitter



 

 

 

 

 

  • http://www.insight-it.ru Ivan Blinkov

    О, спасибо за верхнюю презентацию, я на нее почему-то не наткнулся, обновлю статистику :)

    • Aleks Raiden

      Спасибо за отзыв — да случайно наткнулся когда готовил и искал презентации.

      • http://www.insight-it.ru Ivan Blinkov

        Кстати здесь статистику тоже можно было бы обновить)

        • http://twitter.com/abrdev Abrdev Blog

          уже :)

  • http://www.insight-it.ru Ivan Blinkov

    А еще очень рекомендую настроить в WP нормальную схему URL, «?p=1181″ поисковиками не очень воспринимается…

    • http://twitter.com/abrdev Abrdev Blog

      Мне кажется поисковикам на URL в большинстве случаев неважно (кроме вариантов с хештегами и полностью ajax-приложениями, но это другой разговор). А мне не очень нравиться вариант с длинными урлами — часто они либо нечитабельные (если там кириллица), либо сложно передать как то — без сокращалки они не влазят в твит даже :)

      • http://www.insight-it.ru Ivan Blinkov

        В WP же встроенная сокращалка есть, в 3.1 на панельку администратора её даже вынесли.

        Google точно видит в юрлах совпадение с поисковым запросом (если смог обратно растранслитерировать), даже в выдаче подсвечивается, да и по собственным ощущениям на большинство постов идет трафик с ПС по запросам, пересекающимся с названием.

�������� ������� Developers.org.ua | BlogMemes.ru | | | ��� �������� ������ | ���������� ��������� ������ � ����� |