Mover Média Sem Excesso

Stack Overflow: a arquitetura - edição 2016 Para ter uma idéia do que tudo isso faz, deixe-me começar com uma atualização no dia médio no estouro de pilha. Então você pode comparar com os números anteriores de novembro de 2013. heres um dia de estatísticas de 9 de fevereiro de 2016 com diferenças desde 12 de novembro de 2013: 209,420,973 (61,336,090) Solicitações HTTP para o nosso balanceador de carga 66.294.789 (30.199.477) daquelas foram cargas de página 1,240,266,346,053 (406,273,363,426) bytes (1,24 TB) de tráfego HTTP enviado 569,449,470,023 (282,874,825,991) bytes (569 GB) total recebido 3,084,303,599,266 (1,958,311,041,954) bytes (3,08 TB) total enviado 504,816,843 (170,244,740) Consultas SQL (apenas de solicitações HTTP) 5,831,683,114 (5,418,818,063) Redis atinge 17.158.874 (não rastreado em 2013) Pesquisas elásticas 3,661,134 (57,716) O Tag Engine solicita 607,073,066 (48,848,481) ms (168 horas) gasto executando consultas SQL 10,396,073 (-88,950,843) ms (2,8 horas) gasto em Redis atinge 147,018,571 (14,634,512) ms (40,8 horas) gasto na solicitação do Tag Engine 1,609,944,301 (-1,118,232,744) ms (447 horas) gasto na média ASP. Net 22,71 (-5,29) ms (19,12 ms na ASP. Net) para uma missão de 49,180,275 A página de íons renderiza a média de 11,80 (-53,2) ms (8,81 ms no ASP. Net) para 6,370,076 renderizações de página inicial. Você pode estar se perguntando sobre a drástica redução de ASP. Net no tempo de processamento em relação a 2013 (que foi de 757 horas) apesar de 61 milhões mais Solicita um dia. Isso deve-se a uma atualização de hardware no início de 2015, bem como a um alto desempenho no ajuste das próprias aplicações. Por favor, não esqueça: o desempenho ainda é um recurso. Se você está curioso sobre mais especificações de hardware do que estou prestes a fornecer não. A próxima publicação será um apêndice com especificações de hardware detalhadas para todos os servidores que executam os sites (Ill atualizá-lo com um link quando estiver ao vivo). Então, o que mudou nos últimos 2 anos Além de substituir alguns servidores e equipamentos de rede, não muito. Existe uma lista de alto nível de hardware que administra os sites hoje (observando o que é diferente desde 2013): 4 Servidores Microsoft SQL (novo hardware para 2 deles) 11 Servidores Web IIS (novo hardware) 2 Servidores Redis (hardware novo) 3 Tag Servidores de mecanismo (novo hardware para 2 dos 3) 3 servidores Elasticsearch (mesmo) 4 balanceadores de carga HAProxy (adicionados 2 para suportar o CloudFlare) 2 redes (cada um dos extensores de tecido Nexus 5596 Core 2232TM atualizado para 10Gbps em todos os lugares) 2 firewalls Fortinet 800C ( Substituiu as Cisco AS55 552-X) 2 roteadores Cisco ASR-1001 (roteadores Cisco 3945 substituídos) 2 roteadores Cisco ASR-1001-x (novos) O que precisamos para executar o estouro de pilha Isso não mudou muito desde 2013. mas devido às otimizações E o novo hardware mencionado acima, dependeram da necessidade de apenas um servidor web. Nós testámos, sem sucesso, isso, com sucesso, algumas vezes. Para ser claro: estou dizendo que isso funciona. Não estou dizendo que seja uma boa idéia. É divertido, porém, sempre. Agora que temos alguns números de linha de base para uma idéia de escala, vejamos como fazemos essas páginas da Web extravagantes. Uma vez que poucos sistemas existem em isolamento completo (e o nosso não é uma exceção), as decisões de arquitetura muitas vezes fazem muito menos sentido sem uma imagem maior de como essas peças se encaixam no todo. Essa é a meta aqui, para cobrir o grande quadro. Muitas postagens subseqüentes farão mergulhos profundos em áreas específicas. Esta será uma visão geral logística com os destaques de hardware apenas a próxima publicação terá os detalhes do hardware. Para aqueles de vocês aqui para ver o que o hardware parece desses dias, aqui estão algumas fotos que tirei do rack A (tem um rack irmão compatível B) durante nossa atualização de fevereiro de 2015: e se você estiver nesse tipo de coisa, heres O álbum inteiro de 256 imagens daquela semana (você está malditamente certo que números intencionais). Agora, vamos cavar no layout. Heres uma visão lógica dos principais sistemas em jogo: Regras de chão Aqui estão algumas regras que se aplicam globalmente, então eu não tenho que repeti-las com todas as configurações: tudo é redundante. Todos os servidores e equipamentos de rede possuem pelo menos 2x 10 Gbps de conectividade. Todos os servidores possuem 2 feeds de energia através de 2 fontes de energia de 2 unidades UPS apoiadas por 2 geradores e 2 feeds de utilidade. Todos os servidores têm um parceiro redundante entre o rack A e B. Todos os servidores e serviços são duplamente redundantes através de outro data center (Colorado), embora eu principalmente falando sobre Nova York aqui. Tudo é redundante. Os internets Primeiro você tem que nos encontrar o DNS. Encontrar-nos precisa ser rápido, então fazemos isso com o CloudFlare (atualmente) porque eles têm servidores DNS mais próximos de quase todo mundo em todo o mundo. Atualizamos nossos registros DNS através de uma API e eles fazem a hospedagem de DNS. Mas, uma vez que foram empurrões com problemas de confiança profundamente enraizados, ainda temos nossos próprios servidores de DNS. Se o apocalipse acontecer (provavelmente causado pela GPL, Punyon ou cache) e as pessoas ainda desejam programar para tirar a cabeça dele, bem puxa-os. Depois de encontrar o nosso esconderijo secreto, o tráfego HTTP vem de um dos nossos quatro ISPs (Nível 3, Zayo, Cogent e Lightower em Nova York) e flui através de um dos nossos quatro roteadores de ponta. Nós comparamos nossos ISP usando o BGP (bastante padrão) para controlar o fluxo de tráfego e fornecer diversas vias para que o tráfego atinja-nos de forma mais eficiente. Esses roteadores ASR-1001 e ASR-1001-X estão em 2 pares, cada um servindo 2 ISPs em modo ativo que também eram redundantes aqui. Embora eles estejam todos na mesma rede física de 10 Gbps, o tráfego externo está em VLANs isoladas isoladas separadas, as quais os balanceadores de carga também estão conectados. Depois de fluir pelos roteadores, você está indo para um balanceador de carga. Suponho que este seja um bom momento para mencionar que temos um MPLS de 10Gbps entre nossos 2 centros de dados, mas não está diretamente envolvido no atendimento aos sites. Usamos isso para replicação de dados e recuperação rápida nos casos em que precisamos de uma explosão. Mas Nick, isso não é redundante Bem, você está tecnicamente correto (o melhor tipo de correto), isso é um único ponto de falha no rosto. Mas espere. Nós mantemos 2 rotas OSPF de failover (o MPLS é 1, estes são 2 e 3 por custo) através de nossos ISPs. Cada um dos conjuntos mencionados anteriormente se conecta ao conjunto correspondente no Colorado, e eles carregam o tráfego de saldo entre na situação de failover. Poderíamos fazer ambos os conjuntos se conectarem a ambos os conjuntos e terem 4 caminhos, mas, bem, seja o que for. Se movendo. Load Balancers (HAProxy) Os balanceadores de carga estão executando o HAProxy 1.5.15 no CentOS 7. nosso sabor preferido do Linux. O tráfego TLS (SSL) também é encerrado em HAPROxy. Bem, esteja olhando duro para o HAProxy 1.7 em breve para obter suporte HTTP2. Ao contrário de todos os outros servidores com um link de rede dual de 10 Gbps LACP, cada balanceador de carga possui 2 pares de 10Gbps: um para a rede externa e outro para a DMZ. Essas caixas geram 64 GB ou mais de memória para manipular mais eficientemente a negociação SSL. Quando podemos armazenar em cache mais sessões TLS na memória para reutilização, há menos para recalcular as conexões subseqüentes com o mesmo cliente. Isso significa que podemos retomar as sessões de forma mais rápida e econômica. Dado que a RAM é bastante econômica em dólares, é uma escolha fácil. Os próprios equilibradores de carga são uma configuração bastante simples. Nós escutamos diferentes sites em vários IPs (principalmente para preocupações de certificados e gerenciamento de DNS) e rotear para vários backends baseados principalmente no cabeçalho do host. As únicas observações que fazemos aqui são limitantes de taxa e algumas capturas de cabeçalho (enviadas do nosso nível web) para a mensagem HAProxy syslog para que possamos gravar métricas de desempenho para cada solicitação. Bem cobre isso mais tarde também. Web Tier (IIS 8.5, ASP. Net MVC 5.2.3 e. Net 4.6.1) Os balanceadores de carga alimentam o tráfego para 9 servidores que nos referimos como primários (01-09) e 2 devmeta (10-11, nosso ambiente de teste ) Servidores web. Os servidores primários executam coisas como o estouro de pilha, carreiras e todos os sites do Exchange da pilha, exceto meta. stackoverflow e meta. stackexchange. Que são executados nos últimos 2 servidores. O aplicativo QampA primário em si é multi-inquilino. Isso significa que um único aplicativo atende os pedidos para todos os sites QampA. Dito de outra forma: podemos executar toda a rede QampA fora de um único conjunto de aplicativos em um único servidor. Outras aplicações como Careers, API v2, Mobile API, etc. são separadas. É o que são os níveis primário e dev no IIS: o que a distribuição da Stack Overflows na área da web parece no Opserver (o nosso painel interno de monitoramento): e como é que esses servidores web se parecem com uma perspectiva de utilização? Tão sobreprovisionados em postagens futuras, mas os itens em destaque são: compilações rolantes, espaço livre e redundância. Nível de serviço (IIS, ASP. Net MVC 5.2.3. Net 4.6.1 e HTTP. SYS) Atrás desses servidores web é o nível de serviço muito semelhante. Também está executando o IIS 8.5 no Windows 2012R2. Este nível executa serviços internos para suportar a camada de web de produção e outros sistemas internos. Os dois grandes jogadores aqui são Stack Server, que executa o mecanismo tag e é baseado em http. sys (não por trás do IIS) e Providence API (baseado em IIS). Fato divertido: eu tenho que definir a afinidade em cada um desses 2 processos para aterrar em soquetes separados porque o Stack Server apenas faz o SteamL2 e o cache L2 ao atualizar as listas de perguntas em um intervalo de 2 minutos. Essas caixas de serviço fazem levantamento pesado com a tag engine e backend APIs onde precisamos de redundância, mas não 9x redundância. Por exemplo, carregar todas as postagens e suas tags que mudam a cada n minutos do banco de dados (atualmente 2) não são tão baratos. Nós não queremos fazer essa carga 9 vezes no nível da web 3 vezes é suficiente e nos dá segurança suficiente. Também configuramos essas caixas de forma diferente no lado do hardware para ser melhor otimizadas para as diferentes características de carga computacional do motor de etiquetas e trabalhos de indexação elástica (que também são executados aqui). O motor de tag é um tópico relativamente complicado em si e será uma publicação dedicada. O básico é: quando você visita questiontaggedjava. Você está batendo no motor da tag para ver quais as perguntas que correspondem. Ele faz toda a nossa correspondência de tags fora da pesquisa. Então a nova navegação. Etc., todos estão usando este serviço para dados. Cache amp PubSub (Redis) Usamos o Redis para algumas coisas aqui e é sólido. Apesar de fazer cerca de 160 bilhões de operações por mês, cada instância está abaixo de 2 CPU. Geralmente muito mais baixo: temos um sistema de cache L1L2 com Redis. L1 é HTTP Cache nos servidores da Web ou qualquer outra aplicação que esteja em jogo. L2 está recuando para Redis e recuperando o valor. Nossos valores são armazenados no formato Protobuf. Via protobuf-dot-net por Marc Gravell. Para um cliente, estavam usando StackExchange. Redis escrito em casa e código aberto. Quando um servidor web recebe uma falta de cache tanto em L1 como L2, obtém o valor da fonte (uma consulta de banco de dados, chamada de API, etc.) e coloca o resultado no cache local e na Redis. O próximo servidor que deseja o valor pode perder L1, mas encontraria o valor em L2Redis, economizando uma consulta de banco de dados ou chamada de API. Nós também executamos muitos sites QampA, então cada site possui seu próprio cache L1L2: por prefixo de chave em L1 e por ID de banco de dados em L2Redis. Bem, vá mais fundo sobre isso em uma publicação futura. Juntamente com os 2 servidores Redis principais (mastertraves) que executam todas as instâncias do site, também temos uma instância de aprendizado de máquina escravizada em mais 2 servidores dedicados (devido à memória). Isso é usado para recomendar perguntas na página inicial, melhor correspondência para trabalhos, etc. É uma plataforma chamada Providence, coberta por Kevin Montrose aqui. Os principais servidores Redis possuem 256 GB de RAM (cerca de 90 GB em uso) e os servidores Providence possuem 384 GB de RAM (cerca de 125 GB em uso). Redis não é apenas para o cache, porém, ele também possui um mecanismo de assinante de amplificador de publicação, onde um servidor pode publicar uma mensagem e todos os outros assinantes recebem isso, incluindo clientes a jusante em escravos Redis. Usamos esse mecanismo para limpar caches L1 em ​​outros servidores quando um servidor web faz uma remoção para consistência, mas há outro ótimo uso: websockets. Websockets (NetGain) Usamos websockets para empurrar atualizações em tempo real para usuários, como notificações na barra superior, contagem de votos, novas contagens de nav, novas respostas e comentários e alguns outros bits. Os próprios servidores de soquete estão usando sockets em bruto executados no nível da web. É uma aplicação muito fina na nossa biblioteca de código aberto: StackExchange. NetGain. Durante o pico, temos cerca de 500.000 conexões simultâneas de websocket abertas. Isso é um monte de navegadores. Fato divertido: alguns desses navegadores foram abertos há mais de 18 meses. Não tinha certeza do porquê. Alguém deveria verificar se esses desenvolvedores ainda estão vivos. É o que esta semana o padrão de websocket concorrente se parece: por que os websockets são tremendamente mais eficientes do que as pesquisas em nossa escala. Podemos simplesmente empurrar mais dados com menos recursos desta forma, ao mesmo tempo em que somos mais instantâneos para o usuário. Eles não estão sem problemas. A porta e o esgotamento do comando do arquivo no equilíbrio de carga são problemas de diversão, bem, cobrem mais tarde. Pesquisa (Elasticsearch) Spoiler: não há muito para se entusiasmar por aqui. O nível da web está fazendo belas pesquisas de baquelas contra o Elasticsearch 1.4, usando o muito fino cliente StackExchange. Elastic de alto desempenho. Ao contrário da maioria das coisas, não temos planos de abrir esta fonte simplesmente porque ela apenas expõe um subconjunto muito fino da API que usamos. Eu acredito firmemente que liberar isso faria mais mal que bem com a confusão do desenvolvedor. Usamos elástico para pesquisa. Calculando questões relacionadas e sugestões ao fazer uma pergunta. Cada cluster Elastic (há um em cada centro de dados) possui 3 nós e cada site possui seu próprio índice. Carreiras tem alguns índices adicionais. O que torna nossa configuração pouco padrão no mundo elástico: nossos 3 clusters de servidores são um pouco mais robustos que a média com todo o armazenamento SSD, 192GB de RAM e rede dual de 10Gbps cada. Os mesmos domínios de aplicação (sim, foram ferrados com. Net Core aqui) no Servidor de Pilha que hospedam o mecanismo da tag também indexam continuamente os itens na Elasticsearch. Nós fazemos alguns truques simples aqui como ROWVERSION no SQL Server (a fonte de dados) em comparação com um documento de última posição em Elastic. Uma vez que se comporta como uma seqüência, podemos simplesmente pegar e indexar quaisquer itens que mudaram desde a última passagem. O motivo principal estava na Elasticsearch em vez de algo como pesquisa de texto completo em SQL é escalabilidade e melhor alocação de dinheiro. As CPUs SQL são comparativamente muito caras, o Elastic é barato e tem muito mais recursos nos dias de hoje. Por que não Solr. Queremos pesquisar em toda a rede (muitos índices ao mesmo tempo), e isso não foi suportado no momento da decisão. O motivo não estava em 2.x ainda é uma mudança importante nos tipos significa que precisamos reindexar tudo para atualizar. Eu simplesmente não tenho tempo suficiente para fazer as mudanças e o plano de migração necessários ainda. Bancos de dados (SQL Server) Usavam o SQL Server como nossa única fonte de verdade. Todos os dados em Elastic e Redis provêm do SQL Server. Executamos 2 clusters do SQL Server com Grupos de Disponibilidade AlwaysOn. Cada um desses clusters tem 1 mestre (tendo quase toda a carga) e 1 réplica em Nova York. Além disso, eles têm uma réplica no Colorado (nosso centro de dados DR). Todas as réplicas são assíncronas. O primeiro cluster é um conjunto de servidores Dell R720xd, cada um com 384GB de RAM, 4TB de espaço PCIe SSD e 2x 12 núcleos. Ele hospeda bancos de dados de pilha, bancos (Bad name, Ill explicam mais tarde), PRIZM e Mobile. O segundo cluster é um conjunto de servidores Dell R730xd, cada um com 768GB de RAM, 6TB de espaço PCIe SSD e 2x 8 núcleos. Este cluster corre tudo o resto. Essa lista inclui Carreiras. Abrir ID. Bate-papo. Nosso registro de exceção. E todo o outro site QampA (por exemplo, Usuário Super. Falha no Servidor, etc.). A utilização da CPU na camada do banco de dados é algo que gostamos de manter muito baixo, mas na verdade, é um pouco alto no momento, devido a alguns problemas de cache do plano foram abordados. A partir de agora, NY-SQL02 e 04 são mestres, 01 e 03 são réplicas que acabamos de reiniciar hoje durante algumas atualizações SSD. Heres sobre o que as últimas 24 horas se parecem: Nosso uso do SQL é bastante simples. O simples é rápido. Embora algumas consultas possam ser loucas, nossa interação com o próprio SQL é justamente uma baunilha. Temos algum legacy Linq2Sql. Mas todo o novo desenvolvimento está usando o Dapper. Nosso Micro-ORM de código aberto usando POCOs. Deixe-me colocar isso de outra forma: o Stack Overflow possui apenas 1 procedimento armazenado no banco de dados e pretendo mover esse último vestígio para o código. Ok, vamos mudar as mudanças para algo que possa ajudá-lo mais diretamente. Eu mencionei alguns desses acima, mas eu vou fornecer uma lista aqui de muitas bibliotecas. Net de código aberto que nós mantemos para o mundo usar. Nós abrimos porque eles não têm valor comercial básico, mas podem ajudar o mundo dos desenvolvedores. Espero que você ache estes úteis hoje: Dapper (.Net Core) - Micro-ORM de alto desempenho para ADO. Net StackExchange. Redis - Cliente Redis de alto desempenho MiniProfiler - Profiler leve que corremos em cada página (também suporta Ruby, Go, E Nó) Excepcional - Registrador de erros para SQL, JSON, MySQL, etc. Jil - Serializador JSON (de) serial de alto desempenho Sigil - A. Net Assistente de geração CIL (para quando C é rápido o suficiente) NetGain - Servidor de websocket de alto desempenho Opserver - Monitorando o painel de instrumentos, a maioria dos sistemas diretamente e alimentação de Orion, Bosun ou WMI também. Bosun - Sistema de monitoramento Backend, escrito em Go Next up é uma lista detalhada de hardware atual do que executa o nosso código. Depois disso, descemos a lista. Fique ligado. Por favor, ative o JavaScript para ver os comentários alimentados por Disqus. Tawani - eles não estão todos perdendo o ponto. O que você diz precisa ser definido usando termos genéricos. Você não pode ir com um único exemplo. Sem definições gerais, se 400 é 30 é ainda um outlier E se é 14 E 9 Onde você pára Você precisa de stddev39s, intervalos, quartis, para fazer isso. Ndash Daniel Daranas 2 de fevereiro de 09 às 17:05 Ao cortar, você não remove os valores abertos que você simplesmente não os inclui no cálculo. QuotRemovequot pode sugerir que os pontos não estão mais no conjunto de dados. E você não remove (ou ignora) porque eles são outliers o critério é (geralmente) apenas que eles estão em alguma fração extrema dos dados. Um valor não incluído em um meio cortado geralmente é apenas um pouco mais (ou menos) do que o valor mais alto (menor) incluído. Ndash Nick Cox 3 de dezembro 14 às 16:48 Eu não sei se tem um nome, mas você poderia facilmente encontrar uma série de algoritmos para rejeitar outliers: encontre todos os números entre os percentis 10º e 90º (faça isso, classificando, então, rejeitando O primeiro N10 e os últimos N10 números) e pegue o valor médio dos valores restantes. Classifique os valores, rejeite os valores altos e baixos, desde que, assim, o desvio padrão médio mude mais do que X. Classifique os valores, rejeite os valores altos e baixos enquanto, assim sendo, os valores em questão são superiores aos desvios padrão K do significar. A maneira mais comum de ter uma média robusta (a palavra usual que é resistente a dados ruins) é usar a mediana. Este é apenas o valor do meio na lista ordenada (a meio caminho entre os dois valores do meio), então, para o seu exemplo, seria 90,5 a meio caminho entre 90 e 91. Se você quiser entrar realmente em estatísticas robustas (como estimativas robustas Do desvio padrão, etc.) Eu recomendaria uma perda do código no grupo AGORAS, mas isso pode ser muito avançado para seus propósitos. Respondeu 13 de fevereiro às 9:22. Se tudo o que você tem é uma variável (como você implica), acho que alguns dos entrevistados acima estão sendo críticos de sua abordagem. Certamente, outros métodos que consideram coisas como alavancagem são mais estatisticamente saudáveis ​​no entanto, isso implica que você está fazendo modelos de algum tipo. Se você apenas tem, por exemplo, pontuação em uma prova ou idade de idosos (casos plausíveis do seu exemplo), acho prático e razoável suspeitar do outlier que você traz. Você pode ver a média geral e a média aparada e ver o quanto ela muda, mas isso será uma função do tamanho da amostra e o desvio da média para seus valores abertos. Com outliers atrevidos como esse, você certamente gostaria de analisar o processo de geração de dados para descobrir por que esse é o caso. É uma entrada de dados ou um acaso administrativo. Se assim for e é provável que não esteja relacionado com o valor verdadeiro real (que não é observado), parece-me perfeitamente adequado cortar. Se é um valor verdadeiro até onde você pode dizer que você pode não ser capaz de remover, a menos que você seja explícito em sua análise sobre isso. Respondeu 3 de dezembro 14 às 13:58 Meu livro de texto de estatísticas refere-se a isso como uma média de amostra em oposição a uma média populacional. A amostra implica que houve uma restrição aplicada ao conjunto de dados completo, embora nenhuma modificação (remoção) no conjunto de dados tenha sido feita. Respondeu 26 de março 16 às 3:13 0. Bem-vindo ao site. 1. Qual livro faz uma referência. 2. quotSample meanquot normalmente não se refere a uma média obtida após a remoção de outliers. Ndash Juho Kokkala 26 de março 16 às 8:06 Pode ser a mediana. Não sempre, mas às vezes. Não tenho ideia do que é chamado em outras ocasiões. Espero que isso tenha ajudado. (Pelo menos um pouco)