Os PROBLEMAS do BIG DATA

Ғылым және технология

12% DE DESCONTO EM QUALQUER COMPRA NA INSIDER COM O CUPOM CIENCIA12 👕
www.goldenpill.com.br/ad/dc-i...
---------------------------
Matricule-se na maior escola de tecnologia do Brasil com 15% de desconto e tenha acesso a mais de 1.450 cursos completos que vão alavancar a sua carreira!
www.goldenpill.com.br/ad/dc-a...
-----------------------------------------------------------------------------------
CARLOS MELO - Ciência Sem Fim #228
• CARLOS MELO - Ciência ...

Пікірлер: 127

  • @elitonrv2
    @elitonrv25 ай бұрын

    Sugestão para quem faz as thumbs, evita utilizar o vermelho na borda inferior. Pois pode dar a impressão que o vídeo já foi visualizado para alguns usuários.

  • @luizfaymes.pereira5073

    @luizfaymes.pereira5073

    5 ай бұрын

    Ótima sugestão.

  • @renanandre6031

    @renanandre6031

    5 ай бұрын

    Essa bordazinha vermelha é péssima

  • @PauloEstudos068

    @PauloEstudos068

    5 ай бұрын

    Verdade

  • @thayronilima7739
    @thayronilima77395 ай бұрын

    O cara tem tantas ideias e conceitos que quer repassar que é nítido o esforço pra explicar de forma coerente pra gente entender. Muito massa!

  • @vitorsantos2120

    @vitorsantos2120

    5 ай бұрын

    Tenho orgulho em ser amigo do Serjao

  • @joaopedromrodriguez
    @joaopedromrodriguez5 ай бұрын

    Gente, quando ele diz que é tanto dado que não dá pra armazenar não é que Google e Amazon não tem recurso pra isso. A questão é que armazenamento tem um custo, e processamento deles um custo maior ainda. A maioria das organizações que trabalham no campo da astronomia são governamentais, e não geram um lucro alto como empresas privadas. Ou seja, é custo pro governo, não se tem um orçamento infinito. Digo isso porque trabalhei com imagens de patologia (lâminas de biópsias escaneadas digitalmente a nível celular). Cada lâmina contém de 200Mb a 2GB, e milhares de biópsias são feitas todos os dias. Ou seja, o armazenamento disso pra uma empresa privada já era custoso e sem muito retorno, e por lei você só precisa ter esse dado digitalizado por 3 meses (a lâmina física 5 anos e o bloco da biópsia mais ainda). Resultado? Descarte dos dados assim que se vence o prazo, porque é inviável manter o armazenamento. Imagino que pela grandeza e quantidade dos dados o problema da astronomia seja parecido.

  • @guiolly

    @guiolly

    5 ай бұрын

    Existiria a possibilidade de precisar reprocessar a lâmina depois desse prazo?

  • @x.X.x_.

    @x.X.x_.

    5 ай бұрын

    Fui SysAdmin em um Hospital no Porto, Portugal. Um exame de TAC de um paciente de cerca de 2 min tem cerca de 145Gb e somos obrigados a armazenar o exame por 5 anos e pela lei, não podemos colocar o arquivo em um servidor cloud fora de Portugal. O custo para armazenar isso era gigantesco. No tempo que estava lá o hospital já chegou a gastar mais de 12 Milhões de Euros em Storage só para armazenamento de imagens de exames.

  • @eduardovinicius7436

    @eduardovinicius7436

    5 ай бұрын

    @@x.X.x_. Caraca 12 milhões, você viu o Project Silica da Microsoft?

  • @renanwilliamprado5380

    @renanwilliamprado5380

    5 ай бұрын

    ​​​​​@@eduardovinicius743612 milhões é significativo quando você olha isoladamente, mas pro hospital não é tanto. Aliás, não queira discutir com diretor de hospital mudanças na diretriz de orçamento. KKKK

  • @PauloRibeiro-bq8ew

    @PauloRibeiro-bq8ew

    5 ай бұрын

    @@x.X.x_. Cacilda, rpz se não evoluirmos tanto como ultimamente eu creio que esses dados atuais de tudo que temos na internet vai ser quase tudo apagado daqui há uns 100 anos

  • @SamioSousa
    @SamioSousa5 ай бұрын

    Em 7:45 ele cita o Censipam! Em breve serei servidor nessa casa. Passei para analista em sensoriamento remoto e vou trabalhar nessa área de monitoramento com imagens de satélite. Serjão, sou seu Fã, muito importante esse trabalho de divulgação da ciência que vc está fazendo.

  • @GlauberSilva333

    @GlauberSilva333

    5 ай бұрын

    como faz pra entrar nessa área ?

  • @marcelovictor2928

    @marcelovictor2928

    5 ай бұрын

    Parabéns cara!

  • @andrepeixoto4474

    @andrepeixoto4474

    5 ай бұрын

    Queima pestana​@@GlauberSilva333

  • @SamioSousa

    @SamioSousa

    5 ай бұрын

    @@GlauberSilva333 Para este órgão em específico é via concurso público. Mas para entrar na aérea vc pode estudar cursos de geotecnologias, sensoriamento remoto ou geoprocessamento. Não necessariamente graduação, existem cursos de pós, mas tbm há cursos profissionalizantes.

  • @SamioSousa

    @SamioSousa

    5 ай бұрын

    @@marcelovictor2928 Obrigado!

  • @natanielsoares702
    @natanielsoares7025 ай бұрын

    Caramba! o Serjao conseguiu conversar com o Elon Musk e ele ainda aprendeu português pra falar com Serjao, muito brabo

  • @paulabsantana

    @paulabsantana

    4 ай бұрын

    Ainda pegou um bronze no nordeste

  • @OliveiraDanilo
    @OliveiraDanilo4 ай бұрын

    Que qualidade de conversa. Sensacional 👏🏻👏🏻👏🏻

  • @Antoniocastagnoli
    @Antoniocastagnoli5 ай бұрын

    Trabalho na Confluent, a empresa por trás do que temos hoje de principal em stream de dados. La no 2:40, o Sacani fala algo muito legal e real: processamento de dados como tendência. Por exemplo, você já da uma limpa em tempo real quando ele sai do produtor, deixando a base muito mais leve.

  • @ffelegal

    @ffelegal

    4 ай бұрын

    Então voltamos ao paradigma de antes, como o Datawharehouse, de preparar o dado após extração? Trabalhei como DBA fazendo isso. Hoje no mundo do cloud não manjo muito, mas aprendi que em Data Lake você teoricamente só deposita os dados num storage e trata ele quanto precisar. Interessante isso.

  • @thelordkure
    @thelordkure5 ай бұрын

    Acho que o problema de armazenamento de dados está num passo atrás de como o dado é armazenado. Pela quantidade de dados que hoje temos, é extremamente importante identificarmos novos meios de armazenamento com capacidades extremamente grandes e baratas e com alta velocidades de escrita e leitura. Então o campo de pesquisas precisa correr. Depois disso, aí sim podemos pensar no modo de armazenar o dado, se necessário.

  • @GabrielOliveira-sq3sl
    @GabrielOliveira-sq3sl5 ай бұрын

    Correção : 3:26 é tempo polinomial e não exponencial. NP significa que você consegue verificar uma solução em tempo polinomial. Logo os algoritmos mais rapidos (P) tambem estão dentro de NP. Importante salientar que verificar uma solução é diferente de achar uma solução, os problemas que estão em P são os problemas que você consegue *achar* uma solução em tempo polinomal, logo se você acha em tempo polinomial você tambem verifica.

  • @GameDevComplete
    @GameDevComplete5 ай бұрын

    eu sempre comentei em roda de amigos de TI justamente isso, desde 4 anos atrás. Que as tecnologias de processamento de CPU e GPUs estava evoluindo a passos que as tecnologias de armazenamento não estavam, e ia ter uma escassez de armazenamento. O mercado precisa reinventar os HDs e SSDs para algo que armazene na casa dos Petabytes e não só em Terabytes.

  • @GameDevComplete

    @GameDevComplete

    5 ай бұрын

    para quem fala que esse não é o problema é porque não entende o gasto energético para manter esses equipamentos e consequentemente o valor final para o usuário por GB armazenado. Com o modelo atual a produção de HDs no mundo não está acompanhando a produção de informação, o que faz necessário o uso de uma nova tecnologia que produza em maior velocidade que os HDS/SSDs e armazene mais dados.

  • @eduardovinicius7436

    @eduardovinicius7436

    5 ай бұрын

    @@GameDevCompleteProcura sobre o Project Silica da Microsoft, acho que até hoje é o que vi de mais revolucionário para armazenar informação que nunca será alterada.

  • @GameDevComplete

    @GameDevComplete

    5 ай бұрын

    @@eduardovinicius7436 eu vi, ideia muuito boa, é uma direção para ideias melhores. Mas ainda achoq ue precisamos de tecnologias para armazenar em Petabytes e não Terabytes. Por exemplo, dessas placas de Silica, precisariam de 1000 placas dessa para 1 petabyte, ai complica ainda, porque não está acompanhando ainda a produção de dados no mundo. A curva de geração de dados é mais acentuada que o de desenvolvimento de armazenamento capaz de acompanhar.

  • @eduardovinicius7436

    @eduardovinicius7436

    5 ай бұрын

    @@GameDevComplete Realmente, mas até agora esse Project Silica é o que mais faz sentido que vi, é aprimorar e levar para Petabytes, mas o fato de consumir nada enquanto armazenado e não ter risco de corromper é incrivel.

  • @GameDevComplete

    @GameDevComplete

    5 ай бұрын

    @@eduardovinicius7436 sim, a microssoft sabe o caminho

  • @brunomoreira8211
    @brunomoreira821123 күн бұрын

    bah esse cara é excelente explicando, muito brabo

  • @augustojlle
    @augustojlle5 ай бұрын

    Muito bom 👍🏻

  • @veiomanco
    @veiomanco5 ай бұрын

    Gpu não minera BTC faz TEMPO, hj compram GPUs aos montes para prover poder para as IAs

  • @joao_pedro.A

    @joao_pedro.A

    5 ай бұрын

    Exatamente. Só pra expandir um pouco mais o assunto, a gente pode ver isso com o movimento da Nvdia de dizer que é uma empresa de hardware de IA, por exemplo. Na epoca do bitcoin ela lutava contra a mineração, mas na era da IA ela meteu os dois pés na lama. Foi-se a epoca que gpu era pra jogo e mineração.

  • @fredgomesrocha1
    @fredgomesrocha14 ай бұрын

    SERGIO SACCANI, THE BESTH OFF, TRANSMITINDO DA QUANTICA PARA OS ,NÃO NÍVELÁVEIS...SEM PALAVRAS....

  • @fabriciosiqueira4640
    @fabriciosiqueira46405 ай бұрын

    serjao pergunta uma coisa, o cara responde outra kkkkkkkkkkkkkkk

  • @PHservice
    @PHservice4 ай бұрын

    Nao daria pra tratar o sdados com maior qualidade possível? Tipo uma compactação, talvez mais apurada do que o WinRAR?

  • @roxcomunicacao
    @roxcomunicacao5 ай бұрын

    Joga no winzip

  • @kalymu5639
    @kalymu56395 ай бұрын

    esse é o Juliano Barata* do mundo da informática? até a voz é parecida!

  • @fredericoaraujo1555

    @fredericoaraujo1555

    5 ай бұрын

    Estava procurando na mente de onde eu conhecia ele kkk é isso aí, parece muito

  • @NokaVip
    @NokaVip5 ай бұрын

    e aqueles novos HDs em crystais?

  • @alvarobastolima
    @alvarobastolima5 ай бұрын

    Passa o Winrar que é sucesso!!

  • @DJNELBHLuiz
    @DJNELBHLuiz5 ай бұрын

    Nao seria uma nova forma de renda usuários comuns usarem seus gagets ou seus hds para criar sua própria empresa de armazenamento? Imagina o tanto de harwares ociosos que poderiam ser usados?

  • @dsgnvini
    @dsgnvini4 ай бұрын

    É aí que a computação quântica vai entrar. Só um hiper computador consegue realizar esse tipo de feito.

  • @devfromthefuture506
    @devfromthefuture5065 ай бұрын

    Big deita

  • @RafaelSobral
    @RafaelSobral5 ай бұрын

    Não é Bitcoin que demanda GPUs. É economicamente inviável minerar Bitcoin com GPUs.

  • @FernandoPaladini

    @FernandoPaladini

    5 ай бұрын

    O cara parece especialista, falou de conceitos que só se estudam em cursos de computação, entretanto aí ele falou merda. Fui criador da Fundação Bitcoin Brasil, e desde 2014 quando ela foi criada, já não era apropriado ou mesmo rentável usar GPUS pra mineirar Bitcoin, desde aquela época já existiam ASICs e eram usados em larga escala no mercado de mineração.

  • @joseeduardorossi
    @joseeduardorossi5 ай бұрын

    Tem um jeito de não perder os dados: compartilhar na rede pública por algumas horas. Deixar que interessados no mundo usem e trabalhem nestas informações. Abcs

  • @rafaelmaciel7103

    @rafaelmaciel7103

    5 ай бұрын

    Pra compartilhar tem que guardar em algum servidor

  • @edumalafaia11
    @edumalafaia115 ай бұрын

    Ou seja, o negocio do futuro vai ser compactacao de dados

  • @theDfLopes
    @theDfLopes5 ай бұрын

    PRa resolver armazenamento é só passar no ARJ - a

  • @Marchello495
    @Marchello4955 ай бұрын

    Muitos dados e pouca reflexão, qualidade e compreensão.

  • @JubileuGames473
    @JubileuGames4735 ай бұрын

  • @leonardojoy
    @leonardojoy5 ай бұрын

    Gpu pra minerar btc? já tem anos que não se usam mais gpus para este fim. processamento de IA é que inflacionou o preço das gpus depois do boom da mineração.

  • @Felipecha

    @Felipecha

    5 ай бұрын

    Realmente, o cara falou bosta aí...

  • @JoseHenriques97

    @JoseHenriques97

    5 ай бұрын

    Não tão usando como antes, mas ainda existem grandes fazendas de gpu operando

  • @leonardojoy

    @leonardojoy

    5 ай бұрын

    @@JoseHenriques97 Sim, mas não minerando btc, hj btc só se minera com Asic. Com gpu é só shitcoin.

  • @leandroferreira1418

    @leandroferreira1418

    5 ай бұрын

    Ele obviamente disse como uma brincadeira, até pq depois que o boom de mineração acabou, as GPU's tiveram uma boa queda de preços, junto da disponibilidade de chips novamente.

  • @menes6346

    @menes6346

    5 ай бұрын

    Cara tu entendeu e ta se fazendo

  • @user-sk4xm3rr1m
    @user-sk4xm3rr1m4 ай бұрын

    Por isso que está estudando python, C++ ou C# vai ganhar dinheiro que nem água.

  • @andretecgames
    @andretecgames5 ай бұрын

    big data tem veracidade,volume ,valor,variedade,velocidade

  • @egonkirchof
    @egonkirchof5 ай бұрын

    Se 20 mil pessoas filmam o mesmo show tao gerando 19.999 dados desnecessarios.

  • @Bandoubor
    @Bandoubor5 ай бұрын

    Esse cara parece versao low cost do elon kkkkk

  • @marxgrinton
    @marxgrinton5 ай бұрын

    Esse convidado lembra o Musk

  • @jameswhatson6397
    @jameswhatson63975 ай бұрын

    A pronúncia é "big deite", tem certeza?

  • @Ecologist_STALKER
    @Ecologist_STALKER5 ай бұрын

    Como assim Google e Amazon não conseguem armazenar os dados???? Quantos quettabytes pesa essa coisa toda??? Quantos zetabytes pesa um segundo de vídeo do espaço? kkkkkk

  • @YouTubeumamerda

    @YouTubeumamerda

    5 ай бұрын

    Tá duvidando do cara? Ele trabalha com isso cara

  • @Ecologist_STALKER

    @Ecologist_STALKER

    5 ай бұрын

    Não duvidei do Sacani. É uma dúvida real sobre o que ele disse... Não sobre ele.

  • @YouTubeumamerda

    @YouTubeumamerda

    5 ай бұрын

    @@Ecologist_STALKER achei que vc estava tirando sarro kkk

  • @rafaelgermano9360

    @rafaelgermano9360

    5 ай бұрын

    Mano eu não sei te responder mas pra vc ter noçao os dados gerados na producao da imadem do buraco negro foram transportados de aviao pq saia mais barato e rapido do que transferir pela rede online. tem isso explicado certinho em um video no canal do sacani.

  • @Ecologist_STALKER

    @Ecologist_STALKER

    5 ай бұрын

    ​@@rafaelgermano9360valeu

  • @igormaluly3067
    @igormaluly30674 ай бұрын

    serjao cabeludo

  • @Walison_Fernando
    @Walison_Fernando5 ай бұрын

    Eu assistindo sem entender nada do que estão falando 😅😂😂

  • @audirooliveira5709
    @audirooliveira57095 ай бұрын

    Pi pi

  • @TheSezarr
    @TheSezarr5 ай бұрын

    Como um eng de dados, só consigo imaginar que o problema seja outro, e não de armazenamento

  • @LuzeSombras88

    @LuzeSombras88

    5 ай бұрын

    Perguntas de leigo: qual é o problema? E computadores quânticos dariam conta de tudo isso?

  • @Gi_Gika

    @Gi_Gika

    5 ай бұрын

    Seria o processamento? Porque quando se adquire muita informação fica difícil processar tudo. Também sou leiga no assunto

  • @gepetovovo2509

    @gepetovovo2509

    5 ай бұрын

    rs.. todo mundo hoje em dia é engenheiro de dados, e o trabalho principal é motorista de APP.. uahahaha..

  • @stronks100

    @stronks100

    5 ай бұрын

    @@gepetovovo2509 Sacanagem...kk Mas essa área dele tem muito emprego, não acho que seja o caso.

  • @gepetovovo2509

    @gepetovovo2509

    5 ай бұрын

    @@stronks100 nada amigo, tá dificil, hoje todo mundo é engenheiro de dados, arquiteto.. etc.. só ver ai os grandes layoffs das bigtechs.. Python, ReactJS até gari de mendigo sabem e estão oferecendo agora 2 salários minimos pra JR.. e 10k pra baixo pra SR.. negócio tá bem feio de verdade, os unicos que estão festejando é os vendedores de cursos prometendo 18k de salário.. kk

  • @Gv_paradisecity171
    @Gv_paradisecity1714 ай бұрын

    👇👇👇👇👇👇❤❤❤❤❤❤

  • @mrpedrus77
    @mrpedrus775 ай бұрын

    Garimpe a conversa, voce vai perceber que o Sacani não entende nada do assunto, a não ser fica patinado nas mesmas frases!! hehehe....!!! Como em muitos outros assuntos, preste atenção, pense e reflita!

  • @c4rtl443

    @c4rtl443

    Ай бұрын

    Aqui o povo vem pra babar ovo Ele não fala nada com nada, mas o burros são tão burros q acham incrível

  • @Fernanda.k.
    @Fernanda.k.5 ай бұрын

    Podia ser: o problema do Big Globo. O menos denso abaixo vai pegar vocês 😂❤ Acabou pra vocês da bola giratória 🌍

  • @carlosdebarrosfernandes2050
    @carlosdebarrosfernandes20505 ай бұрын

    Bóa

  • @JubileuGames473
    @JubileuGames4735 ай бұрын

    primeiro

  • @andrepeixoto4474

    @andrepeixoto4474

    5 ай бұрын

    🧐

  • @TheRogerRoos

    @TheRogerRoos

    5 ай бұрын

    Obrigado

  • @samuel_coder
    @samuel_coder5 ай бұрын

    o chat gpt estava prono em 1970 👏👏👏👏👏👏👏

  • @str_br
    @str_br5 ай бұрын

    meta dado é mais forte que big data

  • @HenrykePiva
    @HenrykePiva4 ай бұрын

    Papo de quem nao manja de tecnologia tecnicamente, boa oratória nao faz uma boa conversa

Келесі