Os PROBLEMAS do BIG DATA
Ғылым және технология
12% DE DESCONTO EM QUALQUER COMPRA NA INSIDER COM O CUPOM CIENCIA12 👕
www.goldenpill.com.br/ad/dc-i...
---------------------------
Matricule-se na maior escola de tecnologia do Brasil com 15% de desconto e tenha acesso a mais de 1.450 cursos completos que vão alavancar a sua carreira!
www.goldenpill.com.br/ad/dc-a...
-----------------------------------------------------------------------------------
CARLOS MELO - Ciência Sem Fim #228
• CARLOS MELO - Ciência ...
Пікірлер: 127
Sugestão para quem faz as thumbs, evita utilizar o vermelho na borda inferior. Pois pode dar a impressão que o vídeo já foi visualizado para alguns usuários.
@luizfaymes.pereira5073
5 ай бұрын
Ótima sugestão.
@renanandre6031
5 ай бұрын
Essa bordazinha vermelha é péssima
@PauloEstudos068
5 ай бұрын
Verdade
O cara tem tantas ideias e conceitos que quer repassar que é nítido o esforço pra explicar de forma coerente pra gente entender. Muito massa!
@vitorsantos2120
5 ай бұрын
Tenho orgulho em ser amigo do Serjao
Gente, quando ele diz que é tanto dado que não dá pra armazenar não é que Google e Amazon não tem recurso pra isso. A questão é que armazenamento tem um custo, e processamento deles um custo maior ainda. A maioria das organizações que trabalham no campo da astronomia são governamentais, e não geram um lucro alto como empresas privadas. Ou seja, é custo pro governo, não se tem um orçamento infinito. Digo isso porque trabalhei com imagens de patologia (lâminas de biópsias escaneadas digitalmente a nível celular). Cada lâmina contém de 200Mb a 2GB, e milhares de biópsias são feitas todos os dias. Ou seja, o armazenamento disso pra uma empresa privada já era custoso e sem muito retorno, e por lei você só precisa ter esse dado digitalizado por 3 meses (a lâmina física 5 anos e o bloco da biópsia mais ainda). Resultado? Descarte dos dados assim que se vence o prazo, porque é inviável manter o armazenamento. Imagino que pela grandeza e quantidade dos dados o problema da astronomia seja parecido.
@guiolly
5 ай бұрын
Existiria a possibilidade de precisar reprocessar a lâmina depois desse prazo?
@x.X.x_.
5 ай бұрын
Fui SysAdmin em um Hospital no Porto, Portugal. Um exame de TAC de um paciente de cerca de 2 min tem cerca de 145Gb e somos obrigados a armazenar o exame por 5 anos e pela lei, não podemos colocar o arquivo em um servidor cloud fora de Portugal. O custo para armazenar isso era gigantesco. No tempo que estava lá o hospital já chegou a gastar mais de 12 Milhões de Euros em Storage só para armazenamento de imagens de exames.
@eduardovinicius7436
5 ай бұрын
@@x.X.x_. Caraca 12 milhões, você viu o Project Silica da Microsoft?
@renanwilliamprado5380
5 ай бұрын
@@eduardovinicius743612 milhões é significativo quando você olha isoladamente, mas pro hospital não é tanto. Aliás, não queira discutir com diretor de hospital mudanças na diretriz de orçamento. KKKK
@PauloRibeiro-bq8ew
5 ай бұрын
@@x.X.x_. Cacilda, rpz se não evoluirmos tanto como ultimamente eu creio que esses dados atuais de tudo que temos na internet vai ser quase tudo apagado daqui há uns 100 anos
Em 7:45 ele cita o Censipam! Em breve serei servidor nessa casa. Passei para analista em sensoriamento remoto e vou trabalhar nessa área de monitoramento com imagens de satélite. Serjão, sou seu Fã, muito importante esse trabalho de divulgação da ciência que vc está fazendo.
@GlauberSilva333
5 ай бұрын
como faz pra entrar nessa área ?
@marcelovictor2928
5 ай бұрын
Parabéns cara!
@andrepeixoto4474
5 ай бұрын
Queima pestana@@GlauberSilva333
@SamioSousa
5 ай бұрын
@@GlauberSilva333 Para este órgão em específico é via concurso público. Mas para entrar na aérea vc pode estudar cursos de geotecnologias, sensoriamento remoto ou geoprocessamento. Não necessariamente graduação, existem cursos de pós, mas tbm há cursos profissionalizantes.
@SamioSousa
5 ай бұрын
@@marcelovictor2928 Obrigado!
Caramba! o Serjao conseguiu conversar com o Elon Musk e ele ainda aprendeu português pra falar com Serjao, muito brabo
@paulabsantana
4 ай бұрын
Ainda pegou um bronze no nordeste
Que qualidade de conversa. Sensacional 👏🏻👏🏻👏🏻
Trabalho na Confluent, a empresa por trás do que temos hoje de principal em stream de dados. La no 2:40, o Sacani fala algo muito legal e real: processamento de dados como tendência. Por exemplo, você já da uma limpa em tempo real quando ele sai do produtor, deixando a base muito mais leve.
@ffelegal
4 ай бұрын
Então voltamos ao paradigma de antes, como o Datawharehouse, de preparar o dado após extração? Trabalhei como DBA fazendo isso. Hoje no mundo do cloud não manjo muito, mas aprendi que em Data Lake você teoricamente só deposita os dados num storage e trata ele quanto precisar. Interessante isso.
Acho que o problema de armazenamento de dados está num passo atrás de como o dado é armazenado. Pela quantidade de dados que hoje temos, é extremamente importante identificarmos novos meios de armazenamento com capacidades extremamente grandes e baratas e com alta velocidades de escrita e leitura. Então o campo de pesquisas precisa correr. Depois disso, aí sim podemos pensar no modo de armazenar o dado, se necessário.
Correção : 3:26 é tempo polinomial e não exponencial. NP significa que você consegue verificar uma solução em tempo polinomial. Logo os algoritmos mais rapidos (P) tambem estão dentro de NP. Importante salientar que verificar uma solução é diferente de achar uma solução, os problemas que estão em P são os problemas que você consegue *achar* uma solução em tempo polinomal, logo se você acha em tempo polinomial você tambem verifica.
eu sempre comentei em roda de amigos de TI justamente isso, desde 4 anos atrás. Que as tecnologias de processamento de CPU e GPUs estava evoluindo a passos que as tecnologias de armazenamento não estavam, e ia ter uma escassez de armazenamento. O mercado precisa reinventar os HDs e SSDs para algo que armazene na casa dos Petabytes e não só em Terabytes.
@GameDevComplete
5 ай бұрын
para quem fala que esse não é o problema é porque não entende o gasto energético para manter esses equipamentos e consequentemente o valor final para o usuário por GB armazenado. Com o modelo atual a produção de HDs no mundo não está acompanhando a produção de informação, o que faz necessário o uso de uma nova tecnologia que produza em maior velocidade que os HDS/SSDs e armazene mais dados.
@eduardovinicius7436
5 ай бұрын
@@GameDevCompleteProcura sobre o Project Silica da Microsoft, acho que até hoje é o que vi de mais revolucionário para armazenar informação que nunca será alterada.
@GameDevComplete
5 ай бұрын
@@eduardovinicius7436 eu vi, ideia muuito boa, é uma direção para ideias melhores. Mas ainda achoq ue precisamos de tecnologias para armazenar em Petabytes e não Terabytes. Por exemplo, dessas placas de Silica, precisariam de 1000 placas dessa para 1 petabyte, ai complica ainda, porque não está acompanhando ainda a produção de dados no mundo. A curva de geração de dados é mais acentuada que o de desenvolvimento de armazenamento capaz de acompanhar.
@eduardovinicius7436
5 ай бұрын
@@GameDevComplete Realmente, mas até agora esse Project Silica é o que mais faz sentido que vi, é aprimorar e levar para Petabytes, mas o fato de consumir nada enquanto armazenado e não ter risco de corromper é incrivel.
@GameDevComplete
5 ай бұрын
@@eduardovinicius7436 sim, a microssoft sabe o caminho
bah esse cara é excelente explicando, muito brabo
Muito bom 👍🏻
Gpu não minera BTC faz TEMPO, hj compram GPUs aos montes para prover poder para as IAs
@joao_pedro.A
5 ай бұрын
Exatamente. Só pra expandir um pouco mais o assunto, a gente pode ver isso com o movimento da Nvdia de dizer que é uma empresa de hardware de IA, por exemplo. Na epoca do bitcoin ela lutava contra a mineração, mas na era da IA ela meteu os dois pés na lama. Foi-se a epoca que gpu era pra jogo e mineração.
SERGIO SACCANI, THE BESTH OFF, TRANSMITINDO DA QUANTICA PARA OS ,NÃO NÍVELÁVEIS...SEM PALAVRAS....
serjao pergunta uma coisa, o cara responde outra kkkkkkkkkkkkkkk
Nao daria pra tratar o sdados com maior qualidade possível? Tipo uma compactação, talvez mais apurada do que o WinRAR?
Joga no winzip
esse é o Juliano Barata* do mundo da informática? até a voz é parecida!
@fredericoaraujo1555
5 ай бұрын
Estava procurando na mente de onde eu conhecia ele kkk é isso aí, parece muito
e aqueles novos HDs em crystais?
Passa o Winrar que é sucesso!!
Nao seria uma nova forma de renda usuários comuns usarem seus gagets ou seus hds para criar sua própria empresa de armazenamento? Imagina o tanto de harwares ociosos que poderiam ser usados?
É aí que a computação quântica vai entrar. Só um hiper computador consegue realizar esse tipo de feito.
Big deita
Não é Bitcoin que demanda GPUs. É economicamente inviável minerar Bitcoin com GPUs.
@FernandoPaladini
5 ай бұрын
O cara parece especialista, falou de conceitos que só se estudam em cursos de computação, entretanto aí ele falou merda. Fui criador da Fundação Bitcoin Brasil, e desde 2014 quando ela foi criada, já não era apropriado ou mesmo rentável usar GPUS pra mineirar Bitcoin, desde aquela época já existiam ASICs e eram usados em larga escala no mercado de mineração.
Tem um jeito de não perder os dados: compartilhar na rede pública por algumas horas. Deixar que interessados no mundo usem e trabalhem nestas informações. Abcs
@rafaelmaciel7103
5 ай бұрын
Pra compartilhar tem que guardar em algum servidor
Ou seja, o negocio do futuro vai ser compactacao de dados
PRa resolver armazenamento é só passar no ARJ - a
Muitos dados e pouca reflexão, qualidade e compreensão.
Gpu pra minerar btc? já tem anos que não se usam mais gpus para este fim. processamento de IA é que inflacionou o preço das gpus depois do boom da mineração.
@Felipecha
5 ай бұрын
Realmente, o cara falou bosta aí...
@JoseHenriques97
5 ай бұрын
Não tão usando como antes, mas ainda existem grandes fazendas de gpu operando
@leonardojoy
5 ай бұрын
@@JoseHenriques97 Sim, mas não minerando btc, hj btc só se minera com Asic. Com gpu é só shitcoin.
@leandroferreira1418
5 ай бұрын
Ele obviamente disse como uma brincadeira, até pq depois que o boom de mineração acabou, as GPU's tiveram uma boa queda de preços, junto da disponibilidade de chips novamente.
@menes6346
5 ай бұрын
Cara tu entendeu e ta se fazendo
Por isso que está estudando python, C++ ou C# vai ganhar dinheiro que nem água.
big data tem veracidade,volume ,valor,variedade,velocidade
Se 20 mil pessoas filmam o mesmo show tao gerando 19.999 dados desnecessarios.
Esse cara parece versao low cost do elon kkkkk
Esse convidado lembra o Musk
A pronúncia é "big deite", tem certeza?
Como assim Google e Amazon não conseguem armazenar os dados???? Quantos quettabytes pesa essa coisa toda??? Quantos zetabytes pesa um segundo de vídeo do espaço? kkkkkk
@YouTubeumamerda
5 ай бұрын
Tá duvidando do cara? Ele trabalha com isso cara
@Ecologist_STALKER
5 ай бұрын
Não duvidei do Sacani. É uma dúvida real sobre o que ele disse... Não sobre ele.
@YouTubeumamerda
5 ай бұрын
@@Ecologist_STALKER achei que vc estava tirando sarro kkk
@rafaelgermano9360
5 ай бұрын
Mano eu não sei te responder mas pra vc ter noçao os dados gerados na producao da imadem do buraco negro foram transportados de aviao pq saia mais barato e rapido do que transferir pela rede online. tem isso explicado certinho em um video no canal do sacani.
@Ecologist_STALKER
5 ай бұрын
@@rafaelgermano9360valeu
serjao cabeludo
Eu assistindo sem entender nada do que estão falando 😅😂😂
Pi pi
Como um eng de dados, só consigo imaginar que o problema seja outro, e não de armazenamento
@LuzeSombras88
5 ай бұрын
Perguntas de leigo: qual é o problema? E computadores quânticos dariam conta de tudo isso?
@Gi_Gika
5 ай бұрын
Seria o processamento? Porque quando se adquire muita informação fica difícil processar tudo. Também sou leiga no assunto
@gepetovovo2509
5 ай бұрын
rs.. todo mundo hoje em dia é engenheiro de dados, e o trabalho principal é motorista de APP.. uahahaha..
@stronks100
5 ай бұрын
@@gepetovovo2509 Sacanagem...kk Mas essa área dele tem muito emprego, não acho que seja o caso.
@gepetovovo2509
5 ай бұрын
@@stronks100 nada amigo, tá dificil, hoje todo mundo é engenheiro de dados, arquiteto.. etc.. só ver ai os grandes layoffs das bigtechs.. Python, ReactJS até gari de mendigo sabem e estão oferecendo agora 2 salários minimos pra JR.. e 10k pra baixo pra SR.. negócio tá bem feio de verdade, os unicos que estão festejando é os vendedores de cursos prometendo 18k de salário.. kk
👇👇👇👇👇👇❤❤❤❤❤❤
Garimpe a conversa, voce vai perceber que o Sacani não entende nada do assunto, a não ser fica patinado nas mesmas frases!! hehehe....!!! Como em muitos outros assuntos, preste atenção, pense e reflita!
@c4rtl443
Ай бұрын
Aqui o povo vem pra babar ovo Ele não fala nada com nada, mas o burros são tão burros q acham incrível
Podia ser: o problema do Big Globo. O menos denso abaixo vai pegar vocês 😂❤ Acabou pra vocês da bola giratória 🌍
Bóa
primeiro
@andrepeixoto4474
5 ай бұрын
🧐
@TheRogerRoos
5 ай бұрын
Obrigado
o chat gpt estava prono em 1970 👏👏👏👏👏👏👏
meta dado é mais forte que big data
Papo de quem nao manja de tecnologia tecnicamente, boa oratória nao faz uma boa conversa