mk_maturingdg_102020.jpg

Ouder worden van gegevensbeheer en gegevensgeletterdheid om organisaties beter van dienst te zijn

by with No Comment & Education& MoreArticlesBusiness intelligencedata architectureData Articles | Data ScienceData Educationdata governanceData Governance & Data Quality | News & ArticlesData Governance Articlesdata literacyData Literacy ArticlesData Literacy Newsdata managementdata qualitydata stewardshipdata strategyData Strategy ArticlesData Strategy Newsdigital transformationEducation Resources For Use & Management of Data

Het volwassen worden van Data Governance betekent dat de opvatting en het beheer van een organisatie over haar gegevensactiva groeit, van een beperkt IT-projectconcept tot de bredere business. Organisaties kunnen deze aanpak niet langer negeren terwijl ze verder rijden digitaal transformeren, de bedrijfsefficiëntie en -effectiviteit verbeteren door middel van digitalisering en human resources. Al-Ruithe, et al. hamer dit punt naar huis door te stellen dat onderzoekers en praktijkmensen vaak de IT-governance die rond hardware en applicaties draait, verwarren met Gegevensbeheer.

Deze warboel van IT en Data Governance kan worden begrepen naarmate de technologie zichtbaarder lijkt binnen een digitaal transformatieproject. Denk aan Amazon en stel je een website voor waar klanten dingen kopen. Kopen een sneaker via de Nike-app op je telefoon en beschouw het als de digitale transformatie. Vervolgens wordt Data Governance toegewezen aan een bepaald IT-project of box op het enterprise Data Architecture-model.

Helaas stemmen veel organisaties Data Governance niet goed af op de zakelijke behoeften. Volgens The DATAVERSITY® Trends in Data Management 2020-rapportzei ongeveer 83% van de deelnemers aan de enquête dat hun organisatie ofwel een Data Governance had of er plannen voor had. Maar slechts 7,34% had Data Governance op een hoog niveau van volwassenheid. Zoals Jenny Schultz van Freddie Mac: “we hebben meer dan een paar keer geprobeerd het ‘data-ding’ te doen, gedreven door IT, maar het bleef nooit hangen omdat het bedrijf de waarde van het beheer ervan niet inzag.”

Dus, hoe kan een bedrijf zijn Data Governance volwassener maken om het bedrijf beter van dienst te zijn? Uit onderzoek komen ten minste vier gemeenschappelijke thema’s naar voren:

Verbind gegevensstrategie en gegevensbeheer

Volwassen organisaties aansluiten een zakelijke datastrategie met datagovernance. Ze bereiken dit doel door verder te kijken dan data-assets voor individuele projecten om te dienen en mee te evolueren met het bedrijf. Jeff Fuller schrijft in het North Carolina Medical Journal dat organisaties moeten weten welke gegevensbeheerstatistieken van belang zijn door zich opnieuw af te stemmen op de prioriteiten van de gegevensstrategie. Wanneer bedrijven kortzichtig worden door zich alleen te concentreren op datasets die het gemakkelijkst beschikbaar zijn, lijdt het vermogen om de zakelijke context van morgen te voorspellen of ermee om te gaan. Aan de andere kant, wanneer organisaties een goed afstemmen Gegevensstrategie met Data Governance richten ze zich op de kritieke gegevensactiva die de onderneming dienen.

Naast het beter aanpassen van informatie aan toekomstige bedrijfsbehoeften, vergroot de koppeling van de datastrategie met datagovernance het begrip van hoe goed het deze ondersteunt. Donna Burbank van Global Data Strategy, Ltd., creëerde een visual die een top-down en bottom-up zakelijk perspectief van datastrategie, technologie en datagovernance beschrijft.

Afbeelding tegoed: Wereldwijde datastrategie

Bijvoorbeeld, CEMEX ontwikkelde een datagedreven strategie met de hulp van Burbank. Het draaide om de klantervaring, vanaf het eerste contact tot de verkoop. CEMEX evalueerde zijn bestaande governance op zijn datastrategie en herbestemde het met behulp van “… kleine en flexibele digitale teams om prioriteit te geven aan projecten en verschillende interne klanten af ​​te stemmen op een gemeenschappelijk doel.” Door dit initiatief heeft CEMEX zijn datagovernance volwassen gemaakt in symmetrie met de CEMEX-datastrategie, door het beheer opnieuw af te stemmen op de bedrijfsdoelen.

Gebruik een Data Governance Maturity Model

Om te weten hoe Data Governance volwassen kan worden in de richting van een zakelijke mentaliteit, moet naast de Data Strategy, de uitvoering van Data Governance worden vergeleken met wat het voorheen was en met algemeen bekende best practices. Het betekent periodiek en objectief Data Governance beoordelen aan de hand van een volwassenheidsmodel.

Er bestaan ​​verschillende modellen met een duidelijke nadruk op verschillende doelen. Gartner, IBM, het Capability Maturity Model of Integration (CMMI), en het Data Management Maturity (DMM) -model vertegenwoordigen enkele veelvoorkomende voorbeelden. Het kiezen van een goed model hangt af van zakelijke uitdagingen, structuur en cultuur.

Bijvoorbeeld, moest de staat Arizona, een gedecentraliseerde regering die werkt op basis van consensus tussen instanties, een manier vinden om gegevens beter te delen. Jeff Wolkove en zijn team werkten aan een oplossing voor het probleem van Arizona. Ze gebruikten uiteindelijk een algemeen aanvaarde en gestandaardiseerde standaard voor gegevensbeheer, de Volwassenheid gegevensbeheer (DMM) model van CMMI (zie onderstaand diagram).

Afbeelding tegoed: Blauwdruk voor gegevens

Jeff en zijn team kozen voor het DMM CMMI-model om technologieneutrale feedback te geven aan de staat met handige tools om hun aanpak aan te passen. Tijdens de implementatie van het CMMI-model is een State-wide Executive Governance Council ontwikkeld, samen met een Data Stewardship-cursus.

De training leverde nuttige inhoud op voor het IT- en bedrijfspersoneel. Specifieke vaardigheden zorgden voor gegevensbeheer en een werkrelatie tussen IT en het bedrijfsleven, en zorgden ook voor een grotere datavolwassenheid van de staat Arizona.

Het belangrijkste is dat de staat Arizona een datavolwassenheidsmodel heeft gevonden dat voor zijn bedrijf werkte. In sommige gevallen moeten organisaties er een helemaal opnieuw opzetten. Bijvoorbeeld de regering van Zuid-Afrika had Data Governance nodig ter ondersteuning van de integratie van complexe datastromen en diverse behoeften van belanghebbenden. In de tussentijd hebben de overheidsdiensten weinig of geen Data Governance geïmplementeerd. Om grip te krijgen op zijn gegevensactiva en te zorgen voor een gedegen besluitvorming, ontwikkelden onderzoekers een Data Governance-volwassenheidsmodel, de DGMEM, en adviseerden dit. De DGMEM identificeerde hiaten en creëerde “bewustzijn van gegevensbeheerprocessen en de negatieve implicaties van niet-beheerde gegevens …” in de provincie Oost-Kaap in Zuid-Afrika. Organisaties moeten dus bedenken hoe een volwassenheidsmodel past bij de zakelijke behoeften.

Bouw geloofwaardige gegevensbeheer van bovenaf

Hoewel het gebruik van een volwassenheidsmodel kan helpen, vereist Data Governance geloofwaardigheid in de hele onderneming, vooral bij het bedrijf. Michele Goetz van Forester uitgelegd:

“Het doel van Data Governance is om geïnteresseerde partijen te katalyseren om een ​​cultuur van participatie, ondersteuning en duurzaamheid voor dataconformiteit en waarde op te bouwen.”

Dat vertrouwen krijgen kan moeilijk zijn, zoals onderzoekers aantonen. Een DATAVERSITY®-respondent zei bijvoorbeeld:

“We zien dat data governance noodzakelijk is om te slagen als een wereldwijd bedrijf. Maar sommige groepen in het bedrijf verzetten zich tegen de veranderingen die ermee gepaard gaan. ”

Gebouw Gegevensbeheer geloofwaardigheid komt ook voort uit de acties van het uitvoerende leiderschap om dit te ondersteunen. Het afgelopen jaar hebben organisaties de betrokkenheid van het senior management bij datamanagement vergroot. De Trends in Data Management 2020 rapporteren een stijging van de Chief Data Officer (CDO), 8,62%, als drijfveer voor Data Management voor de onderneming. Terwijl veel datamanagementinitiatieven nog steeds worden aangestuurd door IT; het onderzoek heeft geleid tot meer betrokkenheid van het bedrijfsleven, waaronder een Chief Financial Officer (CFO), Chief Accounting Officer (CAO) en Chief Operating Officer (COO). Deze verschuiving naar bedrijfsmanagers belooft meer vertrouwen in Data Governance.

Freddie Mac, een hypotheekfinancieringsbedrijf, ontdekte hoe het ondersteunen van bedrijven een Data Governance-merk maakte dat zou blijven en betrouwbaar zou zijn. Jenny Schultz en Stephanie Grimes van Freddie Mac zagen de geloofwaardigheid van Data Governance niet als een technologisch probleem, maar als een ‘communicatieprobleem tussen mensen en cultuur’. Ze haalden de juiste mensen erbij en communiceerden een datagovernanceprogramma op basis van de behoeften van het bedrijf. Freddie Mac’s hoofd van de door zaken gesteunde Schultz en Grimes is van plan verder te gaan. Terwijl Schultz en Grimes de feedback van andere werknemers in dienst namen en integreerden, werd degenen die niet wilden veranderen van het bedrijf ten goede, door het hoofd van het bedrijf verteld om mee te doen. Door de aanpak van Schultz en Grimes groeide het vertrouwen in Freddie Mac’s Data Governance en evolueerde dit naar een breder perspectief van zakelijke oplossingen.

Toon de waarde van datagovernance door middel van collectieve datageletterdheid

De geloofwaardigheid van gegevensbeheer bij het bedrijf moet worden voortgezet, en collectieve datageletterdheid maakt dit mogelijk. De Data Governance-structuur die tijdens het ene project werkte, moet worden toegepast en aangepast aan andere en moet omgaan met toekomstige hoge datakwaliteit en toegankelijkheid behoeften

collectieve datageletterdheid zorgt voor een gedeeld begrip en een gedeelde taal over het lezen, interpreteren, gebruiken en discussiëren met bedrijfsgegevens. Door de collectieve datageletterdheid te vergroten, blijft datagovernance levend en betrouwbaar, waardoor IT en het bedrijfsleven kunnen samenwerken.

Vanessa Lam, Optoro’s Business Intelligence Manager, herbeoordeeld en verbeterde gegevensbeheer. Ze identificeerde drie problemen onder bedrijfsanalisten: “angst voor gegevens, inconsistent gebruik van vocabulaire en statistieken, en wantrouwen ten opzichte van gegevens.” Ze werkte achteruit van deze problemen naar herstel, ook op lange termijn Gegevensbeheer processen. Optoro maakte van collectieve datageletterdheid een prioriteit voor nieuwe medewerkers, bestaande analisten en anderen binnen het bedrijf. Het educatieve programma versterkte de communicatie, het begrip van metrics en een ticketsysteem om feedback te geven. Deze aanpak demonstreerde de continue waarde en flexibiliteit van Data Governance.

Zoals bovenstaande voorbeelden laten zien, kunnen organisaties vastlopen in het naderen Gegevensbeheer vanuit een informatietechnologie kortetermijnprojectperspectief. Om volwassen te worden, hebben organisaties een bredere zakelijke benadering van Data Governance nodig. Het afstemmen van datagovernance op een goede datastrategie, het kiezen van een datavolwassenheidsmodel, het opbouwen van geloofwaardigheid en het tonen van waarde door middel van collectieve datageletterdheid helpt organisaties om af te stappen van een IT-projectperspectief naar het voordeel van de onderneming en het digitaal transformeren ervan.

Afbeelding gebruikt onder licentie van Shutterstock.com

kf_dpo_052919.jpg

Dus u wilt functionaris voor gegevensbescherming worden?

by with No Comment & Education& MoreArticlesBI / Data Science ArticlesBI / Data Science NewsBig DataBusiness intelligenceData Articles | Data ScienceData EducationData Governance & Data Quality | News & ArticlesData Governance Articlesdata mining platformsData protection officerdigital marketingDPOEducation Resources For Use & Management of DataEnterprise Information ManagementGDPRGDPR finesInformation Management ArticlesLGDPRight to be ForgottenSaaSsocial media platforms

De rol van Functionaris Gegevensbescherming (FG) is een beveiligingsfunctie en is een vereiste per de Algemene Verordening Gegevensbescherming (AVG) en de Braziliaanse Lei Geral de Proteção de Dados (LGPD). Het is redelijk om te verwachten dat de Verenigde Staten de komende jaren een eigen versie van de AVG zullen ontwikkelen. Veel ondernemingen die internetzaken in Europa doen, hebben een functionaris voor gegevensbescherming moeten inhuren. Deze personen zijn verantwoordelijk voor het toezicht op de gegevensbeschermingsstrategieën en voor het waarborgen van de naleving van de artikelen 37, 38 en 39 van de AVG. Alle bedrijven die de persoonsgegevens van EU-burgers verzamelen of verwerken, zijn op grond van artikel 37 verplicht om een ​​DPO te hebben.

Een functionaris voor gegevensbescherming is ook verantwoordelijk voor het trainen en opleiden van management en personeel in het belang van nalevingsvereisten en het uitvoeren van regelmatige beveiligingsaudits. De functionaris voor gegevensbescherming fungeert ook als het contactpunt tussen de organisatie en eventuele Toezichthoudende autoriteiten toezicht houden op gegevensgerelateerde activiteiten.

Europeanen maakten zich zorgen over het misbruik van big data, en hun individuele privacy. Als gevolg hiervan eisten het Europees Parlement, de Europese Raad en de Europese Commissie de verplichte oprichting van een DPO voor alle organisaties die aanzienlijke hoeveelheden persoonlijke gegevens.

Particuliere bedrijven hoeven alleen een functionaris voor gegevensbescherming aan te stellen als ze betrokken zijn bij “kernactiviteiten” die een “grootschalige en systematische” monitoring van gegevens vereisen, of als ze een grote organisatie zijn met honderden of duizenden werknemers. De wet is van toepassing op organisaties die de gegevens van EU-ingezetenen controleren of verwerken, en een groot aantal bedrijven heeft moeite om hieraan te voldoen.

Over het algemeen is de grootte van een organisatie niet zo belangrijk als de hoeveelheid persoonlijke gegevens die het verwerkt. Grote organisaties met meer dan 250 personeelsleden moeten echter doorgaans een functionaris voor gegevensbescherming instellen. Kleinere organisaties hoeven mogelijk geen DPO aan te stellen, afhankelijk van de hoeveelheid persoonsgegevens die wordt verwerkt en het soort bedrijf.

Bij overheidsinstanties moet een DPO worden aangesteld. In wezen moet elke organisatie die regelmatig persoonsgegevens op grote schaal verwerkt, een DPO hebben. Dit omvat organisaties die software-as-a-service (SaaS), sociale mediaplatforms, gezondheidszorgdiensten, onderwijsinstellingen, dataminingplatforms en digitale marketing- en advertentieservices leveren.

Opgemerkt moet worden dat elke organisatie die geen functionaris voor gegevensbescherming aanwijst, moet bewijzen waarom ze geen functionaris voor gegevensbescherming hoeft aan te stellen. Een kleine organisatie moet een interne analyse uitvoeren en het besluit om geen DPO aan te stellen moet worden vastgelegd, samen met de redenen waarom. Het geregistreerde document moet mogelijk worden verstrekt in het geval van een nalevingsaudit.

De AVG werd op 25 mei uitvoerbaarth, 2018. De AVG is noch een richtlijn, noch een suggestie. Het is een groep wetten en is direct bindend en van toepassing, en degenen die zich niet aan de regels houden, kunnen dat wel zijn onderworpen aan boetes.

Belangenconflicten vermijden

De Data Protection Officer rapporteert rechtstreeks aan het hoger management. Het is bedoeld als een professionele functie en de primaire taken van de DPO zijn de communicatie met andere professionals. Bovendien kan er geen belangenconflict zijn met betrekking tot hun verplichtingen tot naleving met de AVG. Om deze reden wordt een onafhankelijke functionaris ten zeerste aanbevolen, in plaats van de verantwoordelijkheden in een bestaande beveiligings- of IT-functie te leggen.

De GDPR stelt de functionaris voor gegevensbescherming moet in staat zijn zijn taken onafhankelijk uit te voeren en mag niet worden “gestraft of ontslagen” voor het uitvoeren van die taken. (De loyaliteit van de DPO is aan het grote publiek, niet aan het bedrijf. Het salaris van de DPO kan worden beschouwd als een belasting voor zakendoen op internet.) Philip Yannella, een advocaat in Philadelphia bij Ballard Spahr, zei:

“Een functionaris voor gegevensbescherming kan niet worden ontslagen vanwege de beslissingen die hij of zij in die rol neemt. Dat beangstigt sommige Amerikaanse bedrijven, die gewend zijn om naar believen te werken. Als een functionaris voor gegevensbescherming iemand binnen een organisatie is, moet hij of zij een expert zijn op het gebied van AVG en gegevensprivacy. “

Het niet hebben van een functionaris voor gegevensbescherming kan behoorlijk duur worden, wat resulteert in hoge boetes voor gegevensverwerkers en controllers voor niet-naleving. Boetes worden beheerd door toezichthoudende autoriteiten van de lidstaten die een klacht hebben ontvangen. Yannella vervolgde: ‘Niemand weet nog wat voor gedrag zou leiden tot een hoge boete. Veel bedrijven wachten om te zien hoe dit allemaal losbarst en staan ​​klaar om te zien op wat voor soort bedrijven en activiteiten de EU-regelgevers zich richten met vroege handhavingsmaatregelen. “

Vereisten van de functionaris voor gegevensbescherming

Hoewel de AVG geen specifieke lijst met referenties bevat voor een functionaris voor gegevensbescherming, vereist deze wel dat een functionaris voor gegevensbescherming “een deskundig begrip heeft van de wetten en praktijken inzake gegevensbescherming”. Dit betekent in feite een grondig begrip van de AVG. De AVG stelt ook dat de expertise van de DPO moet passen bij de gegevensverwerkingsactiviteiten die worden gebruikt en het niveau van beveiliging dat vereist is om de persoonsgegevens te beschermen.

Een van de verantwoordelijkheden is om toezichthoudende autoriteiten op de hoogte te stellen van datalekken, en dit moet binnen 72 uur na het ontdekken van een datalek gebeuren. De DPO is ook verantwoordelijk voor het assisteren bij het opzetten van een “recht om te worden vergeten” -programma, wanneer individuen verzoeken hun gegevens te verwijderen van de computers van een organisatie. De DPO is ook verantwoordelijk voor het trainen en opleiden van personeel over belangrijke nalevingsvereisten.

Een DPO kan een controller of een technicus zijn, als ze aan de vereisten voldoen, en dit kan een waardevolle oplossing zijn voor een klein bedrijf. Gerelateerde organisaties kunnen dezelfde functionaris voor gegevensbescherming delen en gezamenlijk toezicht houden op de gegevensbescherming, maar alle gegevensbeschermingsactiviteiten moeten door dezelfde persoon worden beheerd en de gegevens moeten gemakkelijk toegankelijk zijn voor personeel van de gerelateerde organisaties, aangezien dit nodig is.

De contactgegevens van de DPO moeten openbaar beschikbaar zijn en worden verstrekt aan passende regelgeving toezichthoudende instanties. AVG Artikel 39 geeft een opsomming van de verantwoordelijkheden van de DPO, zoals:

  • Houdt gedetailleerde registers bij van alle gegevensverwerking, die op verzoek openbaar moet worden gemaakt
  • Voert beveiligingsaudits uit om proactief naleving te garanderen
  • Bewaakt de prestaties en geeft advies over inspanningen op het gebied van gegevensbescherming
  • Fungeert als contactpersoon tussen de organisatie en de toezichthoudende autoriteiten van de AVG
  • Informeert particulieren over hoe hun gegevens worden gebruikt, hun rechten op het wissen van gegevens en de maatregelen die zijn genomen om persoonlijke informatie te beschermen

Gewenste vaardigheden voor functionarissen voor gegevensbescherming

Sommige organisaties zullen proberen deze taken toe te wijzen aan een persoon van de IT-afdeling, en voor een kleine organisatie kan dit werken. De nieuwe functionaris voor gegevensbescherming moet echter een grondige kennis hebben van de AVG en Amerikaanse regelgeving, en het vermogen om naleving ervan te verzekeren. Hoewel dit in eerste instantie lijkt op het volgen van een checklist, is dit geen onzinnige taak. Bekendheid met de wet- en regelgeving met betrekking tot de data-activiteiten van de organisatie is een absolute noodzaak.

Een persoon met een paar jaar ervaring als IT-beveiligingsprofessional en het vermogen om te leren, zou een ideale kandidaat kunnen zijn voor een DPO-functie. Onder de AVG zijn organisaties verantwoordelijk voor veel verschillende soorten inbreuken op de beveiliging, en de functionaris voor gegevensbescherming moet op de hoogte blijven van de beste praktijken en alle passende maatregelen implementeren.

Goede communicatieve vaardigheden zouden ook een belangrijk pluspunt zijn voor deze baan. De mogelijkheid om effectief te communiceren met verschillende afdelingen en individuen binnen een organisatie zou erg nuttig zijn. De functionaris voor gegevensbescherming moet in staat zijn om ingewikkelde regelgevings- en IT-concepten te vereenvoudigen, training te geven en te communiceren met overheidsinstanties. De toezichthoudende autoriteiten van de EU verwachten dat de functionaris voor gegevensbescherming effectief kan communiceren.

Het is uitermate belangrijk dat de DPO een zelfstarter is. Ze moeten het initiatief kunnen nemen en zelfstandig kunnen werken. Hoewel dit voor veel verschillende banen een wenselijke kwaliteit is, is het cruciaal voor deze baan. Er moet ook worden opgemerkt dat de AVG specifiek vereist dat DPO’s “rechtstreeks rapporteren aan het hoogste managementniveau” op grond van artikel 83.3.

Het komt neer op

De DPO beschermt momenteel de persoonsgegevens van mensen die in Europa en Brazilië wonen. In de Verenigde Staten is het redelijk om binnenkort soortgelijke wetten te verwachten. De Richtlijnen voor functionarissen voor gegevensbescherming supplement geeft een aantal hoognodige details over de verantwoordelijkheden van de DPO. De kernactiviteiten zijn activiteiten die niet los kunnen worden gezien van de primaire functies van een organisatie. Hoewel het supplement geen definitie geeft van ‘grootschalig’, bevat het wel criteria die kunnen worden gebruikt om de schaal te bepalen van:

  • Het aantal betrokkenen
  • Het aantal gegevensitems
  • Hoe lang gegevens worden bewaard
  • De geografische dekking van verwerking

De functie van DPO gaat verder dan het leren van GDPR-voorschriften en het controleren van het gegevensverwerkingsbeleid hierop; de DPO moet ook ervaring hebben met beide IT- en gegevensbeveiliging. Bovendien zal dit een functie zijn die constant leren en flexibiliteit vereist. De drie kerncompetenties zijn:

  • Kennis van GDPR-voorschriften en toepasselijke nationale datawetten
  • Ervaring met IT-beveiliging en dreigingsanalyse
  • Sterke communicatievaardigheden.

Afbeelding gebruikt onder licentie van Shutterstock.com

pg_aiautomation_101320.jpg

Automatisering en AI: uitdagingen en kansen

by with No Comment & Education& MoreAIAI Cloud ServicesAI TrainingalgorithmsArticlesartificial intelligenceautomationBI / Data Science ArticlesBI / Data Science NewsBusiness intelligenceData Architecture ArticlesData Architecture NewsData Articles | Data ScienceData EducationEducation Resources For Use & Management of Dataintelligent machinesMachine LearningroboticsSmart Data ArticlesSmart Data News

Bedrijven over de hele wereld zijn gefascineerd door het idee van AI en automatisering, omdat deze geavanceerde technologie operationele efficiëntie, verbeterde processen en aanzienlijke kostenbesparingen belooft. AI en de aanverwante technologieën hebben echter ook voor onzekerheden, verwarring en twijfels gezorgd over het menselijk vermogen om deze magische systemen in daadwerkelijke zakelijke situaties aan te nemen, te implementeren en uit te voeren – simpelweg omdat de bedrijfsleiders en operators nog steeds allemaal mensen zijn.

Tegenwoordig wordt dat algemeen erkend automatisering en AI technologieën zullen de wereldwijde werkplek geleidelijk transformeren, waarbij intelligente machines in sommige gevallen menselijke taken uitvoeren en in andere gevallen de mens helpen. De aanwezigheid van robotmachines op de werkplek zal uiteindelijk de efficiëntie verhogen en de kosten verlagen. Als gevolg hiervan zullen veel menselijke beroepen verdwijnen, terwijl andere zich zullen aanpassen aan door technologie ondersteunde rollen.

EEN Verslag van de Europese Commissie over AI stelt dat de:

“De wereldwijde uitgaven voor robots zullen in 2020 188 miljard dollar bedragen, vergeleken met minder dan de helft van dat bedrag in 2016. Tegen 2025 zal de wereldwijde AI-markt naar verwachting groeien tot 59 miljard dollar, een aanzienlijke stijging ten opzichte van de 1,8 miljard dollar die in 2016 werd uitgegeven. . “

De Op weg naar Data Science artikel Kansen en uitdagingen op het gebied van kunstmatige intelligentie in bedrijven, stelt:

  • Accenture heeft bevestigd dat AI-technologie het potentieel heeft om de bedrijfsproductiviteit met wel 40 procent te verhogen
  • Het aantal AI-startups is tussen 2000 en 2019 14 keer gegroeid

Hoewel bedrijven een recente trend hebben laten zien om AI-ontwikkelaars in een razend tempo in te huren om aan hun interne automatiseringsbehoeften te voldoen, begrijpen maar weinigen de fundamentele uitdagingen die deze technologie met zich meebrengt. Als gevolg hiervan ontbreekt de “AI-comfortzone” nog steeds in zakelijke kringen van ondernemingen, en zijn exploitanten nog steeds twijfelachtig over de kostenvoordelen van AI.

De huidige status van automatisering: jaar 2020

Overal waar je vandaag kijkt, kom je geautomatiseerde machines of systemen tegen die worden aangedreven door krachtige computers, meerkanaals gegevens en zeer slimme algoritmen. De moderne samenleving worstelt met chatbots, pda’s, zelfrijdende voertuigen op wegen en geautomatiseerde kassa’s in supermarkten.

Van geautomatiseerde zorgassistenten tot sensorgestuurde apparaten, er is geen branche onaangetast door AI. Toepassingen voor kunstmatige intelligentie: een revolutie in gegevensbeheer bespreekt hoe geavanceerde geautomatiseerde technologieën transformeren gegevensbeheer.

EEN Forbes Raadspost over AI en bedrijfsautomatisering onthult het volgende:

  • Procesautomatisering met robots komt nu overeen met of overtreft de menselijke prestatieniveaus in alle bedrijfsprocessen.
  • Bedrijven moeten “vervelende, repetitieve taken aan RPA-bots” delegeren, zodat het menselijk brein zich kan concentreren op belangrijke uitdagingen.
  • Bedrijven moeten zich concentreren op het ontwikkelen van de juiste “cultuur” rond AI en implementaties van automatiseringstechnologie om grootschalige acceptatie te bevorderen.
  • Op dit moment is het opschalen van use-cases een probleem, dat mogelijk verband houdt met het ontbreken van de juiste technologische “cultuur”.
  • Een studie van Goldsmiths, University of London, meldde dat “72% van de 4.000 ondervraagde werknemers in Noord-Amerika, het Verenigd Koninkrijk, Japan en India” denkt dat AI en automatisering hun werkprestaties zullen verbeteren.

Impact van AI

De Gartner Hype Cycle voor kunstmatige intelligentie onthult hoe AI wereldwijde bedrijven beïnvloedt, aangezien nieuwere, aanverwante technologieën zoals augmented intelligence, edge AI en verklaarbare AI steeds naar boven komen. Augmented intelligence is een perfect voorbeeld van samenwerking tussen mens en machine (teamwerk) die ‘cognitieve prestaties’ ondersteunt.

Hoewel Gegevensbeheer is nog steeds een punt van zorg bij de meeste ondernemers, het is algemeen aanvaard dat augmented intelligence het menselijk besluitvormingsproces kan nabootsen. Deze trend heeft geleid tot een hele nieuwe stroom intelligente oplossingen, met ingebouwde algoritmen om menselijke activiteiten te repliceren of te vervangen via datagestuurde inzichten.

De plotselinge groei van de algoritme-economie heeft een impuls gegeven aan complementaire bedrijfsmodellen zoals ‘AI-platform as a service’ of ‘AI Cloud-services’. Tegenwoordig is de meest levensvatbare commerciële prospect “embedded AI” in bedrijfssystemen zoals ERM of CRM.

Toekomst van AI en de uitdagingen citeert Gartner Director Analyst Peter Krensky:

“Slechts 40 procent van de toppresteerders ziet kunstmatige intelligentie als een gamechanger. Er is dus veel groen binnen veel verschillende soorten organisaties, zelfs hele industrieën die gewoon hun tenen onderdompelen in wat mogelijk is met machine learning. “

Het artikel parafraseert Krensky en zegt dat hij gelooft dat de meeste organisaties enorme investeringen doen in plaats van te kiezen voor “goedkopere alternatieven zoals vooraf getrainde modellen en cloudinfrastructuur, terwijl de resultaten vergelijkbaar zouden zijn”. De AI-voordelen worden dus niet volledig gerealiseerd door dure implementaties.

Ten tweede is de uitdaging voor het ontwikkelen van vaardigheden waarschijnlijk de meest formidabele belemmering voor de grootschalige acceptatie van AI in ondernemingen. In veel gevallen worden interne AI- of ML-projecten aangestuurd door data-ingenieurs terwijl in werkelijkheid diverse vaardigheden zoals data science, ML en domeinexpertise even cruciaal zijn voor het succes van een project.

Gartner’s observaties gerapporteerd in de AI Hype Cycle kunnen worden samengevat als:

  • Organisaties moeten goedkopere alternatieven vinden voor dure, interne AI-opstellingen om de volledige voordelen van procesverbeteringen, prestatie-efficiëntie en kostenbesparingen te realiseren.
  • De AI- of ML-projectteams zouden beter afgerond moeten zijn met een verscheidenheid aan talenten in plaats van Data Engineers die de show leiden.

Bedrijfsautomatisering in 2020: voorspellingen van Gartner en Forrester

Deze Analytics Insights-artikel bekijkt voorspellingen van Gartner en Forrester over de status van bedrijfsautomatisering in 2020 uit drie rapporten: Voorspellingen 2020: automatisering door Forrester; Pas op voor de automatiseringsparadox door Forrester; en 2020 technologietrends door Gartner.

Hier is een overzicht van enkele van de belangrijkste voorspellingen:

  • Volgens Forrester zullen in 2020 waarschijnlijk meer dan een “miljoen kenniswerkbanen” worden vervangen door robots, geautomatiseerde systemen, virtuele agenten en chatbots.
  • Forrester stelt ook dat “automatisering in ongetrainde handen” gevaarlijk kan zijn
  • Een andere belangrijke observatie van Forrester is dat 80 procent van de ondernemingen wordt bedreigd door het vooruitzicht van hyperautomatisering
  • Volgens Gartner zullen fysieke apparaten in combinatie met AI-technologie (autonome dingen) in 2020 menselijke functies vervangen
  • Zowel Forrester als Gartner melden dat AI en automatisering nieuwe banen zullen creëren. Het Europees Centrum voor de ontwikkeling van beroepsopleiding (CEDEFOP) voorspelt dat “tussen 2016 en 2030 er meer dan 151 miljoen vacatures zullen zijn, waarvan 91% wordt gecreëerd door vervangingsbehoeften en de resterende 9% door nieuwe vacatures.”

Forbes, aan de andere kant, maakt zijn mening vrij duidelijk in Kunstmatige intelligentie: belangrijke uitdagingen en kansen. Volgens Forbes zijn hier de belangrijkste uitdagingen rond de implementatie van AI-oplossingen:

  • Gegevensprivacykwesties en Algemene Verordening Gegevensprivacy (AVG) en de daarvan afgeleide regelgeving
  • Beperkingen van “rechtvaardigingen” in geautomatiseerde beslissingen, en de rol van verklaarbare AI is het bestrijden van die beperking
  • AI van de volgende generatie, zoals transfer learning, actief leren, semi-begeleid leren, enzovoort

Grootste kansen en uitdagingen van AI

Volgens Elon Musk van Tesla, een futuroloog en visionair, “zullen robots en AI alles beter kunnen doen dan wij, waardoor het grootste risico ontstaat waarmee we als beschaving worden geconfronteerd.” Hier zijn de grootste kansen waar zelfs de meest sceptische mens van kan dromen:

  • AI-technologie zal de afnemende groei van de arbeidsproductiviteit omkeren
  • AI-automatisering als zakelijke oplossingen die helpen, maar niet indringen of controleren
  • AI-automatisering zorgt voor ‘ethische’ beslissingen. Mogelijk? Misschien met verklaarbare AI
  • AI-systemen vervangen mensen bij routinetaken
  • AI-systemen die de menselijke efficiëntie verbeteren bij de taken van mens-machine-teams

En hier zijn de grootste uitdagingen waarmee internationale bedrijven worden geconfronteerd:

  • De acceptatiegraad van AI-technologie is ongelijk tussen landen en sectoren. Sommige landen, zoals de VS en het VK, en specifieke sectoren zoals BFSI en de automobielsector lopen ver voor op andere wat betreft de acceptatie en implementatie van technologie.
  • Zal AI echt kosteneffectief zijn voor grote bedrijven met interne AI-ontwikkelingsopstellingen?
  • Juiste trainingsfaciliteiten voor AI. De auteur van Robot en ik: toekomst van het personeelsbestand legt uit waarom AI-trainingsinspanningen moeten worden verbeterd.
  • Beschikken ondernemingen met hoge ambities over het nodige bekwame personeel voor de ontwikkeling van AI-oplossingen?
  • Worden toekomstige AI-vooruitzichten meer een bedreiging dan een opluchting voor bedrijfsleiders en operators?
  • Hoe beïnvloeden privacywetten zoals GDPR en CCPA de implementatie van AI-systemen en technologie-implementatie in werkelijke bedrijfsscenario’s?
  • Taalproblemen bij interactie tussen mens en machine. Kunnen bots omgangstaal interpreteren?
  • Gendervooroordelen in AI-beroepen overwinnen.

Slotopmerkingen

De McKinsey-rapport AI, automatisering en de toekomst van werk: tien dingen om op te lossen stelt dat de meest opvallende verandering in toekomstige bedrijven zal zijn “menselijke arbeiders die naast machines op de werkplek werken”. Het grootste culturele voordeel waarop je kunt hopen van wijdverbreide AI en automatisering is de nauwe integratie van AI, robotica en automatisering, waardoor een platte, samenwerkende organisatiestructuur ontstaat in tegenstelling tot ‘traditionele top-down hiërarchische structuren’.

Afbeelding gebruikt onder licentie van Shutterstock.com

jz_dmbizcase_edw_031319.jpg

Start met initiatieven op het gebied van databeheer door verbeterde businesscases

by with No Comment & Education& MoreArticlesBusiness intelligencebusiness strategyclouddata architectureData Architecture ArticlesData Architecture NewsData Articles | Data Sciencedata controlData EducationData Governance & Data Quality | News & ArticlesData Governance Articlesdata lakedata managementData Managerdata modelingdata storagedata warehouseEducation Resources For Use & Management of DataEDWEnterprise Data World Conference CommunityEnterprise Information ManagementInformation Management Articles

Inch voor inch, stap voor stap, blok voor blok – zo bouw je een businesscase voor datamanagement op.

Hoe die centimeters, stappen en blokken eruit zullen zien, hangt grotendeels af van de organisatorische volwassenheid van het bedrijf met betrekking tot Gegevensbeheer. In meer volwassen bedrijven is het gemakkelijker om een ​​nieuwe investering te pleiten – voor een verandering die, wanneer geïmplementeerd, een probleem zou oplossen of een positieve verbetering voor het bedrijf zou opleveren. De basis – beleid voor de manier waarop gegevens worden gedeeld, bewaard, hersteld, toegankelijk en beveiligd en teams die zich richten op bepaalde onderdelen van gegevensbeheer – is al gelegd om gegevensbeheer naar een hoger niveau te tillen.

Het is geen verrassing dat het werk moeilijker zal worden in bedrijven die dat wel hebben minder gegevensbeheer volwassenheid. De noodzaak om datamanagement te optimaliseren lijkt voor de hand liggend voor degenen die de pitch voor het bedrijf maken. “Het opbouwen van een businesscase voor datamanagement lijkt op vragen of je graag schoon water drinkt”, zei hij Sears Holdings Datamanagementprofessional Susan Earley. Earley gaf een presentatie getiteld “Een businesscase voor gegevensbeheer opbouwen “ op de DATAVERSITY® Enterprise Data Wereldconferentie.

“Je kunt wel zeggen dat het voor de hand ligt dat je een businesscase nodig hebt voor het implementeren van Data Management, maar niet iedereen die de sleutels heeft om resources te krijgen [for initiatives] begrijpt dat. “

In organisaties met een gemiddeld volwassenheidsniveau adviseert ze te kiezen welk aspect van datamanagement het eerst moet worden aangevallen, waarbij beveiliging waarschijnlijk de prioriteit is die de meeste aandacht trekt. Als de volwassenheid echter heel erg laag is, zijn er echte problemen.

“Datamanagement wordt gewoon gezien als een overhead die ze niet kunnen betalen,” merkte Earley op. “Ze betreden zo snel water dat ze hun hoofd niet omhoog kunnen steken om te zien dat het land daar is – of dat de boot die naar het land leidt, daar is.”

Pitch de basis

Stel dat er een behoorlijke of zelfs uitstekende kans is om de volgende stap in datamanagement te zetten, wie zou de zaak dan moeten verdedigen? Dat hangt af van hoe het bedrijf is gestructureerd. Meestal, legde Earley uit, worden deze initiatieven aangespoord door zakelijke leiders die de noodzaak zien om te beschikken over gegevens waarop ze kunnen vertrouwen om succesvol te zijn. “Het is geweldig als het uit het bedrijf komt, omdat ze optimaal gebruik maken van gegevens en weten dat ze het beter willen doen”, zei ze. Maar er kunnen problemen zijn met deze aanpak. Om te beginnen begrijpen zakelijke collega’s misschien niet precies de technieken en processen die nodig zijn om hen te helpen verbeteren Gegevensbeheer.

En dit is misschien ook niet de beste aanpak in grote ondernemingen met meerdere bedrijfseenheden. Sears Holdings heeft bijvoorbeeld 33 business units, maar die hebben allemaal te maken met dezelfde technische dienst. Met die gemene deler is het logischer dat het technische team het veld afhandelt.

Wat willen degenen die de kracht van “ja of nee” hebben, horen van degenen die de businesscase maken? Om het geld, de tools en de bekwame mensen te krijgen om projecten uit te voeren, willen ze bewijzen dat wat er al wordt gedaan, niet goed genoeg is.

“De C-suite denkt dat ze al klaar zijn omdat ze een datawarehouse hebben,” zei Earley. “Ze denken dat je alleen maar een venster naar het datawarehouse hoeft te openen en alles wordt geregeld. Dat klopt niet.”

Maak tot dat moment pas een pitch voordat u zeker weet waar cruciale hiaten zijn en vervolgens de hiaten in gegevensbeheer afstemt op hiaten in de zakelijke capaciteiten. Neem het voorbeeld van een bank: als het een zakelijk doel is om digitale toegang aan klanten te bieden, is het van cruciaal belang om de gegevens te kunnen beheren die de bank zal verstrekken. “Je hebt de architectuur nodig om die gegevens aan een naar buiten gericht platform te kunnen leveren”, aldus Earley. Datamodellering, opslag, document en inhoudscontrole voor te leveren pagina’s – en de metagegevens die aan alles zijn gekoppeld – moeten worden gepland. De gegevens moeten van uitzonderlijke kwaliteit zijn, omdat de bank niet wil dat klanten overstuur raken omdat het lijkt alsof er iets mis is met hun rekening.

Ongeacht de branche, zal er vaak een kloof zijn in de beveiliging van bedrijven, en goed gegevensbeheer kan de behoefte aan betere auditsystemen aanpakken om aan wettelijke verplichtingen te voldoen en risico’s te verminderen.

Soms wees Earley erop:

“Als je het ene gat kunt dichten, komt een ander er veel dichter bij. Het wordt allemaal een spinnenweb waar je hier aan een touwtje trekt en dan valt daar iets in of uit. “

Als je in eerste instantie niet slaagt …

Gegevensbeheerders weet hoe onmogelijk het kan lijken om mensen aan boord te krijgen met de business case, maar accepteer nooit nee als antwoord. Het kan zijn dat het de eerste keer, of de tweede, of de derde keer niet lukt. Maar dan gebeurt er iets dat de vergelijking kan veranderen. Misschien komt er bijvoorbeeld een nieuw bedrijf of IT-leider in beeld. Als het datamanagementteam al het ‘geweldige onderzoek’ dat ze hebben gedaan heeft behouden en elke dag iets nieuws leert dat ze aan de businesscase kunnen toevoegen, kunnen ze van de gelegenheid gebruikmaken om te proberen die persoon te overtuigen, zei Earley.

Een sterke business case zal uitleggen hoe lang de inspanning zal duren, hoeveel mensen er nodig zijn en welke tools en processen er nodig zijn om alles vast te houden.

“Je moet de boodschap bedenken voor de consument,” merkte Earley op. Je kunt bijvoorbeeld niet naar een nieuwe CIO gaan wiens expertise en ervaring webgerelateerd is en praten over dataopslag in backplanes in mainframes. ‘Dat snappen ze niet. Het bericht moet zo worden gedaan dat het wordt ontvangen volgens de ervaring van de ontvanger, ”zei ze. Ja, je moet dit misschien meerdere keren doen totdat je een treffer krijgt, gaf ze toe, “maar je tekent de foto voor hen en verbindt de punten.” Ze weten bijvoorbeeld misschien niet eens dat er vier verschillende datamanagementteams en vier datameren en vijf clouds zijn zonder dat iemand ze samenbindt en dat aan hen presenteert zodat ze de reikwijdte en het belang kunnen begrijpen van wat je probeert te doen. zei.

Houd hun enthousiasme in bedwang

Wees echter voorzichtig met het aansteken van een te groot vuur. Wanneer de CIO of een andere leider aan boord komt, wil hij of zij misschien proberen om alle aspecten van het plan in één keer uit te voeren. ‘Als alles een prioriteit is, is er niets,’ zei Earley, en er zullen mislukkingen plaatsvinden. “Dingen moeten worden afgestemd op middelen,” merkte ze op. “Er is maar een beperkte bandbreedte en je wilt kijken wat je kunt doen met de huidige bronnen om het snelst resultaten te boeken.”

Het kan helpen om te verwijzen naar casestudy’s waarin de “kokende de oceaan” -benadering heeft gefaald, zodat iedereen een stap terug kan doen om prioriteiten te stellen. Als ze ervan overtuigd kunnen zijn dat je de hele tijd een doel voor ogen hebt en dat alles er uiteindelijk zal zijn, ben je in goede vorm. Een ding dat misschien ook de moeite waard is om op te merken, is dat er mogelijk een afhankelijkheidsspoor is – dat wil zeggen dat je één ding niet kunt bouwen voordat je andere bouwt. “Kijk dus naar de afhankelijkheden tussen de stukken om te laten zien dat je de dingen in een bepaalde volgorde moet doen in plaats van allemaal tegelijk”, zei Earley.

Hier is het ultieme goede nieuws: “Zodra u een succesvolle businesscase heeft opgebouwd en het werkt, zult u meer vertrouwen krijgen en zal het de volgende keer gemakkelijker voor u zijn.” Sterker nog, hoe meer mensen weten wat je hebt gedaan, hoe beter. Earley merkte op: “Ze gaan je misschien zoeken omdat ze een probleem hebben waarvan ze denken dat je het kunt oplossen.”

Wilt u meer weten over de aankomende evenementen van DATAVERSITY? Bekijk onze huidige line-up van online en persoonlijke conferenties hier.

Hier is de video van de Enterprise Data World-presentatie:

Afbeelding gebruikt onder licentie van Shutterstock.com

kf_bcanddatasec_100620.jpg

Kruispunten voor blockchain en gegevensbeveiliging

by with No Comment & Education& MoreArticlesartificial intelligenceblockchainBusiness intelligencecryptocurrencyData Architecture ArticlesData Architecture NewsData Articles | Data ScienceData Educationdata securityDatabase ArticlesDatabase Newsdecryptiondistributed ledgerEducation Resources For Use & Management of DataencryptionEnterprise Information Managementformal validationInformation Management Articlesroot of trustsmart contractsValidation

Blockchain vertegenwoordigt een lijst met records, ook wel “blokken” genoemd, die door middel van cryptografie met elkaar zijn verbonden. Elk individueel blok bevat een cryptografische hash van het vorige blok, evenals een tijdstempel en transactiegegevens. Het lijkt een ideale oplossing voor organisaties die enorme hoeveelheden gegevens veilig willen opslaan. Blockchain is in 2008 gemaakt door een persoon (of personen) die de alias “Satoshi Nakamoto” gebruikt.

De data zijn transparant voor de juiste partijen, wat handig is in een aantal zakelijke situaties. Hoewel ze veilig zijn, worden gegevens in een blockchain niet noodzakelijk als ‘privé’ beschouwd.

Blockchain kan worden omschreven als een open communicatie die transacties tussen mensen en organisaties op een verifieerbare en efficiënte manier kan vastleggen en de integriteit ervan behoudt.

Wanneer blockchain wordt gebruikt als een gedistribueerd grootboek, wordt het normaal gesproken beheerd met een netwerk dat collectief voldoet aan gevestigde protocollen. Eenmaal geregistreerd, kunnen de gegevens van een individueel blok niet met terugwerkende kracht worden gewijzigd, tenzij alle volgende blokken worden gewijzigd. Dit proces vereist de goedkeuring van de meerderheid van het netwerk. Hoewel blockchain-records kunnen worden gewijzigd, worden ze nog steeds als veilig beschouwd vanwege het gedecentraliseerde consensusgoedkeuringsproces.

Blockchain biedt een zeer redelijk alternatief voor de cloud- en gegevensopslagbedrijven. Gegevens die in een blockchain zijn opgeslagen, blijven puur en ongewijzigd. Dataveiligheid wordt als vrij belangrijk beschouwd in de zakenwereld. Voor veel organisaties hebben data en de integriteit ervan een hoge prioriteit gekregen.

Versleuteling en validatie

Een blockchain-platform versleutelt zijn gegevens, wat betekent dat het moeilijk te lezen is (zonder het juiste algoritme) of aan te passen. Het kan ook cryptografische handtekeningen van documenten of bestanden opslaan. Dit biedt een manier om ervoor te zorgen dat er niet met een bestand is geknoeid. Handtekeningen van bestanden kunnen altijd worden gecontroleerd en geverifieerd. Wanneer een bestand wordt onderzocht, kan erop worden vertrouwd dat het dezelfde versie is die op een eerder tijdstip bestond. Als het bestand wordt gewijzigd, wordt de handtekening ongeldig.

De blockchain-structuur biedt een betrouwbaar, onafhankelijk gegevensverificatiesysteem. Bij gebrek aan een centrale autoriteit is vertrouwen in de blockchain-structuur opgebouwd door het gebruik van gedecentraliseerde consensus en cryptografie.

Cryptografie omvat het gebruik van cryptografische algoritmen. Over het algemeen wordt cryptografie gebruikt om gegevens te versleutelen of te coderen, zodat hackers het bericht niet kunnen ontcijferen. Het bevordert vertrouwelijke tweerichtingscommunicatie, waarbij elke partij toegang heeft tot het bericht, terwijl niemand anders dat kan. De basiscomponenten van cryptografie zijn:

  • Een bericht of payload (ook wel platte tekst genoemd) – De gegevens of payload in het versleutelde bericht.
  • Het coderings- / decoderingsalgoritme – Een algoritmepaar dat wordt gebruikt om de berichten in platte tekst en gecodeerde tekst te vertalen.
  • Cipher (ook wel cijfertekst genoemd) – De uitvoer van de coderingsfunctie of het gecodeerde bericht dat wordt verzonden tussen de afzender en de ontvanger.

Gegevensbeveiliging door middel van decentralisatie

Blockchain is gedecentraliseerd van aard en is niet afhankelijk van één centraal controlepunt. Blockchain vertegenwoordigt een digitaal grootboek van transacties en elke computer binnen het systeem heeft een kopie van de gegevens.

Het ontbreken van één enkele autoriteit maakt de gegevens aanzienlijk veiliger. In plaats van afhankelijk te zijn van één centrale autoriteit om veilige transacties te bieden, gebruikt blockchain een innovatief consensusproces, met protocollen die werken in netwerken van knooppunten. Dit consensusproces valideert transacties en registreert gegevens op een manier die normaal gesproken onomkoopbaar is.

Blockchain, als grootboek van gegevens, concentreert zich op het belang van informatie-integriteit. De gegevens die worden opgeslagen, moeten eerlijk en nauwkeurig zijn. Omdat de gegevens op meerdere computers worden opgeslagen, zijn ze veilig, zelfs als een computer of twee defect raken.

Verslagen van Transparantie Marktonderzoek voorspellen dat de wereldwijde blockchain-markt in 2025 $ 20 miljard waard zal zijn. Mensen zijn wijselijk voorzichtig met het openbaar maken van hun privégegevens, uit angst dat criminelen deze zullen veranderen of stelen in de hoop er profijt van te hebben. Het is niet verrassend dat mensen hun gegevens veilig en met een fraudebestendig platform willen delen. Blockchain helpt bij het bieden van dat veilige platform en heeft een groot potentieel om kosten en verbetering van de veiligheid. Hoewel er voordelen zijn, mogen de zwakke punten van blockchains niet over het hoofd worden gezien.

Blockchain is gehackt

De eerste blockchain-hack vond online plaats in juni 2011 en er werd $ 50.000 gestolen. Dit is een van de bekendste blockchain-hacks. Eerst slaagde de cybercrimineel erin om de inloggegevens van de auditor te bemachtigen en gebruikte deze vervolgens om toegang te krijgen tot het systeem. De hacker converteerde vervolgens één BTC naar één cent. Daarna verzamelde de hacker 2609 BTC van verschillende klanten, die hun BTC verkochten voor deze extreem lage, tijdelijke prijs.

Een ander voorbeeld van het hacken van blockchain is een diefstal op 6 december 2017. Tachtig miljoen dollar (4700 BTC) werd gestolen. Het Sloveense uitwisselingsplatform, NiceHash genaamd, werd gehackt en de CEO kondigde het aan op Facebook Live. Het is bekend dat een van de computers van hun staf is gecompromitteerd en dat ze alle transacties 24 uur hebben opgeschort. Hierdoor konden ze de situatie analyseren en een plan ontwikkelen om te voorkomen dat het opnieuw gebeurt.

Helaas, hoe gecompliceerder het systeem van een blockchain is, hoe groter de kans dat er fouten worden gemaakt bij het opzetten ervan, waardoor er per ongeluk een opening voor hackers overblijft. In februari 2019 kondigde het bedrijf dat de leiding had over Zcash (cryptocurrency die ingewikkelde wiskundige coderingen gebruikt voor transactieprivacy) aan dat ze in het geheim een ​​”subtiele cryptografische fout” hadden gerepareerd die per ongeluk in de protocollen was ingebouwd. Een hacker had deze zwakte kunnen misbruiken om onbeperkt vervalste Zcash te creëren. Gelukkig hebben ze het opgelost voordat dat gebeurde.

Bekijk de 51% aanval. De 51% -aanval is een verwijzing naar een blockchain-aanval door een aantal miners die meer dan 50% van de rekenkracht van het netwerk beheersen. Dit type aanval is zeldzaam en is meestal gericht op kleinere blockchains, met minder rekenkracht.

Blockchain-hackers verslaan

Protocollen moeten veilig zijn. Een protocol bestaat uit de regels en richtlijnen die worden gebruikt om een ​​bepaald doel te bereiken en wordt beschouwd als de softwarebackbone voor blockchainsystemen. Er worden verschillende protocollen gemaakt om verschillende doelen en doelstellingen te bereiken. Slecht ontworpen blockchain-protocollen zijn vaak het doelwit van hackers.

Over het algemeen hebben hackers de blockchains echter niet zelf aangevallen, maar zijn ze achter beurzen aan gegaan – websites waar cryptocurrencies kunnen worden gekocht, verkocht, verhandeld en vastgehouden. Veel van deze diefstallen zijn te wijten aan slechte beveiligingspraktijken.

Sommige bedrijven, zoals die van Tsankov ChainSecurity, werken aan de ontwikkeling van auditservices met behulp van een gevestigde techniek genaamd formele verificatie. Hun doel is om wiskundig te bewijzen dat de code van een contract doet wat hij moet doen. Auditingtools zijn de afgelopen jaren in opkomst en hebben slimme contractmakers geholpen om veel van de zwakke punten in blockchainsystemen te elimineren.

Philip Daian van Cornell’s Initiatief voor cryptocurrencies en contracten stelt voor om slimme contracten te gebruiken om een ​​op blockchain gebaseerde “bug bounty” te organiseren. Dit zou gebruikers aanmoedigen om gebreken en zwakheden te melden in ruil voor een beloning.

Er zijn een aantal stappen die intern kunnen worden ondernomen om de blockchain-beveiliging te verbeteren. Ze bevatten:

  • Waakzaamheid: Herhaalde wachtwoorden of inloggen vanaf buitenlandse apparaten moeten worden vermeden.
  • Consensus-algoritmen: Het blockchain-systeem moet anti-hacking gebruiken consensus-algoritmen.
  • Up-to-date beveiligingsprotocollen: Beveiligingsprotocollen moeten zo snel mogelijk worden bijgewerkt. Het helpt ervoor te zorgen dat er geen zwakke punten in de software zijn.
  • Uitgebreide tests: Slimme contractcodes moeten regelmatig – en vaak – worden getest om mazen in de wet te vinden. Er zijn duizenden real-time tests nodig om erachter te komen of het systeem bugs bevat.
  • Auditing: Er zijn controleprocessen beschikbaar die codes van blockchain-protocollen testen. Dit moet worden gedaan “voor het starten” en daarna. Met dit proces kan gemakkelijk een valse of slechte code worden gedetecteerd. Bovendien zou het installeren van een AI in de mix om audits uit te voeren een zeer serieuze beveiliging bieden.
  • Privésleutels: Privésleutels moeten privé worden gehouden. Ze mogen met niemand worden gedeeld. Bewaar de privésleutel op een veilige plaats.
  • Toezicht houden: Blockchain-platforms moeten monitoringopties gebruiken om abnormale activiteiten snel en efficiënt te detecteren.
  • Gebruikersrapporten: Gebruikers van het netwerk wordt gevraagd om eventuele bugs in het systeem te melden wanneer ze deze detecteren.

Kunstmatige intelligentie is ook een optie om de blockchain-beveiliging te verbeteren. AnChain.ai is een recente startup die is gemaakt om hackdreigingen tegen blockchainsystemen aan te pakken. Het gebruikt AI om transacties te volgen tijdens het scannen op verdachte activiteiten.

Blockchain –
Basisproblemen en oplossingen

Cryptocurrency identificeert de valuta zelf, maar identificeert niet de eigenaar ervan. Degene die controle heeft over de persoonlijke coderingssleutel van de munt, heeft controle over de valuta. Wanneer cryptocurrency wordt gestolen, is er geen manier om deze terug te krijgen. Een manier om dit te voorkomen, is door de privécoderingssleutels veilig op te slaan met een “FIPS”Gevalideerd wortel van vertrouwen.

Slimme contracten een overeenkomst beschrijven die zichzelf kan uitvoeren en de voorwaarden van het contract kan afdwingen. Als de blockchain echter wordt gehackt, kan het slimme contract worden gewijzigd. Hierdoor wordt het vertrouwen in blockchain verbroken en doen de twee partijen geen zaken meer met het blockchain-systeem. Mogelijk moet de hele transactie worden geschrapt of moet er opnieuw worden onderhandeld.

Om dit probleem te voorkomen, voert u zelf de contractvoorwaarden uit met anonieme partijen met behulp van sterke authenticatie en door de privésleutels op te slaan in een “Hardware” wortel van vertrouwen. Dit zorgt ervoor dat de juiste partijen correct worden geïdentificeerd.

Het Internet of Things (IoT) heeft beperkingen die worden toegepast door een vertrouwensmodel van de centrale autoriteit, wat het IoT kwetsbaar maakt. Botnets in Mirai-stijl stond hackers toe om in april 2018 duizenden IoT-apparaten over te nemen. De IoT-apparaten werden alleen beschermd met standaardwachtwoorden, waardoor de hackers DDoS-aanvallen (Distributed Denial of Service) konden initiëren.

Dit kan worden voorkomen door het gedistribueerde consensusmodel van blockchain op te nemen. Door het single-point-of-failure te verwijderen, kunnen de knooppunten binnen een bepaald netwerk back-up bieden en kunnen knooppunten die zich vreemd gaan gedragen, in quarantaine worden geplaatst.

Afbeelding gebruikt onder licentie van Shutterstock.com

pg_dlupdates_020118.png

Updates voor Deep Learning: Machine Learning, Deep Reinforcement Learning en beperkingen

by with No Comment & Education& MoreAIArticlesartificial intelligenceBI / Data Science ArticlesBI / Data Science NewsBig Data ArticlesBig Data NewsBusiness intelligenceData Articles | Data ScienceData Educationdeep learningdeep learning updatesdeep neural networksDeep Q-Networkdeep reinforcement learningDNNDQNEducation Resources For Use & Management of DataMachine Learningnatural language processingneural networksnlpreinforcement learningSmart Data ArticlesSmart Data News

diep leren

In de afgelopen jaren zijn enkele verbazingwekkende technologische doorbraken op het gebied van kunstmatige intelligentie (AI) en het subveld deep learning begonnen om machines te trainen om zich als mensen te gedragen.

Aangezien machines in toenemende mate complexe cognitieve functies nabootsen, zoals deductief redeneren, gevolgtrekkingen en geïnformeerde besluitvorming, zijn robots die als mensen functioneren tegenwoordig in veel industriële praktijken een realiteit.

Machines lopen echter nog steeds achter bij het verwoorden van de redenen achter hun keuzes of acties. Met andere woorden, een machine-getuige kan nog steeds niet worden gebruikt in een rechtbank om een ​​zaak op te lossen, aangezien deze acties uit het verleden niet kan ‘rechtvaardigen’. De opmerkelijke prestaties in AI-toepassingen zijn onder meer de opname van neurale netwerken en diep leren (DL), die unieke trainingsmogelijkheden voor machines combineren om te leren van kennislagen en die kennis vervolgens toe te passen om bepaalde doelen te bereiken.

Neurale netwerken en diep leren doordringen de intens complexe gebieden van natuurkunde, wiskunde, statistiek, signaalverwerking, machine learning, neurowetenschappen en vele anderen.

Machine leren (ML), neurale netwerken en deep learning vormen samen een snel voortschrijdende kerngroep van technologieën binnen het grotere gebied van kunstmatige intelligentie. Tegenwoordig zijn machines in staat om veel complexe problemen onmiddellijk op te lossen met behulp van deze technieken, waar normaal gesproken een menselijk brein voor nodig zou zijn over een veel langere tijd.

De menselijke samenleving vertrouwt steeds meer op slimme machines om beslissingen te nemen en dagelijkse problemen op te lossen. Dit is mogelijk gemaakt door de aanwezigheid van neurale netwerken en Deep Learning in AI-toepassingen.

Triumph of Deep Reinforcement Learning: Deep Q-Network (DQN)

Diep Q-netwerk of DQN is het geesteskind van DeepMind op het gebied van Deep Reinforcement Learning. De eerste paper over DQN werd in 2015 gepubliceerd in Nature Magazine, waarna veel gereputeerde onderzoeksorganisaties zich in dit vakgebied begaven. De hele onderzoeksgemeenschap is van mening dat diepe neurale netwerken (DNN) kunnen verbeteren versterking van leren (RL) voor interactie met HD-beelden en andere vanwege de aanwezigheid van DQN-technieken. Van Google tot Facebook, vele andere marktleiders wachten geduldig op de resultaten van geavanceerd onderzoek met DQN.

Marktsucces van evolutiestrategieën in versterkingsleren

Evolutiestrategieën (ES) lijken een comeback te hebben gemaakt in reinforcement learning. De reden voor het schijnbare succes zijn de exploratieve algoritmen die niet afhankelijk zijn van gradiënten, schaalbaarheid van algoritmen en goedkope hardwarevereisten – er is geen dure GPU nodig voor snelle parallelle verwerking.

Kaders voor diep leren

2020 is zeker het Jaar van Deep Learning Frameworks. Hoewel beide Google’s Tensorflow en PyTorch van Facebook kreeg veel bijval onder de natuurlijke taalverwerking (NLP) onderzoeksgemeenschappen, is Tensorflow meer geschikt voor statische grafieken. Aan de andere kant is PyTorch ideaal voor dynamische constructies. Zowel Tensorflow als PyTorch hebben positieve gebruikersfeedback ontvangen in hun respectievelijke arena’s en maken grotere plannen voor de toekomst.

Versterkende leeragent verslaat menselijke AlphaGo-spelers

Deze Natuur paper herinnert aan een glorieus moment waarop een leermedewerker versterking verslaat ’s werelds beste menselijke Go-spelers. In de eerste versie van AlphaGo werden trainingsgegevens van menselijke spelers gebruikt, en verder afgestemd door het gecombineerde gebruik van self-play en Monte Carlo Tree Search. Daarna in AlphaGo Zero, leerde de machine zelfstandig te spelen zonder enige menselijke tussenkomst. De wetenschap en technologie die in deze versie van het spel worden gebruikt, wordt treffend beschreven in het papier getiteld Snel en langzaam denken met Deep Learning en Tree Search . Deze spellen hebben zoveel menselijke spelers gemotiveerd om hun technieken te perfectioneren dat DeepMind een AlphaGo Teach om menselijke spelers te trainen.

De volgende hindernis voor DeepMind

Getuige van het recente succes en de populariteit van AlphaGo-gameserie, DeepMind begon na te denken over pokerspellen voor meerdere spelers met behulp van RL-technieken. DeepMind werkt ook aan Starcraft 2 – een RL onderzoeksomgeving.

De rol van diep leren bij AI: verkeerde informatie is mogelijk

Volgens de waakhond van de industrie KDNugget, Deep Learning is niet de toekomst van AI. Omdat zowel Google als Facebook hun DL-aanbod wereldwijd op de markt hebben gebracht, hebben de gebruikers ten onrechte de verkeerde berichten ontvangen over het belang van DL in kunstmatige-intelligentietoepassingen. KDNuggets denkt dat de wereldwijde publiciteit van DL-technieken meer hype dan inhoud is. In zijn verdediging stelt KDNuggets verder dat technieken zoals Beslissingsbomen zoals gebruikt in XGBoost “halen geen krantenkoppen”, maar zijn net zo belangrijk als deep learning, zo niet meer.

Zelfs in het geval van AlphaGo waren de media gehyped over DL, terwijl de Monte Carlo Tree Search-methode in werkelijkheid net zo goed bijdroeg aan het succes van het spel als DL. Bij RL worden veel leertaken behaald via Neuroevolution’s NEAT en niet vanwege terugpropagatie, zoals beweerd door de media.

De grootste beperking van diep leren: machines kunnen geen juridische uitleg geven

DL heeft momenteel twee grote nadelen: de eerste is de neiging om eerdere leerervaringen abrupt te vergeten, en de tweede is het onvermogen om de verstrekte informatie in twijfel te trekken of te rationaliseren. In een andere wereld, in de DL-wereld, gelooft de machine wat hij tijdens het leerproces krijgt, en heeft hij niet het vermogen om de verworven kennis in twijfel te trekken. De laatste trend is gevaarlijk omdat de machine onzin kan worden gevoerd in de naam van “truisms”.

De NLP-opmerkingen in DL-aanvragen kunnen niet door een rechter worden geaccepteerd of in een rechtszaak worden ingevoerd als bewijs of argument. Met andere woorden, zelfs de slimste AI-systemen kunnen om zojuist beschreven redenen niet ‘verantwoordelijk’ worden gehouden voor hun daden. In de toekomst zullen veel DL-gestuurde AI-systemen vanwege deze enorme beperking als illegaal of niet-klachten worden beschouwd.

DL-geschikte systemen voor gegevensverzameling voldoen niet aan de AVG-vereisten

Omdat gegevensbeveiliging van cruciaal belang zal zijn in de Data Science-wereld van 2021 en daarna, hebben veel AI-systemen met DL-technologie te maken met de beveiligingsvoorschriften die zijn opgesteld door verschillende regelgevende instanties. Een mooi voorbeeld hiervan niet-naleving van de beveiliging is de Algemene Verordening Gegevensbescherming (AVG) die vereist dat alle geautomatiseerde besluitvorming wordt becommentarieerd met zeer gedetailleerde, logische uitleg om discriminatie op basis van ras, gezondheidsomstandigheden, persoonlijke meningen, enzovoort te voorkomen. AVG werd van kracht in 2018. Alle gegevensverzamelingsbureaus die actief zijn in de 28 Europese landen werden lang daarvoor gedwongen hun DL-apps of platforms te wijzigen, anders riskeerden ze ernstige strafmaatregelen.

Fotocredits: Shutterstock.com

ad_dgvvoreh_082520.jpg

Gegevensbeheer: balans tussen veiligheid en beschikbaarheid

by with No Comment & Education& MoreArticlesAvailabilityBusiness intelligenceCase Studiescase studyCCPAData Articles | Data Sciencedata cycleData Educationdata governanceData Governance & Data Quality | News & ArticlesData Governance Articlesdata managementdata securitydata strategyData Strategy ArticlesData Strategy NewsDatabase ArticlesDatabase NewsEducation Resources For Use & Management of DataFERPAGDPRprivacy act

Toen Maria Voreh bij het Federal Bureau of Investigation (FBI) begon, was haar eerste opdracht het werken aan het Integrated Automated Fingerprint System (IAFS), een technologie die vaak te zien is in politiefilms en televisieshows zoals ‘CSI’. “Ze maken een afdruk en de machine doet dit magische werk, en een paar seconden later wordt de verdachte gevonden.” Voreh is Chief Data Officer (CDO) bij de FBI en was keynote speaker bij DATAVERSITY® DG Vision-conferentie. Haar presentatie zoals getiteld Gegevensbeheer in de moderne tijd: gegevensbeveiliging in balans brengen met gegevensbeschikbaarheid.

De gegevens die IAFS doorzoekt, zijn niet die van de FBI – de gegevens zijn afkomstig van alle wetshandhavingsgemeenschappen in het land. Om het te beschermen, zijn er regels, beperkingen en beleid van kracht over hoe het kan worden gebruikt of gedeeld. Dat is hoe Voreh echt begon te werken bij de FBI, zei ze: werken aan regels om de integriteit en veiligheid van persoonlijke gegevens te behouden, en tegelijkertijd beschikbaar stellen in minder dan een seconde voor de wetshandhavingsambtenaar.

‘Als je een wetshandhavingsambtenaar aan de kant van de weg hebt staan, heeft hij geen vijf minuten om op antwoord te wachten. Hij heeft letterlijk seconden of subseconden om te weten of de persoon in deze auto gewoon moeder is die op weg is naar voetbal en dat ze te laat is, of de man die wordt gezocht voor een massamoord ergens verderop. “

Hoewel dataveiligheid en beschikbaarheid is Voreh’s leven de afgelopen 20 jaar bij de FBI geweest, ze denkt niet aan haar focus in termen van de gegevens, maar eerder over het aanbieden van een dienst aan gebruikers, terwijl ze de belangen beschermt van degenen die bereid zijn hun gegevens.

Enorme datacyclusuitdagingen

“We worden overspoeld met gegevens.” Grubhub heeft elke minuut meer dan 8.000 verzoeken om eten, terwijl 18 miljoen sms’jes worden verzonden en 45 miljoen Google-zoekopdrachten worden uitgevoerd in dezelfde hoeveelheid tijd, zei ze. “We hebben letterlijk zoveel gegevens in ons leven”, en diezelfde hoeveelheid gegevens stroomt ook de overheid in en uit.

Technologie levert meer gegevens en de mogelijkheid om meer te weten dan ooit tevoren, maar om er betekenis aan te geven, zijn extra lagen technologie en gegevens nodig. “Dit wordt een zelflikkend ijshoorntje. We veroorzaken letterlijk een exponentiële groei van onze eigen data, maar we kunnen het niet stoppen – en we moeten het ook niet stoppen. ”

Juridische, ethische en morele uitdagingen

De Privacywet voor persoonlijke informatie kwam uit in 1974, net als de Federale wet inzake onderwijsrechten en privacy (FERPA), die persoonlijke gegevens (naam, adres, geboortedatum, burgerservicenummer) in onderwijsinstellingen beschermde. Later, halverwege de jaren negentig, werd aanvullende wetgeving aangenomen om financiële gegevens te beschermen en mocht de Federal Trade Commission (FTC) het gebruik van financiële gegevens gaan controleren. Recente wetgeving zoals de Algemene verordening gegevensbescherming (AVG) en de California Consumer Privacy Act (CCPA), gaat verder dan het beschermen van een specifiek soort gegevens, maar ook het beschermen van de rechten van de consument of ingezetene om te bepalen wat bedrijven doen met persoonlijke gegevens.

Diezelfde verandering in focus is ook voelbaar bij de overheid, waar het niet langer alleen een proces is om bepaalde datavelden op een gereguleerde manier te beschermen. Nu strekt de verantwoordelijkheid zich uit tot het beschermen van die informatie tegen misbruik, tegen gecompromitteerd raken en tegen misbruik van de rechten om die gegevens te gebruiken.

Voreh zei dat gegevensbeoefenaars serieus moeten overwegen:

  • Wat is de impact op de persoon en op de mensheid als ik die gegevens gebruik?
  • Schep ik een precedent?
  • Heiligen de doelen de middelen?
  • Doe ik meer goed dan kwaad?

Eén misstap, en het vertrouwen van de klant is verloren. “Als ik in mijn bedrijf het vertrouwen van het publiek verlies, wordt mijn baan onmogelijk.”

De realiteit van vertrouwen

Voreh deelde de volgende statistieken uit een artikel met de titel J. Clement Online privacy – Statistieken en feiten:

  • 22 procent van de online gebruikers gaf aan dat het online opslaan van gevoelige gegevens niet veilig genoeg was
    • 40 procent van de online gebruikers geeft aan bezorgd te zijn over misbruik van hun online gegevens
    • 53 procent van de online gebruikers maakt zich meer zorgen over hun privacy dan een jaar eerder
    • 24 procent van de wereldwijde online gebruikers vertrouwt hun overheid het beheer en de bescherming van hun persoonlijke gegevens toe
    • 66 procent van de online gebruikers gaf aan zich vanwege de eigen overheid in toenemende mate zorgen te maken over hun online privacy

Voreh zei dat het laatste cijfer haar bang maakt: 66 procent is bezorgd dat ze hun gegevens gaat misbruiken. ‘Als ik dat zie, maak ik me zorgen. Wat moet ik doen om ze het vertrouwen te geven dat ik voor hun gegevens ga zorgen? ” Professionals in de particuliere sector en de academische wereld delen dezelfde bezorgdheid, omdat misbruik van vertrouwen leidt tot verloren klanten, gederfde inkomsten of minder studenten.

Opkomende technologische uitdagingen

Opkomende technologie heeft ongekende mogelijkheden geboden om gegevens te analyseren, gegevens te exploiteren en deze te gebruiken om echt een verschil te maken. Toen de FBI in 2001 aan de Enron-zaak werkte, werkten ze met een paar gigabytes aan gegevens en hadden ze 100 agenten eraan toegewijd.

Bij de bomaanslag op de Boston Marathon in 2013 werkten ze met terabytes aan gegevens. “We begonnen veel tv met ondertiteling te ontvangen, enkele video’s van telefoons, en we gooiden er wat technologie en veel agenten in.”

Tegen de tijd dat de opnames in Las Vegas in 2017 plaatsvonden, hadden ze 22.000 uur aan gesloten tv-circuit, evenals persoonlijke video’s en overschreden ze een petabyte aan gegevens. “We hadden tools en we probeerden wat computer vision-technologie te gebruiken om afbeeldingen en mensen te detecteren, maar nogmaals, de technologie was er, maar we maakten ons zorgen over het gebruik ervan vanwege de onbedoelde resultaten.”

Panda of Gibbon?

De uitdaging van technologieën zoals kunstmatige intelligentie (AI), machine learning en neurale netwerken kunnen ons op de vooravond van grootsheid zetten, maar ze zijn nog niet helemaal bewezen. “We kunnen ze niet uitleggen aan onze gebruikers, en daardoor komen we in onbedoelde uitkomsten”, wat deze technologieën kwetsbaar maakt voor misbruik.

Voreh had het over een experiment een neuraal netwerk gebruiken om een ​​foto van een panda te identificeren. Onderzoekers veranderden 0,04 procent van de pixels in het beeld, waardoor het neurale netwerk zijn classificatie veranderde van “Panda, met 57,7 procent vertrouwen” in “Gibbon, met 99,3 procent vertrouwen”. Voor het menselijk oog is de verandering niet waarneembaar. De foto lijkt op een panda, maar de computer is het daar niet mee eens. ‘Dus we kunnen de mens niet in de lus verwijderen. Wij mensen moeten nog steeds deel uitmaken van onze technologie, deze trainen en bijscholen. ”

Kwaliteitsgegevens en goede datamanagementpraktijken zijn nodig om algoritmen te trainen en bij te scholen, omdat nieuwe technologie die is getraind op basis van slechte data slechte resultaten oplevert. “Daar beginnen we het vertrouwen van het publiek te verliezen”, zei ze.

Nieuwe technologie vereist ook getrainde mensen die de waarde van de gegevens begrijpen, hoe ze er op de juiste manier mee om moeten gaan en hoe ze metagegevens kunnen annoteren om de bron, het doel en het toegestane gebruik van de gegevens te documenteren. “Zonder dat is deze nieuwe technologie gewoon leuk en leuk. Het doet niets voor onze werkelijke missiedoeleinden. “

Gegevensbeveiliging versus gegevensbeschikbaarheid

De verantwoordelijkheid voor gegevensbeveiliging zou niet langer uitsluitend de verantwoordelijkheid van IT moeten zijn, zei ze. Bescherming, toegangscontrole, privacy, vertrouwelijkheid, naleving en risicovermindering moeten worden gedeeld. Beleid en tools kunnen dit vergemakkelijken, maar uiteindelijk moeten gebruikers de verantwoordelijkheid voor gegevens delen.

Aan de andere kant zei Voreh dat gegevensbeoefenaars en mensen in de IT vaak deze eisen van gebruikers horen:

  • Ik heb meer en betere gegevens nodig om betere analyses te kunnen doen
    • Ik moet die visualisatie nu kunnen maken
    • Ik heb de gegevens nodig in een formaat dat ik kan gebruiken. Laat me niet de datum en tijd omrekenen of uitzoeken welk veld de achternaam is
    • Ik moet toegankelijk zijn op mijn homecomputer, als ik niet aan het werk ben, in het vliegtuig
    • Ik heb normen nodig, zodat ik dat allemaal meteen kan doen

‘Het is een balans. Ik kan het een niet hebben zonder het ander. Ik kan me niet zozeer concentreren op de kenmerken van gegevensbeveiliging, dat ik de beschikbaarheid negeer, ”zei ze.

De oplossing: gegevensbeheer en gegevensbeheer

Zei Voreh Gegevensbeheer en Gegevensbeheer zijn de sleutels tot het vinden van een evenwicht tussen veiligheid en toegankelijkheid. Governance en management bieden een manier om:

  • Begrijp welke gegevens moeten worden beheerd en wanneer
  • Zorg voor goede programma’s en praktijken die vangrails en grenzen bieden aan gebruikers
  • Zorg voor een bestuursproces dat een raamwerk voor gegevensbeheer toepast, waardoor open en inclusieve besluitvorming mogelijk is

Het eerste instinct is om gewoon een stel wetenschappers in dienst te nemen, maar als de kwaliteit van de gegevens er niet is en de gegevens niet voor hen beschikbaar zijn, is het gewenste resultaat waarschijnlijk een stel dure wetenschappers en geen inzicht, ze zei.

“Ik zou oplossingen kunnen kopen, maar zonder een idee van wat ik beheer en waarom, zet ik die kar gewoon voor het paard.”

Governance verbindt paard en wagen

Eerst liet Voreh een cartoon zien van een kar (data-oplossingen) die een paard trekt (Data Management), daarna keerde Voreh de twee om, waarbij het paard op de eerste plaats kwam met de schacht die paard en wagen met het label “Governance” verbindt. “Wat we echt moeten doen, is nadenken over wat de behoefte van onze organisatie aan datamanagement is”, in het licht van de bedrijfsdoelstellingen voor de komende vijf jaar.

Een plan dat is afgestemd op het bedrijf is essentieel, maar omdat elke organisatie uniek is, “kun je van niemand anders een datamanagementplan lenen.” Een datamanagementstrategie moet op maat worden gemaakt en de governance koppelt het aan uw oplossingen.

Voreh zei dat wanneer belanghebbenden worden betrokken bij de ontwikkeling van Governance, datamanagementpraktijken democratisch zijn en dat governance wordt geaccepteerd door de cultuur in de bredere organisatie. “Anders verzin je regels op een bureaucratische manier, en niemand zal ze opvolgen.”

Hoe u gegevensbeheer kunt vergroten

Voreh behaalde succes met het bestuur bij de FBI door zich te concentreren op de missie en visie van de organisatie, en stelde voor om drie vragen te overwegen tijdens het proces van het laten groeien van een Data Governance-programma:

  • Wat zijn wij als organisatie?
    • Waar is de visie die de directeur wil dat we over vijf jaar realiseren?

Vanaf daar is een Gegevensstrategie kan worden gebruikt om prioriteit te geven aan datamanagementpraktijken en om die te bevorderen die het meest aansluiten bij de missie. Begin met de meest kritieke gegevens in uw organisatie en pas kwaliteitsnormen toe, en pak vervolgens compliance en toezicht aan. “Een beleid opstellen zonder effectief toezicht en naleving is als het schrijven van een memo die niemand zal lezen.” Betrek bij het aannemen van dit beleid de zakenmensen en andere gebruikers van de gegevens.

Faciliteer met openheid

Voor wat gewoonlijk ‘issue management’ wordt genoemd, geeft Voreh er de voorkeur aan om de term ‘openheid’ te gebruiken om te verwijzen naar het proces van luisteren en het aanpakken van gebruikersproblemen. “Het is niet mijn taak om te dicteren, het is mijn taak om te faciliteren.” Het is belangrijk om problemen te kunnen accepteren zoals ze door de gebruiker zijn gedefinieerd en ze te begeleiden naar een oplossing die ze bezitten.

Vorig jaar combineerde de FBI verschillende teams om gezamenlijk kwesties rond mensen, processen, capaciteiten en gegevens aan te pakken: “Het was een enorm succes”, zei ze. De mensen aan de raad zijn onder meer datawetenschappers, analisten, datastewards, eerstelijnsgebruikers, juridische zaken, beleidsmensen, agenten en inlichtingenanalisten. Door problemen vanuit een 360-gradenbeeld te bespreken, kunnen beslissingen worden genomen met behulp van de capaciteit van de mensen die gegevens onderhouden, verzamelen, gebruiken en IT-diensten verlenen.

Vooruit gaan

Voreh zei dat het gemakkelijk is om het gevoel te hebben dat alle problemen in één keer moeten worden opgelost. “Dat kan niet, tenzij je veel geld en veel personeel hebt. Neem de babystapjes, werk aan je foundation en laat het groeien om je te helpen. ”

Wilt u meer weten over de aankomende evenementen van DATAVERSITY? Bekijk onze huidige line-up van online en persoonlijke conferenties hier.

Hier is de video van de presentatie van DG Vision:

Afbeelding gebruikt onder licentie van Shutterstock.com

pg-daai_082218.png

Gegevensarchitectuur en kunstmatige intelligentie: hoe werken ze samen?

by with No Comment & Education& MoreArticlesartificial intelligenceBig DataBig Data ArticlesBig Data NewsBusiness intelligenceclouddata architectureData Architecture ArticlesData Architecture NewsData Articles | Data ScienceData Educationdata governancedata managementdeep learningEducation Resources For Use & Management of DataGeneral Data Protection Regulationinternet of thingsMachine LearningSmart Data ArticlesSmart Data News

data-architectuur

Kunstmatige intelligentie (AI) wint snel terrein als zakelijke kerncompetentie. Machine learning (ML) of diep leren (DL) -algoritmen beloven een revolutie teweeg te brengen in bedrijfsmodellen en -processen, personeelsbestand te herstructureren en data-infrastructuren te transformeren om de procesefficiëntie te verbeteren en de besluitvorming in de hele onderneming te verbeteren. Voorbij zijn de dagen van datasilo’s en handmatige algoritmen.

Er is echter een wijdverbreid geloof door te stellen dat de groei van AI in het verleden werd belemmerd, voornamelijk als gevolg van het niet beschikbaar zijn van grote datasets. Big data veranderde dat allemaal – waardoor bedrijven konden profiteren van grote hoeveelheden en snelle gegevens om AI-algoritmen te trainen voor verbeteringen van bedrijfsprocessen en verbeterde besluitvorming.

De weg naar AI leidt via informatiearchitectuur beschrijft hoe hybride GegevensbeheerData Governance en bedrijfsanalyses kunnen samen de besluitvorming binnen de onderneming transformeren. Volgens deze auteur kunnen deze drie kernbedrijfspraktijken organisaties van elke omvang in staat stellen “de kracht van AI in de onderneming te ontketenen”.

De rol van data-architectuur bij het ontketenen van de kracht van kunstmatige intelligentie

William McKnight, de president McKnight Consulting Group, heeft gezegd dat die “Informatiearchitectuur” een sleutelrol speelt bij het scheppen van orde in de voortdurende evolutie van opkomende datatechnologieën. McKnight bespreekt specifieke maatregelen die organisaties zouden moeten nemen om AI en streaming-datatechnologieën te omarmen, en de langetermijnimpact van de algemene verordening gegevensbescherming (AVG) over bedrijfsgegevensbeheerpraktijken. Hij erkent dat terwijl het streamen van gegevens de enige manier is om met de hoge snelheid van big data om te gaan, sterke maatregelen voor gegevensbeheer ervoor zorgen dat de AVG wordt nageleefd.

Onlangs heeft het overkoepelende veld van AI aan kracht gewonnen vanwege de innovatieve IT-oplossingen die mogelijk worden gemaakt door machine learning of deep learning-technologieën. De termen “intelligent” of “slim” die met een IT-systeem worden geassocieerd, verwijzen specifiek naar de ML- of Dl-mogelijkheden van dergelijke systemen.W.

Goed beheerd Data-architectuur en AI-technologieën zijn klaar om toekomstige innovaties in IT te stimuleren, die bedrijven betere kansen zullen bieden door technologische verstoringen. Deze trends geven echter ook aan dat de bedrijven zeer bekwame veldexperts op het gebied van Data Science nodig hebben, getraind in AI, voorspellende modellen, ML en DL, naast andere vaardigheden, om dit transformerende technische leiderschap te stimuleren.

EEN DATAVERSITEIT® webinar wijst erop dat alle kerntechnologieën voor gegevensbeheer, zoals kunstmatige intelligentie, machine learning of big data, een geluid vereisen Data-architectuur met gegevensopslag en best practices voor gegevensbeheer. Dit webinar bespreekt hoe de laatste Trends in gegevensarchitectuur ondersteuning van organisatiedoelen. De datatechnologie-expert van morgen zal verantwoordelijk zijn voor het implementeren en onderhouden van een datastrategie en zal naar verwachting de risico’s en de nieuwere winstkansen met evenveel finesse aanpakken.

Maar met welke data-infrastructuur kan dat gebeuren? Een goed gedefinieerd en gestructureerd Data-architectuur dat ruimte biedt aan big data, IoT en AI en tegelijkertijd voldoet aan alle toepasselijke GDPR-voorschriften.

Cloud: de huidige en toekomstige redder van Enterprise Analytics

Nu bedrijven steeds meer vertrouwen op data en analyses om te concurreren, begint Data Architecture een grotere rol in de onderneming te spelen. In het tijdperk van digitale bedrijven is de nieuwe norm voor data-architectuur een dynamisch en schaalbaar model waaraan tot op zekere hoogte wordt voldaan door de openbare cloud. De nieuwste analytische vereiste is om gegevens bij de bron te verwerken, waardoor op AI gebaseerde analyses over het datacenternetwerk tot aan de rand van de onderneming mogelijk zijn, zoals besproken in Hoe cloudgebaseerde gegevensarchitecturen te creëren

De directe voordelen van cloud-infrastructuur bij het beheer en de levering van datagestuurde, bruikbare informatie. De trend van analytics overal, die aan kracht wint, zal de verandering stimuleren van on-premise of gehoste analytics naar de edge computing tijdperk, waarin bedrijfsanalyses in realtime plaatsvinden en veel dichter bij de gegevensbron.

In het IoT-tijdperk kunnen bedrijven het zich niet veroorloven kostbare tijd en geld te verliezen bij het verzamelen en deponeren van de binnenkomende gegevens op een verre locatie. Analytics vindt plaats aan de rand van bedrijven, wat de volgende fase van cloud computing aangeeft. De cloud-eerst strategie is er al met steeds meer organisaties die de cloud adopteren. Dus, wat is de volgende stap voor analyse? Edge computing? Serverloos computergebruik?

Als data-architecturen robuust genoeg zijn, kunnen analyses ‘viraal’ gaan, zowel binnen als buiten de organisatie. In dat scenario kunnen zelfs citizen datawetenschappers optreden selfservice-analyse op het punt van gegevensopname.

Mensgerichte AI-systeemontwerpen: een wondermiddel?

Andrew Ng beveelt aan dat AI wordt aangenomen als een bedrijfsbrede besluitvormingsstrategie. Aangezien kunstmatige-intelligentietechnologieën nauwkeurige prognosetechnieken, verbeterd procesbeheer door automatisering en betere prestatiestatistieken voor de hele organisatie mogelijk maken, zullen bedrijven die ervoor kiezen AI te negeren, achterblijven. Machine learning, deep learning, mens-machine-interacties en autonome systemen kunnen samen resultaten opleveren die ongeëvenaard zijn door enig ander bedrijfssysteem.

Kunstmatige intelligentie voor gegevensgestuurde verstoring bespreekt de kracht van een “AI-aangedreven motor” om realtime inzichten te leveren voor managementbeslissingen. Met het steeds groter wordende volume, de verscheidenheid en de snelheid van bedrijfsgegevens, heeft elke zakelijke gebruiker, van de burger datawetenschapper tot de ervaren datastewards, snelle en tijdige toegang tot gegevens nodig.

De mensen leven in het tijdperk van slimme systemen en kunnen niet voorbijgaan aan het feit dat zelfs AI-algoritmen geen resultaten kunnen opleveren als ze niet correct worden geïmplementeerd of aangepast in de menselijke werkomgeving. De AI-algoritmen die tegenwoordig worden gebruikt, zijn vergelijkbaar met die van vele jaren geleden, maar de computers of processors zijn sneller en krachtiger geworden.

Hoewel algemeen wordt erkend dat geavanceerd kunstmatige intelligentie kunnen veel gewone menselijke taken automatiseren en kunnen in beperkte gevallen zelfs “denken”. AI-systemen hebben “rampsituaties” niet echt doorstaan ​​zoals in het geval van zelfrijdende auto’s of voorspellingen van natuurrampen. Dus hoewel AI-algoritmen uitgebreid kunnen worden getraind met het gebruik van gegevens om het menselijk denken tot op zekere hoogte na te bootsen, zijn AI-onderzoekers er nog steeds niet in geslaagd om de menselijk-cognitieve vaardigheden van een robot of een slimme machine vast te stellen.

Het meest fundamentele verschil is dat het menselijk brein kan reageren op originele situaties, terwijl het machinebrein alleen situaties uit de tweede hand kan aannemen die worden overgedragen via gegevens over menselijke ervaringen, zoals uitgelegd in Slimmer samen: waarom kunstmatige intelligentie mensgericht ontwerp nodig heeft.

Toekomstige algoritmen kunnen worden getraind om menselijk-cognitieve capaciteiten na te bootsen. Maar hoewel mensen fouten kunnen maken door overmoed, is machine-intelligentie strikt afhankelijk van een studie en toepassing van datagestuurde feiten. Zelfs een slecht algoritme kan het menselijk denken verbeteren, dus volgens de “wet van Kasparov” moet het proces worden verbeterd om de best mogelijke samenwerking tussen mens en machine mogelijk te maken.

De kunstmatige intelligentie-algoritmen van de toekomst moeten worden ontworpen vanuit een menselijk oogpunt, om de feitelijke zakelijke omgeving en informatiedoelstellingen van de besluitvormer te weerspiegelen. De AI software-ingenieur is de persoon in een Data Science-team die de cruciale rol speelt bij het overbruggen van de kloof tussen datawetenschappers en data architecten.

Architecturale vereisten van door machine learning aangedreven kunstmatige-intelligentiesystemen

Bij machine learning zijn data zowel de leraar als de trainer die het algoritme op een specifieke manier vormgeven zonder enige programmering. Datavoorbereiding voor ML-pipelines kan dus een uitdaging zijn als de data-architecturen niet voldoende verfijnd zijn om samen te werken met de onderliggende analyseplatforms.

Machine learning is het meest geschikt voor gegevens met grote volumes en hoge snelheden. De Data Architecture-laag in een end-to-end-analysesubsysteem moet het vereisten voor gegevensvoorbereiding om algoritmen voor machine learning te laten werken. Er moet een speciale ontwikkelingscyclus beschikbaar zijn die ML-leermodellen ondersteunt, en het ML-platform moet verschillende ML-frameworks ondersteunen voor aangepaste oplossingen van commerciële leveranciers. De openbare cloud is een geweldige opslag- en rekenomgeving voor ML-systemen, simpelweg vanwege zijn architecturale elasticiteit.

Een organisatie kan alleen profiteren van deze enorme hoeveelheid gegevens uit veel verschillende bronnen als er een degelijke gegevensarchitectuur (gegevens als ondernemingslaag) in de hele organisatie aanwezig is en als end-to-end AI-aangedreven analysesystemen zijn geïmplementeerd om geef alle soorten zakelijke gebruikers de mogelijkheid om just-in-time-analyses en BI-activiteiten uit te voeren.

De toekomst van AI en data-architectuur

In de komende jaren, naarmate informatie afgeleid van ‘data’ een bedrijfsmiddel wordt met een hoog omzetpotentieel, zullen organisaties meer gedisciplineerd worden in het genereren van inkomsten en het meten van de impact van data, net als de andere KPI’s.

Gartner stelt dat datacenters tegen 2021 AI-mogelijkheden zullen moeten integreren in hun architecturen. Maak ruimte voor AI-toepassingen in de datacenterarchitectuur voorspelt dat AI-toepassingen zullen in de nabije toekomst elke branche doordringen, dus het is logisch om kunstmatige intelligentie, machine learning en deep learning-praktijken toe te passen in de datacenters. Aangezien deze technologieën bestaande technologieën voor gegevensopslag zullen uitdagen, kunnen nieuwere en betere platforms zoals de edge of serverless het antwoord zijn.

Afbeelding tegoed: Shutterstock.com

jz_cscarrtools_102419.jpg

Case Study: Data Protection and HCI for Carrs Tool Data Architecture Upgrade

by with No Comment & Education& MoreArticlesbackupBusiness intelligenceCase StudiesData Architecture ArticlesData Architecture NewsData Articles | Data ScienceData Educationdata protectionDatabase ArticlesDatabase NewsEducation Resources For Use & Management of DataEnterprise Information ManagementHCIhyperconverged systemsHyperconvergenceInformation Management ArticlesScale Computingstoragevirtualization

“Bestaande condities” is een term voor condities die niet erg lang duren. Amazon veranderde het aanzien van de detailhandel. Google heeft de toegang tot informatie gedemocratiseerd. Facebook en vrijwel elke sociale mediasite hebben de manier waarop we met elkaar omgaan veranderd.

Er kwam verandering Carrs Tool Steelsook. De Britse leverancier van gereedschapsstaal en producten van hoge sterkte aluminiumlegeringen aan fabrikanten heeft het koopgedrag van zijn klanten zien veranderen van het in bulk kopen van grote stukken materiaal naar het nauwkeurig inkopen van geblokkeerd gereedschapsstaal voor just-in-time-productie.

Het heeft het afgelopen decennium veel werk verricht aan zijn ERP-systeem en zijn bedrijfsmodel, zodat het efficiënter kan reageren op klanten wier eigen modellen ertoe leiden dat ze kleinere, maar meer bestellingen plaatsen. De geüpgradede Priority ERP-software die het bedrijf gebruikt, stelt het in staat om op elk moment de exacte afmetingen van elk stuk voorraad in het magazijn vast te leggen, te traceren en te doorzoeken, zodat klanten binnen enkele seconden de beste match krijgen voor hun vereisten.

Maar de hardware die het ondersteunde, was niet veranderd. “De hardware moet het werk aankunnen”, zegt Mark Mullaly, Carrs Tool Steels Systems Manager.

De infrastructuur bestond uit een reeks stand-alone, niet-gevirtualiseerde servers die werden overladen met verschillende ERP-applicaties die allemaal met elkaar verbonden waren. “We hadden meerdere workloads op elke server en als één workload problemen zou veroorzaken, zou dit een domino-effect hebben op andere workloads,” zei Mullaly. Een probleem met één stuk software kan de hele operatie doen mislukken.

En inderdaad, Carrs had een situatie waarin zijn ERP-systeem meer dan een dag offline was. Toen er grotere maar minder bestellingen werden geplaatst, zei hij, kon het bedrijf problemen met de infrastructuur omzeilen. Maar strakke tijdlijnen bij gestroomlijnde productie betekent dat klanten snelle en betrouwbare services verwachten – geen excuses. Voor Carrs was een volledige set back-up- en herstelmogelijkheden om ervoor te zorgen dat gegevens altijd worden beschermd, een prioriteit.

Gegevensbescherming met tanden

Toen Mullaly voor het eerst hardware-opties overwoog, dacht hij dat het zinvol zou zijn om systemen gewoon te vervangen door andere merknaamservers en opslag of te kiezen voor een zelfgebouwde virtualisatie-oplossing. Aparte servers kopen om te draaien VMware met een enkele opslageenheid zou echter een enkel storingspuntprobleem zijn.

Kosten en opleiding waren een punt van zorg. Het bedrijf kon het zich niet veroorloven om te kiezen voor een oplossing die, met licentiekosten en ondersteuningskosten, over vijf jaar ergens in de buurt van £ 100.000 zou kosten. Bovendien, zei Mullaly, had hij niet de tijd om te besteden aan hoogwaardige training voor het beheren van systemen.

“We hebben een klein IT-team in huis, en dat ben ik,” zei hij. “Er is een beperkte hoeveelheid tijd die ik buiten het werk kan besteden, en ik heb een oplossing nodig waarvoor ik niet duizenden verschillende vaardigheden hoef te leren om hardware te beheren.”

Hyperconvergentiesystemen waren de volgende optie om te overwegen als een schaalbare benadering voor het poolen van datacenterfuncties op hardware en deze te delen tussen virtuele machines die op elke host in het cluster draaien. Even belangrijk was dat het HCI-systeem echte tanden heeft als het ging om alles-in-één gegevensbescherming.

De keuze van Carrs hing ervan af of het systeem geschikt was voor een klein bedrijf en dezelfde betrouwbaarheid bood die systemen in veel grotere organisaties gewoonlijk hebben. Mullaly besloot mee te gaan Schaal Computing’s HC3-oplossing, die opslag-, reken- en virtualisatielagen van infrastructuur integreert in één oplossingsarchitectuur voor het automatiseren van het beheer van de IT-omgeving.

Mullaly zei dat hij het op prijs stelde gegevensbescherming vormde de kern van het systeem, niet alleen als achteraf toegevoegd. De geïntegreerde snapshot-gegevensreplicatie voor verbeterde bedrijfscontinuïteit op het Scale Computing-systeem is belangrijk voor het bedrijf. Elk bedrijf moet zijn gegevens off-site kunnen herstellen of vanaf een eerder tijdstip kunnen herstellen om het te helpen herstellen van een niet-geplande gebeurtenis.

“Het is zo eenvoudig om schema’s op te stellen die elk uur en / of dagelijkse momentopnamen kunnen produceren en vervolgens kunnen kiezen welk schema op welke VM moet worden toegepast”, zei hij. “Het meest indrukwekkende aspect is echter dat de productie van deze snapshots een verwaarloosbaar effect heeft op de systeemprestaties.”

Carrs hoefde niet na te denken over licentiekwesties of iets dat complicaties toevoegt door een HCI-systeem te kopen. “We gaan niet de grenzen verleggen van welk systeem dan ook. Het hoeft alleen maar onze software betrouwbaar en consistent te laten werken, ”zei hij. Een ander voordeel van het kiezen van een volledig geïntegreerde oplossing is dat gegevensverlies tot een minimum wordt beperkt. Er is meer gegevensverlies – gemiddeld 2,36 terabyte – wanneer meer leveranciers betrokken zijn bij gegevensbescherming.

Carrs koos eigenlijk voor een computersysteem op een iets grotere schaal dan nodig was, maar Mullaly vond het slimmer om het datacenter voor de komende drie jaar voorbereid te hebben, in plaats van het systeem gaandeweg te moeten vergroten. “We gingen uiteindelijk voor een systeem dat ongeveer twee keer zo groot was als onze grootste schatting, om de groei van gegevens en verwerking mogelijk te maken.”

Op langere termijn zou hij de HC3-oplossing kunnen uitbreiden door gewoon op een ander knooppunt te schroeven. Carrs heeft momenteel één cluster met drie knooppunten op het HC3-platform waarop zes VM’s draaien, en in de toekomst wil het tot 8-10 VM’s draaien. De Priority ERP-software, bestands- en printservices, Remote Desktop Services, antivirus en Active Directory draaien op het platform.

De kosten in de gaten houden

Het komt vaak voor dat organisaties, met name kleinere met weinig IT-middelen, hun infrastructuur naar de cloud verplaatsen. Maar Mullaly was bezorgd dat de kosten onverwachts zouden stijgen.

“We wilden iets dat van ons was en waarvan we de kosten kenden”, zei hij. “We hebben nog werk aan de winkel om systemen betrouwbaarder te maken en Scale Computing zo goed mogelijk te gebruiken.”

Scale Computing helpt de totale eigendomskosten voor klanten laag te houden door gebruik te maken van de open source KVM-hypervisor die vergelijkbare functionaliteit biedt als VMware.

Carrs schrijft zijn verhuizing naar een nieuwe infrastructuur om zijn belangrijkste ERP-oplossing uit te voeren, in ieder geval gedeeltelijk toe aan zijn prestaties op het gebied van tijdige levering in de afgelopen zes maanden. Er is de afgelopen zeven maanden geen ongeplande downtime geweest. “We kunnen klanten nu beter tevreden stellen dan vorig jaar.”

De populariteit van hypergeconvergeerde oplossingen komt tot uiting in het feit dat de wereldwijde HCI-marktomvang naar verwachting zal groeien van $ 4,1 miljard in 2018 naar $ 17,1 miljard in 2023, tegen een CCAGR van 32,9 procent.

Afbeelding gebruikt onder licentie van Shutterstock.com

mk_nosqldbs_092220.jpg

NoSQL-databases: de veelzijdige oplossing voor continue intelligentie

by with No Comment & Education& MoreArticlesBI / Data Science ArticlesBI / Data Science NewsBig DataBusiness intelligencecloudContinuous IntelligenceData Articles | Data ScienceData Educationdata governancedata managementdata qualitydatabaseDatabase ArticlesDatabase Newsdocument databaseEducation Resources For Use & Management of DataEnterprise Information ManagementInformation Management Articlesinternet of thingsIoTnon-relational databasesNoSQL NewsRDBMSrelational databases

De meeste bedrijven zijn geneigd te vertrouwen op relationele databasebeheersystemen (RDBMS) om zakelijk inzicht te verschaffen, inclusief continue informatie. Relationele databases in de cloud hebben verbeterde rekenkracht die ze naar de tafel brengen, om grotere hoeveelheden gegevens te verwerken. Echter, relationele databases, zelfs die in de cloud, kampen met twee problemen. Ze hebben het moeilijker met de ongestructureerde big data en enorme geheugenvereisten. Hun vaste schema-architectuur maakt het moeilijk om een ​​groot deel van de continue intelligentie te onderhouden.

Gartner voorspelt, tegen 2022, meer dan “de helft of grote nieuwe bedrijfssystemen zullen continue intelligentie bevatten”. Continue intelligentie vereist het omzetten van big data in realtime analyses die de bedrijfsvoering kan gebruiken om acties voor te schrijven. Toch worstelen veel bedrijven met het vinden van een databaseoplossing voor algemeen gebruik die snel reageert, enorme hoeveelheden gegevens van alle soorten verwerkt, schaalbaar is over meerdere computerinstanties, goed presteert en consistent en bestuurbaar blijft.

Het verlangen naar een snellere, beter presterende en flexibelere architectuur leidde tot de ontwikkeling van de niet-relationele of NoSQL-databases. NoSQL-databases hebben minder opslagbehoeften, kunnen beter omgaan met big data en verwerken opgenomen gegevens snel. Als DATAVERSITY® Trends in datamanagement 2019 report vermeldt, voelen veel bedrijven zich overweldigd door te begrijpen hoe ze zakelijk inzicht kunnen krijgen uit de NoSQL-database en de bijbehorende architectuur.

DATAVERSITY sprak onlangs met Jai Karve, een Solutions Architect bij MongoDB, om niet-relationele databasetechnologie beter te begrijpen, hoe deze is voorbereid op continue intelligentie, terwijl hiaten worden gedicht met RBDMS-voordelen om meer algemene doeleinden te worden.

Gegevens sneller en over meer machines verplaatsen

NoSQL-technologie kwam van een drive om “gegevens snel te verplaatsen” en “goed horizontaal uit te schalen”, zei Karve. Ga terug naar 2008 en ontdek dat streaming media-applicaties zoals Twitter en YouTube steeds populairder worden. Die applicaties verzamelden continu gegevens sneller en sneller, en het RDBMS ondervond prestatieproblemen bij het proberen alles af te handelen.

“Daarom keken sommige NoSQL-ontwikkelaars hoe ze gigantische datasets over meerdere machines konden distribueren. Ze wilden rijke JavaScript Object Notation (JSON) -datastructuren mogelijk maken die zijn ontworpen om verzoeken en reacties tussen computers te versnellen en tegelijkertijd uit te breiden naar vele netwerkcomputers. Het resultaat is dat NoSQL-technologie presteert als een kant-en-klaar big data-platform als een service, waarmee ontwikkelaars data-applicaties kunnen bouwen. “

Omdat ze graag feedback wilden krijgen over dit nieuwe soort architectuur, werd de niet-relationele databasecode open source, waar ontwikkelaars het konden uitproberen, wijzigen, problemen konden indienen en verbeteringen konden voorstellen. Zoals hij opmerkte, bleven bedrijven de niet-relationele database als een anomalie beschouwen.

“Bedrijven bleven hun RDBMS gebruiken voor een recordsysteem en keken naar een NoSQL-database, zoals MongoDB, om Application Programming Interfaces (API’s) te bouwen en JSON-mogelijkheden te gebruiken voor prestaties en snelheid. De markt zag de NoSQL-database dus als een oplossing voor een niche-use case, een caching-laag om opgeslagen gegevens sneller te serveren. “

Hoewel de NoSQL-databases streefden naar meer algemeen gebruik, misten ze essentiële kenmerken, waaronder gegevensvalidatie en ACID-a-compatibele transacties. ZUUR beschrijft atomaire, consistente, geïsoleerde en duurzame database-eigenschappen, ideaal voor betalingen. Elk databasesysteem dat is ontworpen om te voldoen aan ACID-kenmerken, behoudt de integriteit van elke transactie, één set bewerkingen en waarden. Daarentegen kan de NoSQL-database gegevens wijzigen vanaf het moment van invoer en uiteindelijk consistent zijn, maar niet noodzakelijkerwijs sterke garanties voor consistentie bieden.

Sommige NoSQL-technologieën probeerden deze consistentie te bereiken door gegevens op databaseniveau te vergrendelen. “Maar dan wordt het updaten of schrijven naar de database omslachtig”, zoals Karve zei, “om het gebruik van de NoSQL-database te ontmoedigen.” De NoSQL-uitdaging werd: “… de sterke punten van hoge beschikbaarheid en horizontale schaalbaarheid in NoSQL bieden, maar de kloof dichten met gewenste RDBMS-functies, zoals ACID-transacties.”

Een NoSQL-database voor algemeen gebruik met ACID-eigenschappen

In 2017 zijn de NoSQL-databasetechnologieën geëvolueerd, waarbij flexibiliteit, snelheid en prestaties zijn behouden terwijl ACID-database-eigenschappen zijn ingesloten. Karve noemde een oplossing, de document database. Elk document bevat sleutels en waarden, aangepast aan gebruikersspecificaties. De inhoud, het aantal en de reeks documenten in een documentendatabase kennen weinig beperkingen, waardoor deze ideaal is voor big data.

Karve legde uit dat MongoDB ACID-eigenschappen aan dit document Data Architecture heeft toegevoegd. Ten eerste valideren algoritmen inhoud die naar JSON-documenten is geschreven. Beschouw deze code als een manier om de datakwaliteit te behouden door te controleren of de inhoud van het document voldoet aan de bedrijfsregels en -vereisten en degene die dat wel doen te behouden, te vergrendelen. Deze programmering maakt transacties atomair en consistent.

De duurzaamheid van de NoSQL-database is afkomstig van een replicaset. Elk gegevenscluster bevat een primair knooppunt, dat databaseschrijfbewerkingen accepteert en secundaire knooppunten die de schrijfbewerkingen repliceren. Wanneer het primaire knooppunt uitvalt, wordt een van de back-upknooppunten primair. Gegevens kunnen zeker server- of netwerkstoringen doorstaan ​​als een nieuw knooppunt opstapt om primair te worden.

MongoDB ontwerpt een ACID-database, een datacluster met een reeks JSON-documenten, geconfigureerd en gecontroleerd door code. In de tussentijd kan het bedrijf vervolgens zoveel dataclusters opschalen als nodig is over meerdere locaties of flexibel beslissen hoe dat moet.

Een Continuous Intelligence-databasearchitectuur

Het is een uitdaging om te begrijpen hoe u continue informatie uit de NoSQL-architectuur van de documentdatabase kunt halen. Karve merkte op:

“Mensen blijven steken in relationele database-bagage terwijl ze proberen hun databasemodel in een documentendatabase te koppelen. Ze proberen normalisatie te bereiken door gegevens te ordenen om te voldoen aan een schema op basis van relaties. Klanten hebben dan een vreselijke ervaring. Startend, zakelijk voordeel door een paradigmaverschuiving door te voeren. Ze moeten nadenken over gegevensopslag en toegang bij het modelleren van gegevens. Houd gelijke gegevens bij elkaar om toegang te krijgen. Denk minder aan dozen en meer aan details van elk datacluster. “

MongoDB realiseerde zich dat bedrijven vast kunnen komen te zitten in een RDBMS-perspectief en creëerde The Toolkit voor modernisering met enkele partners. “Deze grafische interface helpt bedrijfsanalisten om van RBDMS naar dataclusters in kaart te brengen, waardoor ze NoSQL beter begrijpen continue intelligentie datamodellering.”

Voor degenen die hun relationele schema willen behouden, integreren leveranciers, zoals Confluence, NoSQL- en SQL-technologieën en verbinden ze bedrijfstools. Het resultaat is een “krachtig platform waarmee bedrijfsanalisten eenvoudig toegang hebben tot real-time screening van gebeurtenissen, terwijl die continue intelligentie wordt getransformeerd met SQL-queries.” Voorbeelden zijn ook Tableau en PowerBI, die realtime interactieve dashboards en rapporten bieden die met SQL kunnen worden opgevraagd.

Gegevensclusters beheren

Real-time interactieve dashboards geven slechts zo goede informatie als de datakwaliteit binnen de databasesystemen. Maar wat gebeurt er als de zakelijke vereisten veranderen? Karve merkte op:

“Sommige medewerkers gebruiken een open source documentendatabase om dingen snel gedaan te krijgen. Maar dan een veelvoud aan verschillende praktijken die na verloop van tijd worden geërfd. Het bedrijf weet niet hoe het die database moet beheren of beheren zodra werknemers vertrekken. “

Hij legde uit hoe MongoDB dit soort behandelt Gegevensbeheer probleem, de clouddatabaseservice die bekend staat als Atlas. Beschouw Atlas als een controlecentrum voor dataclusters die in de cloud zijn opgezet. Mongo doet het “zware werk van de NoSQL-databasestructuur”, terwijl het bedrijf “de hendels, knoppen en knoppen heeft om de parameters van het datacluster in te stellen”. Van daaruit kan een onderneming de gegevensprestaties en -locaties verfijnen.

Hoe is dit van toepassing op Data Governance? Als u de datalocatie kent, moet u weten welke regels van toepassing zijn op de gegevens die daar zijn opgeslagen. Aangezien overheden verschillende privacynormen hanteren, wordt het gemakkelijker om de dataconfiguraties bij te werken om te voldoen aan nieuwe wetten of om de gegevens naar een andere locatie te verplaatsen zonder de regelgeving.

Combineer deze mogelijkheid onder een bedrijfsbrede Data Governance-paraplu en krijg een krachtige manier om gegevensbeleid en -procedures te verfijnen en flexibel te beheren.

Streaminggegevens gebruiksvriendelijker maken met uitgebreide schaalbaarheid

De toekomst van NoSQL-technologie ziet er rooskleurig uit voor continue intelligentie. Ten eerste beloven NoSQL-databases gebruiksvriendelijker te zijn door middel van autonome databasefuncties. Karve legt uit: “MongoDB zal gebruikersgedrag detecteren en suggesties geven voor databasemodellering

en het maken van een index. ” Met indexering worden zoekresultaten sneller opgehaald.

Ten tweede zal de documentendatabase van MongoDB zijn capaciteit uitbreiden om meer mobiele apparaten en het internet der dingen (IoT) te verwerken. Karve zei: “Hierdoor kunnen de dataclusters aan de rand van het netwerk beter synchroniseren met de server.” De NoSQL-technologie maakt gebruik van 5G-technologie met een hogere verbindingssnelheid, waardoor meer gegevensinvoer via streaming mogelijk is.

Bedrijven hebben NoSQL-technologie nodig om gebruik te maken van continue intelligentie vanwege de flexibiliteit, prestaties en betrouwbaarheid. Zie bovendien, op basis van de recente COVID-19 pandemische activiteiten, het omarmen van multi-cloud-mogelijkheden als een veerkrachtiger en elastischer manier om gegevens op te slaan en downtime te voorkomen. NoSQL-databases schalen uit met prestaties over veel clouds, waardoor u meer continue gegevens kunt vastleggen en waar u deze kunt plaatsen. RDBMS alleen heeft niet de architectuur om multi-cloud data en continue intelligentie te verwerken.

Afbeelding gebruikt onder licentie van Shutterstock.com