“Op dit moment converteren we alles naar een vectordatabase”, zegt Ellie Fields, hoofd product en engineering bij Salesloft, een leverancier van verkoopbetrokkenheidsplatforms. “En ja, ze werken.”
En het is effectiever dan het gebruik van eenvoudige documenten om context te bieden voor LLM-query’s, zegt ze.
Het bedrijf maakt voornamelijk gebruik van ChromaDB, een open-source vectorwinkel, die voornamelijk wordt gebruikt voor LLM’s. Een andere vectordatabase die Salesloft gebruikt is Pgvector, een zoekextensie voor vectorgelijkenis voor de PostgreSQL-database.
“Maar we hebben ook wat onderzoek gedaan met FAISS en Pinecone”, zegt ze. FAISS, of Facebook AI Comparety Search, is een open-sourcebibliotheek aangeboden door Meta die zoekopdrachten naar overeenkomsten in multimediadocumenten ondersteunt.
En Pinecone is een eigen cloudgebaseerde vectordatabase die ook populair is geworden bij ontwikkelaars, en de gratis laag ondersteunt maximaal 100.000 vectoren. Zodra de relevante informatie uit de vectordatabase is opgehaald en in een prompt is ingesloten, wordt de query verzonden naar OpenAI die draait in een privé-instantie op Microsoft Azure.
“We hebben Azure laten certificeren als nieuwe subverwerker op ons platform”, zegt Fields. “We laten klanten altijd weten wanneer we een nieuwe verwerker hebben voor hun informatie.”
Maar Salesloft werkt ook samen met Google en IBM, en werkt aan een generatie AI-functionaliteit die ook van die platforms gebruik maakt.
“We gaan zeker met verschillende aanbieders en verschillende modellen samenwerken”, zegt ze. “De dingen veranderen week na week. Als je niet naar verschillende modellen kijkt, mis je de boot.” RAG stelt bedrijven dus in staat hun bedrijfseigen gegevens te scheiden van het model zelf, waardoor het veel gemakkelijker wordt om modellen in en uit te wisselen naarmate er betere modellen worden uitgebracht. Bovendien kan de vectordatabase zelfs in realtime worden bijgewerkt, zonder dat het model verder hoeft te worden verfijnd of opnieuw hoeft te worden getraind.
“We zijn overgestapt van modellen, van OpenAI naar OpenAI op Azure”, zegt Fields. “En we zijn overgestapt op verschillende OpenAI-modellen. Mogelijk ondersteunen we zelfs verschillende modellen voor verschillende delen van ons klantenbestand.”
Soms hebben verschillende modellen verschillende API’s, voegt ze eraan toe. “Het is niet triviaal”, zegt ze. Maar het wisselen van een model is nog steeds gemakkelijker dan omscholen. “We hebben nog geen gebruiksscenario gevonden dat beter gediend is met fijnafstemming dan met een vectordatabase”, voegt Fields toe. “Ik geloof dat er gebruiksscenario’s bestaan, maar tot nu toe hebben we er geen gevonden die beter presteert.”
Een van de eerste toepassingen van LLM’s die Salesloft uitrolde, was het toevoegen van een functie waarmee klanten een verkoop-e-mail naar een prospect kunnen genereren. “Klanten namen veel tijd om die e-mails te schrijven”, zegt Fields. “Het was moeilijk om te beginnen en er is veel writer’s block.” Klanten kunnen nu dus de doelgroep, hun waardepropositie en de call-to-action specificeren – en ze krijgen drie verschillende concept-e-mails terug die ze kunnen personaliseren. Salesloft gebruikt GPT 3.5 van OpenAI om de e-mail te schrijven, zegt Fields.
Voer lokaal open source-modellen uit
Het in Boston gevestigde Ikigai Labs biedt een platform waarmee bedrijven grote grafische modellen op maat kunnen bouwen, of AI-modellen die zijn ontworpen om met gestructureerde gegevens te werken. Maar om de interface gebruiksvriendelijker te maken, voorziet Ikigai de front-end van LLM’s. Het bedrijf gebruikt bijvoorbeeld de zeven miljard parameterversie van de Falcon open source LLM, en draait deze in zijn eigen omgeving voor een aantal van zijn klanten.
Om informatie in de LLM in te voeren, gebruikt Ikigai een vectordatabase, die ook lokaal wordt uitgevoerd. Het is gebouwd bovenop het Boundary Forest-algoritme, zegt medeoprichter en mede-CEO Devavrat Shah.
“Vier jaar geleden bij MIT experimenteerden enkele van mijn studenten en ik met een heleboel vectordatabases”, zegt Shah, die ook hoogleraar AI is aan MIT. “Ik wist dat het nuttig zou zijn, maar niet zo nuttig.”
Door zowel het model als de vectordatabase lokaal te houden, kunnen er geen gegevens naar derden lekken, zegt hij. “Voor klanten die het geen probleem vinden om vragen naar anderen te sturen, gebruiken we OpenAI”, zegt Shah. “Wij zijn LLM-agnostisch.”
PricewaterhouseCoopers, dat zijn eigen ChatPWC-tool heeft gebouwd, is ook LLM-agnostisch. “ChatPWC maakt onze medewerkers capabeler”, zegt Bret Greenstein, de partner van het bedrijf en leider van de gen AI go-to-market-strategie. Het bevat bijvoorbeeld vooraf gebouwde aanwijzingen om functiebeschrijvingen te genereren. “Het bevat al mijn formaten, sjablonen en terminologie”, zegt hij. “We hebben HR-, data- en snelle experts, en we ontwerpen iets dat zeer goede vacatures genereert. Nu hoeft niemand meer te weten hoe hij de geweldige aanwijzingen moet geven die functiebeschrijvingen opleveren.”
De tool is gebouwd bovenop Microsoft Azure, maar het bedrijf bouwde hem ook voor Google Cloud Platform en AWS. “We moeten onze klanten bedienen, en ze bestaan op elke cloud”, zegt Greenstein. Op dezelfde manier is het geoptimaliseerd om verschillende modellen aan de achterkant te gebruiken, omdat klanten dat zo willen. “We hebben elk model werkend”, voegt hij eraan toe. ‘Llama 2, Valk – we hebben alles.’
De markt verandert uiteraard snel, en Greenstein stelt voor dat bedrijven een ‘geen spijt’-beleid voeren op hun AI-implementaties.
“Er is veel dat mensen kunnen doen”, zegt hij, “zoals het opbouwen van hun gegevens die onafhankelijk zijn van modellen, en het opbouwen van het bestuur.” Wanneer de markt vervolgens verandert en er een nieuw model uitkomt, zullen de data- en governancestructuur nog steeds relevant zijn.
De fijnafstemming
Managementadviesbureau AArete heeft het open source-model GPT 2 overgenomen en verfijnd op basis van eigen gegevens. “Het was lichtgewicht”, zegt Priya Iragavarapu, VP Digital Technology Services van het bedrijf. “We wilden een open source-versie, zodat we deze intern in onze omgeving konden plaatsen.”
Als AArete een gehost model zou gebruiken en er via API verbinding mee zou maken, zouden er vertrouwensproblemen ontstaan. “We maken ons zorgen waar de gegevens uit de prompt terecht kunnen komen”, zegt ze. “Die risico’s willen we niet nemen.”
Bij het kiezen van een open source-model kijkt ze naar het aantal keren dat het eerder is gedownload, de community-ondersteuning en de hardwarevereisten.
“Het fundamentele model moet ook enige taakrelevantie hebben”, zegt ze. “Er zijn enkele modellen voor specifieke taken. Ik heb bijvoorbeeld onlangs gekeken naar een Hugging Face-model dat inhoud uit pdf’s parseert naar een gestructureerd formaat.’
Veel bedrijven in de financiële wereld en in de gezondheidszorg zijn bezig met het verfijnen van LLM’s op basis van hun eigen aanvullende datasets.
“De basis-LLM’s worden op het hele internet getraind”, zegt ze. Met fijnafstemming kan een bedrijf een model creëren dat specifiek gericht is op zijn zakelijke gebruiksscenario.
Een gebruikelijke manier om dit te doen is door een lijst met vragen en antwoorden te maken en daarop een model af te stemmen. In feite is OpenAI in augustus begonnen met het toestaan van fijnafstemming van zijn GPT 3.5-model, met behulp van een vraag-en-antwoordbenadering, en heeft het tijdens de DevDay in november een reeks nieuwe fijnafstemmings-, aanpassings- en RAG-opties voor GPT 4 uitgerold.
Dit is met name handig voor klantenservice- en helpdesktoepassingen, waarbij een bedrijf mogelijk al over een databank met veelgestelde vragen beschikt.
Ook uit het Dell-onderzoek geeft 21% van de bedrijven de voorkeur aan het omscholen van bestaande modellen, waarbij ze hun eigen data in hun eigen omgeving gebruiken.
“De meest populaire optie lijkt Llama 2 te zijn”, zegt Andy Thurai, VP en hoofdanalist bij Constellation Research Inc. Llama 2 is verkrijgbaar in drie verschillende formaten en is gratis voor bedrijven met minder dan 700 miljoen maandelijkse gebruikers. Bedrijven kunnen het verfijnen op hun eigen datasets en vrij snel over een nieuw, op maat gemaakt model beschikken, zegt hij. In feite wordt het Hugging Face LLM-klassement momenteel gedomineerd door verschillende verfijningen en aanpassingen van Llama 2. Vóór Llama 2 was Falcon de populairste open source LLM, voegt hij eraan toe. “Het is momenteel een wapenwedloop.” Door nauwkeurig af te stemmen kan een model ontstaan dat nauwkeuriger is voor specifieke zakelijke gebruiksscenario’s, zegt hij. “Als je een gegeneraliseerd lamamodel gebruikt, kan de nauwkeurigheid laag zijn.”
En er zijn enkele voordelen verbonden aan het verfijnen van RAG-inbedding. Bij inbedding moet een bedrijf voor elke zoekopdracht in een vectordatabase zoeken. “En je hebt de implementatie van de database”, zegt Thurai. “Dat zal ook niet gemakkelijk zijn.”
Er zijn ook geen contextvensterlimieten voor fijnafstemming. Met insluiten kan er slechts een beperkte hoeveelheid informatie aan een prompt worden toegevoegd. Als een bedrijf de software aanpast, zal dat niet vaak gebeuren, net als er een aanzienlijk verbeterde versie van het basis-AI-model wordt uitgebracht.
Als een bedrijf ten slotte over een snel veranderende dataset beschikt, kan finetuning worden toegepast in combinatie met inbedding. “Je kunt het eerst verfijnen en dan RAG doen voor de incrementele updates”, zegt hij.
Rowan Curran, analist bij Forrester Research, verwacht dat er de komende jaren veel verfijnde, domeinspecifieke modellen zullen ontstaan, en bedrijven kunnen ook modellen destilleren om ze efficiënter te maken bij bepaalde taken. Maar slechts een kleine minderheid van de bedrijven – 10% of minder – zal dit doen, zegt hij.
Softwarebedrijven die applicaties zoals SaaS-apps bouwen, kunnen finetuning gebruiken, zegt Greenstein van PricewaterhouseCoopers. “Als je een zeer herhaalbaar patroon hebt, kan fijnafstemming je kosten verlagen”, zegt hij, maar voor bedrijfsimplementaties is RAG in 90 tot 95% van de gevallen efficiënter.
“We onderzoeken momenteel modellen voor het verfijnen van specifieke branches”, zegt Sebastien Paquet, VP ML bij Coveo, een Canadees bedrijf op het gebied van zoeken en aanbevelingen voor ondernemingen. “We hebben een aantal gespecialiseerde branches met gespecialiseerd vocabulaire, zoals de medische branche. Bedrijven die vrachtwagenonderdelen verkopen, hebben hun eigen manier om de onderdelen te noemen.”
Voorlopig gebruikt het bedrijf echter GPT 3.5 en GPT 4 van OpenAI, draaiend op een privé Azure-cloud, waarbij de LLM API-aanroepen geïsoleerd zijn, zodat Coveo indien nodig naar andere modellen kan overschakelen. Het maakt ook gebruik van enkele open source LLM’s van Hugging Face voor specifieke gebruiksscenario’s.
Bouw een LLM helemaal opnieuw
Er zijn maar weinig bedrijven die hun eigen LLM helemaal opnieuw zullen opbouwen. Ze zijn immers per definitie behoorlijk groot. OpenAI’s GPT 3 heeft 175 miljard parameters en is getraind op een dataset van 45 terabytes en kostte $ 4,6 miljoen om te trainen. En volgens Sam Altman, CEO van OpenAI, kostte GPT 4 meer dan $100 miljoen.
Die omvang geeft LLM’s hun magie en het vermogen om menselijke taal te verwerken, met een zekere mate van gezond verstand, evenals het vermogen om instructies op te volgen.
“Je kunt het niet zomaar trainen op basis van je eigen gegevens”, zegt Carm Taglienti, gerenommeerd ingenieur bij Insight. “Er zit waarde in het trainen op tientallen miljoenen parameters.”
Tegenwoordig zijn bijna alle LLM’s afkomstig van de grote hyperscalers of AI-gerichte startups zoals OpenAI en Anthropic.
Zelfs bedrijven met uitgebreide ervaring met het bouwen van hun eigen modellen blijven weg van het creëren van hun eigen LLM’s.
Salesloft bouwt bijvoorbeeld al jaren zijn eigen AI- en machine learning-modellen, inclusief gen-AI-modellen die gebruik maken van eerdere technologieën, maar aarzelt om vanaf het begin een gloednieuw, geavanceerd basismodel te bouwen.
“Het is een enorme rekenstap waar we, althans in dit stadium, niet aan beginnen”, zegt Fields.
