Ich gestehe. Ich nutze unterdessen meist ein Large Language Model, um im Netz zu suchen. Kein Google mehr. Habe ich eh selten als Suchmaschine eingesetzt. DuckDuckGo nur noch verhältnismäßig selten. Stattdessen frage ich Perplexity oder ChatGPT, auch Le Chat von Mistral, nach bestimmten Sachverhalten und bekomme eine Zusammenfassung geliefert.
Abschied von der klassischen Google-Suche
Meine mildernden Umstände: Bei Tiefenrecherchen gebe ich meistens an, dass eine Liste der verwendeten Quellen erstellt werden soll. Und auch bei normalen Suchanfragen prüfe ich regelmäßig nach, ob das so stimmt, was die KI blumig und glaubwürdig ausspuckt. Die Erfahrung der vergangenen Jahre zeigt, dass die Large Language Models deutlich besser geworden sind, aber es kommt noch immer zu teilweise abstrusen Halluzinationen.
Halluzinationen bleiben das zentrale Problem
Das letzte Beispiel: In unserem Podcast zur Akte X erstellte NotebookLM Präsentationen, in denen behauptet wurde, dass das ZDF die Plattform X verlassen habe. Eine klare Fehlinformation. Hier hatte NotebookLM nicht nur die von uns hinterlegten Quellen genutzt, sondern war im Netz (auf einer Wikipedia-Seite) der Fehlinformation aufgesessen. Ein weiteres Beispiel, wie vorsichtig man weiterhin bei den Aussagen der KI-Systeme sein muss.
Wenn die KI-Agenten losrennen …
Dieser Tage hat Sascha Pallenberg kräftig kritisiert, wie viele Menschen unterdessen KI-Agenten nutzen, ohne die notwendigen technischen Kenntnisse zu haben. Das ist wohl wahr und leider wahrscheinlich erst der Beginn. Sascha und viele andere heben dabei vor allem auf Sicherheitsaspekte ab, was ich ja auch schon hier im Blog angesprochen habe. Und er schreibt: „und hoer auf, jeden ‚Morgenbriefing‘-Usecase als Magie zu verkaufen“.
Nein, ich verkaufe keinen “Morgenbriefing‘-Usecase“, aber Perplexity liefert mir seit wenigen Wochen jeden Morgen eine Zusammenfassung der wichtigsten Digital- und IT-Nachrichten der deutschen Medien. In den vergangenen Jahren hatte ich so etwas ähnliches mit Google Alerts eingerichtet, die mir kurze Zusammenfassungen zu bestimmten Themen in den Posteingang lieferten.
Von Google Alerts zum Perplexity „Morgenbriefing“
Jetzt macht das die Antwortmaschine Perplexity mit seiner Aufgaben- oder Agentenfunktionalität. Ich will die wichtigsten Nachrichten zum Thema Digitalisierung zusammengefasst bekommen – mit Link zur Originalnachricht. Im ersten Prompt hatte ich das genau so formuliert: „Erstelle mir eine Übersicht mit den wichtigsten deutschsprachigen Nachrichten, Berichten und Kommentaren aus dem Bereich Digitalisierung, Digitalpolitik und IT-Technologie.“
Man muss Perplexity sagen, wo sein Agent Qualität und Fakten findet
Und schon sind wir bei die Krux der Geschichte. Es war einige Feinarbeit notwendig, damit Perplexity einigermaßen gute Ergebnisse lieferte. So musste ich im Prompt anweisen, dass nur Artikel vom aktuellen oder vorhergehenden Tag berücksichtigt werden. Noch wichtiger: Perplexity hat wirklich „die deutschen Medien“ durchsucht. Es kamen also Ergebnisse von, ich nenne es mal, Randpublikationen, von kleineren und weniger relevanten Webseiten. Vieles, was mir der Agent lieferte, entsprach jedoch nicht meinen Qualitätskriterien. Und die Medien, die ich als vertrauenswürdig und glaubwürdig einstufe, wurden nicht immer berücksichtigt.
Also habe ich auch hier nachgebessert und Perplexity angewiesen, auf jeden Fall heise, netzpolitik.org und die Computerwoche zu berücksichtigen. Nun sind die gelieferten Ergebnisse etwas relevanter, aber bringen sie mir einen echten Mehrwert? Bei heise und netzpolitik.org habe ich eh Newsletter abonniert, die mich täglich informieren. Warum also noch die Mail und Zusammenfassung von Perplexity?
Noch auf dem steinigen Weg zum guten „Morningbriefing“ driven by KI-Agent
Bisher bringt mir der Agent oder die Aufgabe also leider nicht die Ergebnisse, die ich erwartet habe. Das liegt sicherlich einerseits daran, dass viele Inhalte zum Thema Digitalisierung, die ich für relevant halte, hinter Paywalls und damit nicht im Zugriff von Perplexity liegen. Jedoch hat Perplexity wie auch andere Antwortmaschinen wohl ein Problem damit, Nachrichtenquellen, hier Online-Medien, qualitativ zu bewerten.
Also muss ich wohl eine Liste der „Qualitätsquellen“ vorgeben, um eine wirklich relevante Zusammenfassung der Digitalnachrichten zu bekommen. Mit Hilfe einer ChatGPT-Recherche habe ich jetzt eine Liste erstellen lassen. Ich bin gespannt, ob mir diese neue Version des Agenten bessere Ergebnisse liefert. Es scheint doch ein etwas steiniger Weg zu sein, bis ein solcher Agent wirklich zufriedenstellend arbeitet.
Ein Informationsjunkie braucht mehr als Large Language Models
Wie geneigte Leserinnen und Leser meines Blogs wissen, bezeichne ich mich als Informationsjunkie. Dabei verlasse ich mich sicher nicht nur auf Large Language Models und die leider oft fehlerhaften Zusammenfassungen. Ich verfolge vielmehr (zu) viele Nachrichtenquellen in meinem geschätzten RSS-Reader. Aber ich bekomme auch noch E-Mails, ja die bösen E-Mail-Newsletter. Welche Quellen ich hier besonders warum schätze, das behandle ich in einem folgenden Blogartikel.
Kommentar verfassen