Przełom w moderacji treści AI: Moonbounce pozyskuje 12 mln USD na budowę zabezpieczeń bezpieczeństwa w czasie rzeczywistym

BitcoinWorld

Przełom w moderacji treści AI: Moonbounce zdobywa 12 mln USD na budowę zabezpieczeń bezpieczeństwa w czasie rzeczywistym

W istotnym ruchu mającym na celu rozwiązanie narastającego kryzysu bezpieczeństwa online, Moonbounce, startup pionierski w moderacji treści AI w czasie rzeczywistym, ujawnił wyłącznie dla Bitcoin World rundę finansowania w wysokości 12 milionów dolarów. Ta inwestycja, współprowadzona przez Amplify Partners i StepStone Group, napędza misję firmy polegającą na przekształceniu statycznych dokumentów polityki w kod wykonywalny, tworząc natychmiastową warstwę bezpieczeństwa dla treści generowanych przez użytkowników i AI. W konsekwencji finansowanie pojawia się w momencie, gdy platformy stają w obliczu rosnącej presji prawnej i reputacyjnej wynikającej z głośnych niepowodzeń w moderacji.

Rozwiązanie moderacji treści AI firmy Moonbounce

Główną innowacją Moonbounce jest podejście "polityka jako kod". Firma szkoli zastrzeżony duży model językowy (LLM) w celu przyswojenia pisemnych zasad bezpieczeństwa klienta. Następnie system ten ocenia treść w dokładnym momencie generowania - niezależnie od tego, czy pochodzi od użytkownika ludzkiego, czy chatbota AI. Dostarcza decyzję egzekucyjną w mniej niż 300 milisekund. W związku z tym to przejście od reaktywnego, opóźnionego przeglądu ludzkiego do proaktywnego, natychmiastowego egzekwowania maszynowego reprezentuje fundamentalną zmianę w infrastrukturze zaufania cyfrowego i bezpieczeństwa.

System oferuje elastyczne działania egzekucyjne w oparciu o potrzeby klienta. Na przykład może:

• Blokować treści wysokiego ryzyka natychmiast, zanim jakikolwiek użytkownik je zobaczy.
• Spowalniać dystrybucję treści granicznych, kolejkując je do późniejszego przeglądu przez człowieka.
• Dostarczać szczegółowe uzasadnienie swoich decyzji, wspierając przejrzystość.

Obecnie Moonbounce obsługuje trzy główne sektory: aplikacje społecznościowe i randkowe z treściami generowanymi przez użytkowników, platformy towarzyszące AI i postaci oraz usługi generowania obrazów AI. Firma przetwarza już ponad 40 milionów dziennych przeglądów dla ponad 100 milionów codziennie aktywnych użytkowników w swojej bazie klientów.

Fundamentalny problem we współczesnej moderacji

Dyrektor generalny Moonbounce, Brett Levenson, opracował pomysł po doświadczeniu głębokich wad starszych systemów podczas swojej kadencji kierowania integralnością biznesową w Facebooku. Odkrył, że recenzenci ludzcy pracowali z źle przetłumaczonymi, długimi dokumentami polityki. Następnie mieli zaledwie sekundy na podjęcie złożonych decyzji dotyczących oznaczonych treści, osiągając wskaźniki dokładności tylko "nieco lepsze niż 50%".

"To było trochę jak rzut monetą", powiedział Levenson dla Bitcoin World. "A to było wiele dni po tym, jak szkoda już wystąpiła". Ten reaktywny model jest krytycznie niewystarczający wobec dzisiejszych dobrze wyposażonych, zwinnych przeciwników. Ponadto gwałtowne przyjęcie generatywnej AI wykładniczo zwiększyło objętość i wyrafinowanie szkodliwych treści, czyniąc ręczny przegląd całkowicie niemożliwym do utrzymania.

Zaufanie inwestorów do krytycznej potrzeby

Finansowanie podkreśla rosnący konsensus, że zewnętrzna, specjalistyczna infrastruktura bezpieczeństwa jest niezbędna. "Moderacja treści zawsze była problemem nękającym duże platformy online, ale teraz, gdy LLM są sercem każdej aplikacji, to wyzwanie jest jeszcze bardziej zniechęcające", powiedział Lenny Pruss, General Partner w Amplify Partners. "Zainwestowaliśmy w Moonbounce, ponieważ wyobrażamy sobie świat, w którym obiektywne zabezpieczenia w czasie rzeczywistym stają się umożliwiającym kręgosłupem każdej aplikacji pośredniczonej przez AI".

To zewnętrzne podejście oferuje kluczową zaletę. System Moonbounce działa jako neutralna strona trzecia między użytkownikiem a AI. W przeciwieństwie do samego chatbota, który musi zarządzać ogromnym kontekstem konwersacyjnym, model Moonbounce koncentruje się wyłącznie na egzekwowaniu zasad w czasie wykonywania. To rozdzielenie obaw prowadzi do szybszych, bardziej spójnych i mniej stronniczych decyzji bezpieczeństwa.

Przekształcanie bezpieczeństwa w przewagę produktu

Tradycyjnie moderacja treści była kosztowną, backendową funkcją zgodności. Jednak Levenson twierdzi, że Moonbounce umożliwia bezpieczeństwu stanie się kluczową cechą produktu i czynnikiem wyróżniającym. "Bezpieczeństwo może faktycznie być korzyścią produktu", wyjaśnił. "Po prostu nigdy nim nie było, ponieważ zawsze jest to coś, co dzieje się później, a nie coś, co można faktycznie wbudować w swój produkt".

Pierwsi klienci potwierdzają tę tezę. Na przykład szef zaufania i bezpieczeństwa Tindera zgłosił 10-krotną poprawę dokładności wykrywania przy użyciu podobnych usług opartych na LLM. Klienci Moonbounce obejmują startup towarzyszący AI Channel AI, platformę generowania obrazów Civitai oraz usługi gry rolowej postaci Dippy AI i Moescape.

Droga przed nami: od blokowania do kierowania

Kolejna faza rozwoju Moonbounce koncentruje się na "iteracyjnym kierowaniu". Ta zaawansowana możliwość, zainspirowana tragicznymi incydentami, takimi jak przypadek z 2024 roku nastolatka obsesyjnie przywiązanego do chatbota Character AI, wykracza poza proste blokowanie treści. Zamiast tego system przechwytywałby potencjalnie szkodliwą rozmowę w czasie rzeczywistym i inteligentnie ją przekierowywał.

Technologia modyfikowałaby podpowiedzi użytkownika, aby skierować chatbota w kierunku bardziej wspierającej i pomocnej odpowiedzi. "Mamy nadzieję... wziąć podpowiedź użytkownika i zmodyfikować ją, aby zmusić chatbota do bycia nie tylko empatycznym słuchaczem, ale pomocnym słuchaczem w tych sytuacjach", powiedział Levenson. To reprezentuje bardziej zniuansowany, interwencyjny model bezpieczeństwa AI.

Podsumowanie

Runda finansowania Moonbounce w wysokości 12 milionów dolarów sygnalizuje kluczową zmianę w sposobie, w jaki branża technologiczna podchodzi do moderacji treści AI. Poprzez przekładanie niejasnych polityk na kod wykonywalny i działanie z prędkością generowania, startup oferuje skalowalną ścieżkę naprzód dla bezpieczeństwa platformy. W miarę jak generatywna AI staje się wszechobecna, zapotrzebowanie na solidne zabezpieczenia w czasie rzeczywistym będzie się tylko intensyfikować. Technologia Moonbounce, zbudowana na podstawie bezpośredniego doświadczenia z systemowymi niepowodzeniami, pozycjonuje ją jako kluczowego gracza w budowaniu bezpieczniejszego, bardziej godnego zaufania ekosystemu cyfrowego, w którym bezpieczeństwo jest integralną częścią doświadczenia użytkownika.

FAQ

Q1: Czym jest "polityka jako kod" w moderacji treści AI?
"Polityka jako kod" to metodologia Moonbounce polegająca na konwersji pisemnych zasad bezpieczeństwa platformy na logikę wykonywalną maszynowo. Pozwala to systemowi AI automatycznie i natychmiast oceniać treść zgodnie z tymi zasadami w momencie jej generowania, zamiast polegać na wolnym, niespójnym przeglądzie ludzkim dokumentów polityki.

Q2: Jak szybki jest system moderacji AI Moonbounce?
System został zaprojektowany do oceny treści i dostarczenia odpowiedzi egzekucyjnej w 300 milisekund lub mniej. Ta szybkość w czasie rzeczywistym jest kluczowa dla zapobiegania rozprzestrzenianiu się szkodliwych treści na szybko rozwijających się platformach społecznościowych i interaktywnych czatach AI.

Q3: Jakie rodzaje firm korzystają z usług Moonbounce?
Moonbounce obsługuje głównie trzy branże: platformy z treściami generowanymi przez użytkowników (takie jak aplikacje randkowe), firmy AI budujące chatboty lub towarzyszy oraz usługi generowania obrazów i wideo AI. Jej klienci obejmują Channel AI, Civitai, Dippy AI i Moescape.

Q4: Czym jest "iteracyjne kierowanie"?
Iteracyjne kierowanie to zaawansowana możliwość, którą rozwija Moonbounce. Zamiast tylko blokować szkodliwe treści, system przechwytywałby ryzykowną rozmowę z chatbotem AI i dynamicznie modyfikował podpowiedzi użytkownika w czasie rzeczywistym. Celem jest skierowanie interakcji w kierunku bardziej pozytywnego, wspierającego i pomocnego wyniku.

Q5: Dlaczego zewnętrzna moderacja treści AI jest ważna?
Zewnętrzny system moderacji strony trzeciej działa niezależnie od podstawowego modelu AI. Nie jest obciążony potrzebą chatbota do zapamiętywania długich historii rozmów, co pozwala mu skupić się wyłącznie na egzekwowaniu zasad bezpieczeństwa. To rozdzielenie może zmniejszyć stronniczość, zwiększyć spójność i zapewnić specjalistyczną warstwę ochrony, którą wewnętrzne zespoły mogą mieć trudności z zbudowaniem na skalę.

Ten post Przełom w moderacji treści AI: Moonbounce zdobywa 12 mln USD na budowę zabezpieczeń bezpieczeństwa w czasie rzeczywistym pojawił się najpierw na BitcoinWorld.