מחקרClaude
Anthropic מעניקה ל-METR גישת עובד לבחינת בטיחות
כותרת המקור: An update on independent evaluators
- תאריך
- חברה
- Anthropic
- סוג
- מחקר
- מקור
- Anthropicלקריאה במקור (נפתח בחלון חדש)
בשפה פשוטה
- מה זה
- חברת Anthropic הכריזה על שיתוף פעולה עם גופים חיצוניים עצמאיים כדי להעריך את הבטיחות של מודלי הבינה המלאכותית שלה. החברה מעניקה לארגון ללא מטרת רווח בשם METR גישה עמוקה למערכות שלה כדי לבצע הערכות סיכונים.
- איך זה עובד
- החברה קלטה שישה עובדים של METR וסיפקה להם חומרה של החברה, שטח משרדי וגישה לכלים פנימיים. מעריכים אלו יבחנו את הסיכונים ויפרסמו את הממצאים שלהם לציבור ללא יכולת וטו של Anthropic על הפרסום.
- איפה זה זמין
- שיתוף הפעולה מיושם על מודלי הקצה של Anthropic ועל מערכות הערכת הסיכונים הפנימיות שלה, למעט מידע רגיש כמו נתוני לקוחות.
- דוגמה
- ארגון METR יפרסם ניתוח עצמאי של רמות הסיכון, התקריות ושיטות העבודה של Anthropic.
למפתחים
- מה זה
- חברת Anthropic משיקה מסגרת עבודה להערכה חיצונית של מודלים על ידי מתן גישה למערכות הפנימיות שלה לארגונים עצמאיים. היוזמה כוללת שיתוף פעולה עמוק עם METR ועבודה בשלבים מוקדמים עם גופים כמו SecureBio, Accenture ו-Hugging Face.
- איך זה עובד
- החברה מגדירה מודל גישה בעל שלוש דרגות עבור המעריכים החיצוניים. בדרגה הגבוהה ביותר, המיושמת עם METR, חוקרים חיצוניים מקבלים חומרה של החברה וגישה לכלים פנימיים המקבילה לגישה של צוותי הבטיחות הפנימיים של Anthropic.
- איפה זה זמין
- הגישה ניתנת בתוך הסביבה הפנימית של Anthropic, למעט קטגוריות מוגדרות כמו נתוני לקוחות, מידע חסוי של עורכי דין ולקוחות, וארכיטקטורת המודל.
- דוגמה
- ארגון SecureBio משתמש בגישה שניתנה לו כדי לבחון את הפרק העוסק בנשק כימי וביולוגי בדוח הסיכונים של Anthropic מחודש אוגוסט.
הפרסום המקורי
הכותרת וההסבר בעמוד הזה מבוססים על הפרסום של Anthropic. את כל הפרטים אפשר לקרוא במקור.
An update on independent evaluators
לקריאה במקור (נפתח בחלון חדש)